摘要

在本文中，我们回顾了递归反向传播(RBP)算法，讨论了它适用的条件以及如何在深度神经网络中满足这些条件。我们证明了RBP可以是不稳定的，并在正则方程的共轭梯度(CG-RBP)和Neumann级数(Neumann-RBP)的基础上提出了两个变式。我们进一步研究了Neumann-RBP与时间反向传播(BPTT)及其截断版本(TBPTT)之间的关系。我们的Neumann-RBP具有与TBPTT相同的时间复杂度，但只需要恒定的内存，而TBPTT的内存开销随着截断步骤的数量呈线性增长。我们在三个不同的应用领域检验了所有RBP变体，以及BPTT和TBPTT:与连续Hopfield网络的联想记忆、使用图神经网络的引文网络中的文档分类和完全连接网络的超参数优化。实验结果表明，rbp算法，特别是Neumann-RBP算法，对于优化收敛性递归神经网络是有效的。

作者

Renjie廖，宇文熊， Ethan Fetaya, Lisa Zhang, KiJung Yoon, Xaq Pitkow，拉奎尔Urtasun理查德·泽梅尔

会议

ICML 2018

论文全文

“恢复和改进递归反向传播”(PDF)

超级ATG