Sanyam卡普尔

t·莫斯科维茨r .王，j .局域网，美国卡普尔，t . Miconi，j . Yosinski，答:拉瓦尔大声回答
标准梯度下降方法容易受到一系列问题的影响，这些问题会阻碍训练，例如高相关性和参数空间中的不同缩放。这些困难可以通过二阶方法解决，即对梯度应用预处理矩阵以提高收敛性。不幸的是，这样的算法通常很难扩展到高维问题，部分原因是特定的预处理条件的计算，如逆Hessian或Fisher信息矩阵是非常昂贵的。我们介绍了一阶预处理(FOP)，这是一种快速、可扩展的方法，它概括了以前关于超梯度下降的工作(Almeida等人，1998;Maclaurin等人，2015;Baydin等人，2017)学习一个只使用一阶信息的预处理矩阵。[…][PDF]
神经信息处理系统研讨会(NeurlPS), 2019