抽象的
神经网络享有广泛的使用，但他们的培训，代表和操作的许多方面都很明显。特别是，我们的视图进入培训过程是有限的，单个标量损失是最常见的视口进入这种高维，动态过程。我们向训练提出了一个新的窗口，称为损耗变化分配（LCA），其中衡量网络丢失的变化保守地分区为参数。通过使用Runge-Kutta Integrator分解沿训练轨迹的近似路径积分的组件来实现该测量。这种丰富的视图显示了哪些参数负责减少或增加培训期间的损失，或者分别为网络学习的参数或“伤害”或“伤害”的学习。可以通过培训迭代和/或神经元，通道或层来总结LCA，以实现日益粗糙的视图。这种新的测量装置会产生几种洞察力。（1）我们发现在任何特定迭代期间，几乎没有超过50％的参数帮助。（2）整体伤害的一些整体伤害，平均对抗训练梯度，我们假设的现象可能是由于振荡训练过程中的相位滞后。（3）最后，学习中的增量以同步的方式在层上进行，通常在相同的迭代上达到峰值。
作者
Janice Lan.那Rosanne Liu.那哈蒂周那Jason Yosinski.
会议
Neurips 2019.
全文
优步AI.
注释