抽象的
许多最近训练的神经网络采用大量参数来实现良好的性能。一个人可以直观地将所需的参数数量用作问题难度的粗糙度。但是这样的观念有多准确？真正需要多少个参数？在本文中，我们试图通过训练网络不在其本机参数空间中，而是在较小的，随机定向的子空间中来回答这个问题。我们慢慢增加了该子空间的尺寸，请注意最初出现尺寸解决方案的尺寸，并将其定义为客观景观的内在维度。该方法易于实施，可在计算上进行操作，并产生一些暗示性的结论。许多问题的内在维度比一个人可能怀疑的尺寸较小，而且给定数据集的固有维度在大小差异很大的模型家族中几乎没有变化。后一个结果具有深刻的含义：一旦参数空间足够大以解决问题，额外的参数就可以直接用于增加溶液歧管的维度。内在维度可以进行一些定量比较，以比较受监督，加强和其他类型的学习，例如，我们得出的结论是，解决倒置的摆问题比对MNIST的数字进行分类要容易100倍，而从Pixels播放Atari Pong则大于 as hard as classifying CIFAR-10. In addition to providing new cartography of the objective landscapes wandered by parameterized models, the method is a simple technique for constructively obtaining an upper bound on the minimum description length of a solution. A byproduct of this construction is a simple approach for compressing networks, in some cases by more than 100 times.
作者
Chunyuan Li，Heerad Farkhoor，罗莎恩·刘（Rosanne Liu），，，，杰森·尤辛斯基（Jason Yosinski）
会议
ICLR 2018
完整的纸
Uber AI