抽象的
残留网络（RESNET）表现出对图像分类的传统卷积神经网络（CNN）的显着改善，随着网络既增进又更宽的性能，性能的提高。但是，记忆消耗成为一种瓶颈，因为人们需要存储所有使用反向传播来计算梯度的中间激活。在这项工作中，我们介绍了可逆的残留网络（REVNET），这是一个重新连接的变体，可以从下一层重新构造每个层的激活。因此，大多数层的激活不必在回音过程中存储在内存中。我们证明了RevNet对CIFAR和Imagenet的有效性，建立了与同等大小的重新NET的性能，其激活存储需求与深度无关。
作者
艾丹·戈麦斯（Aidan N Gomez），Mengye Ren，，，，拉奎尔·乌尔塔森（Raquel Urtasun），罗杰·格罗斯（Roger Grosse）
会议
Neurips 2017
完整的纸
Uber ATG
注释