抽象的

在大多数实际设置和理论分析中，假设可以在收敛之前培训模型。然而，机器学习数据集和模型的越来越复杂可能违反这种假设。此外，超参数调谐和神经结构搜索的电流方法往往受到实际资源限制的限制。因此，我们介绍了在非渐近资源约束制度下学习培训的正式环境，即预算培训。我们分析以下问题：“给定数据集，算法和资源预算，最佳的可实现性能是什么？”我们专注于作为代表资源的优化迭代的数量。在这种设置下，我们表明根据给定预算调整学习率计划至关重要。在预算感知的学习计划中，我们发现简单的线性衰减既具有稳健且高性能。我们通过广泛的实验支持我们的主题模型，在Imagenet（图像分类），城市景观（语义分割），MS Coco（对象检测和实例分割）和动力学（视频分类）上进行了广泛的实验。我们还分析了我们的结果，并发现良好时间表的关键是预算收敛，这是梯度在每个允许预算结束时消失的现象。 We also revisit existing approaches for fast convergence, and show that budget-aware learning schedules readily outperform such approaches under (the practical but under-explored) budgeted setting.

作者

梦领李，ersin yumer.，deva ramanan.

会议

ICLR 2020.

全文

'预算培训：在资源限制下重新思考深度神经网络培训（PDF）

优步阿格