摘要

神经结构搜索(NAS)自动找到最佳的特定于任务的神经网络拓扑结构，优于许多人工架构设计。然而，这可能是非常昂贵的，因为搜索需要训练数千个不同的网络，而每个网络都可能持续数小时。在这项工作中，我们提出了图超网络(GHN)来摊销搜索成本:给定一个架构，它通过在图神经网络上运行推理直接生成权重。ghn对架构的拓扑进行建模，因此可以比常规的超网络和过早提前停止更准确地预测网络性能。为了执行NAS，我们随机采样架构，并使用GHN生成权重的网络验证精度作为代理搜索信号。ghn的搜索速度很快，比CIFAR-10和ImageNet上的其他随机搜索方法快近10倍。ghn可以进一步扩展到任何时间的预测设置，在那里他们发现了比最先进的手动设计更好的速度-精度权衡网络。

作者

克里斯•张，Mengye任，拉奎尔Urtasun

会议

元学习工作坊@ NeurIPS 2018

论文全文

“用于神经结构搜索的图超网络”(PDF)

超级ATG