Kenneth O. Stanley和Jeff Clune是本文的共同高级作者其相应的论文．
在Uber，我们解决的许多难题都可以从机器学习中受益，比如提高安全性，改善eta，推荐食物,找到车手和车手之间的最佳匹配．
大量人类标记数据的可用性推动了机器学习的进步，但生成这样的数据既耗时又昂贵。我们在优步人工智能实验室研究了一个有趣的问题，即我们是否可以创建自动学习算法生成训练数据、学习环境和课程，以帮助AI代理快速学习。在一篇新论文中，我们证明了这样的算法是可能的生成式教学网络(gtn)。
gtn是一种深度神经网络，它生成数据和/或训练环境，在进行目标任务测试(例如，识别图像中的物体)之前，学习者(例如，一个新初始化的神经网络)可以在其上训练。这种方法的一个优点是gtn可以产生合成能让其他神经网络学习速度比用真实数据训练更快．这让我们能够寻找新的神经网络架构比使用真实数据快9倍。gtn -神经结构搜索(GTN-NAS)与最先进的NAS方法相比具有竞争力，这些方法在使用比典型NAS方法少数量级的计算的情况下实现了顶级性能，并且它通过一种有趣的新技术实现了这种性能。
神经网络的架构是指它的一些设计选择(例如，它应该有多少层，每层应该有多少个神经元，哪些层应该连接到哪些层，等等)。神经网络体系结构的改进导致了机器学习在每个领域(例如计算机视觉、自然语言处理、语音到文本)的重大进展。寻找更高性能的架构通常是由科学家手动完成的，而且非常耗时。
越来越多地神经体系结构搜索(NAS)算法被部署来自动搜索架构，并取得了很好的结果。NAS产生了最先进的结果在ImageNet和CIFAR等流行的计算机视觉基准上，尽管大量的人类科学家已经试图找到解决这些问题的最佳架构。如果我们能提高NAS的效率，整个社会的机器学习从业者都会受益。
所面临的挑战
NAS需要大量的计算资源。简单的NAS算法通过在完整的数据集上训练每个神经网络来评估每个神经网络，直到性能停止提高。为NAS期间考虑的数千个或更多架构中的每一个重复该过程代价高昂且速度缓慢。NAS算法通过只训练少量时间并将得到的性能作为一个指标来避免这种成本估计真正的表现。进一步加快这一过程的一种可能的方法是从完整的数据集中仔细选择信息量最大的训练示例，这种方法已经实现了被所示以加速培训(NAS上下文之外)。
相反，我们询问是否可以通过一个更激进的想法来加速这一过程:允许机器学习创建训练数据本身．这种算法不会仅限于创建逼真的图像，相反，它可以创建有助于学习的不现实的数据，就像篮球训练(比如用两个球运球)加速学习，即使它们与实际的比赛并不完全相同。因此，gtn可以自由地创建不现实的数据快学习不如用真实的数据。例如，gtn可以将关于一个对象的许多不同类型的信息组合在一起，或者集中训练最难的示例。
方法:生成式教学网络(GTN-NAS)
该过程如下所示(如图1所示)。GTN类似于生成对抗网络(GAN)，只是没有让数据看起来真实的压力。相反，它产生了一个从未见过的学习者神经网络(具有随机采样的架构和权重初始化)训练的少量学习步骤的完全人工数据，例如，这些步骤可以通过随机梯度下降(SGD)进行。之后，学习器网络(迄今为止从未见过真实数据)在真实数据上进行评估(例如，它是否可以识别经典MNIST数据集中的手写图像)，这提供了正在优化的元损失目标。然后求导通过整个学习过程通过meta-gradients更新GTN参数，以提高目标任务的性能。然后丢弃该学习器，并重复此过程。另外一个细节是我们发现学习课程(一组特定顺序的训练示例)在训练生成器时提高性能，生成器产生无序随机分布的示例。
gtn涉及一种令人兴奋的机器学习类型，称为元学习，在这里用于架构搜索。雷竞技是骗人的的研究人员的过去的使用元学习直接优化合成数据(逐像素)。在这里，通过训练生成器，可以重用更抽象的信息(例如，关于3的样子)来编码许多不同的样本(例如，许多不同的3)。我们进行的实验证实了GTN生成器优于直接优化数据。看到我们的纸查看有关gtn与之前相关工作的比较的更详细讨论。
在对GTN进行元训练之后，当将学习限制在SGD的几个步骤(例如32)时，新的学习者能够在合成数据上比真实数据更快地学习(图1中的红线和蓝线)。
在MNIST上实现98.9%的准确率并不令人印象深刻，但能够用如此少的样本做到这一点:在GTN数据上训练的学习者仅用32个SGD步骤(~0.5秒)就达到了这种水平的准确度，在课程中看到4096个合成图像中的每一个，这不到MNIST训练数据集中图像的10%。
有趣的是，尽管神经网络可以在这些合成图像上进行训练，并学习识别真实的手写数字，但许多gtn生成的图像是陌生的，无法识别为数字(图3)。这些不切实际的图像可以对神经网络产生有意义的影响，这让人想起了这一发现深度神经网络很容易被愚弄．同样有趣的是，在课程的最后阶段，在表现趋于稳定之后(图2中的第32步)，可识别性会急剧增加纸关于为什么这些图像大多是不现实的假设的讨论，以及为什么他们的现实主义在课程结束时增加。
在确定了gtn可以加速MNIST上的训练之后，我们在CIFAR-10数据集(一个常见的NAS基准测试)上尝试了gtn。与MNIST一样，学习者在gtn生成的数据上比在真实数据上学习得更快。具体来说，在相同的性能水平下，即使与高度优化的真实数据学习算法相比，它们的学习速度也快了四倍(图4)。
使用gtn进行神经结构搜索
为了寻找架构，我们采用了众多论文那搜索一个小的体系结构模块，然后通过预定的蓝图重复组合以创建各种大小的体系结构。一旦发现了高质量的模块，就可以使用它来创建一个更大的网络，然后使用真实数据对其进行训练，以收敛目标任务。
在GTN-NAS中，最终目标是找到一种体系结构，该体系结构在对真实数据进行多步训练(即直到收敛)时性能良好。因此，任何体系结构在gtn生成数据后的性能都只是达到目的的一种手段估计在对真实数据进行长时间训练时，哪些架构将表现良好。我们发现gtn数据上的性能是真实性能的预测(对于gtn估计的前50%的架构，0.56斯皮尔曼等级相关性)。例如，根据GTN的快速估计，前10%的架构中有许多实际上是非常高性能的(图5，蓝色方框)。这意味着我们可以使用gtn生成的数据快速评估许多架构，以确定一些看起来有希望的架构，然后用真实的数据训练这些架构，以确定哪些架构在目标任务中真正表现出色。有趣的是，我们发现，要在gtn生成的数据上仅使用128 SGD步就能获得相同的预测能力(等级相关性)，在真实数据上则需要1200 SGD步。这意味着使用gtn生成的数据进行架构搜索比使用真实数据快9倍。
因此，gtn生成的数据可以更快地替代NAS算法中的真实数据。为了演示这个结果，我们选择了最简单的NAS方法:随机搜索。该算法非常简单，我们可以确定在复杂的算法组件和使用gtn生成的数据之间没有特殊的、令人混淆的交互作用。在随机搜索中，算法随机抽样架构，并在给定固定的计算预算的情况下评估尽可能多的架构。在我们的实验中，估计值来自对gtn生成的数据或真实数据进行128 SGD步的训练。然后，对于每种方法，根据估计得到的最终最佳架构在真实数据上进行长时间的训练。在真实数据上的最终表现是我们关心的结果。
因为gtn更快地评估每个体系结构，所以它们能够在固定的计算预算内评估更多的总体体系结构。在我们尝试的每一种情况下，使用GTN生成的数据被证明比使用真实数据更快，性能更高(表1)。即使我们给真实数据控制十天的计算时间，而GTN的计算时间为一天的三分之二(表1)。此外，带有随机搜索的GTN- nas(以及表1中列出的一些花哨功能)具有很大的竞争力更多的复杂的NAS方法而不是随机搜索(参见我们的论文进行比较)。重要的是，gtn数据也可以被放入这些算法中，我们预计这将提供两全齐美的服务，推动技术的发展。
前进
生成式教学网络生成合成数据，使新的学习者网络能够快速学习任务。这使得研究人员能够快速评雷竞技是骗人的估新提出的候选架构的学习潜力，从而催化寻找新的、更强大的神经网络架构。通过我们的研究，我们表明雷竞技是骗人的gtn生成的训练数据创建了一种快速的NAS方法，与最先进的NAS算法相比具有竞争力，但通过一种完全不同的方法。在我们的NAS工具箱中有这个额外的gtn工具可以帮助优步、所有公司和世界各地的科学家提高深度学习在每个应用领域的表现。
除了我们目前的成果，我们对gtn开辟的新研究方向感到兴奋。雷竞技是骗人的当算法可以产生自己的问题和解决方案我们可以解决比以前更难的问题。然而，生成问题需要定义一个环境搜索空间，这意味着一种编码用于搜索的丰富环境空间的方法。gtn有一个有益的特性，即它们几乎可以生成任何类型的数据或训练环境，这使得它们的潜在影响很大。然而，尽管能够生成任何环境是令人兴奋的，但许多研究仍在有效地利用这种表达能力，而不会迷失在gtn能够产生的各种可能性的海洋中。雷竞技是骗人的
更广泛地说，我们认为gtn是一种通用工具，可以用于机器学习的所有领域。我们已经在监督学习中展示了它们的潜力，但我们也相信它们可以有效地应用于无监督、半监督和强化学习(我们的论文有一个关于强化学习的初步结果)。最雄心勃勃的是，gtn可以帮助我们走向AI-generating算法通过(1)元学习架构，(2)元学习学习算法本身，以及(3)自动生成训练环境，自动创建强大的人工智能形式。这篇博客文雷竞技到底好不好用章表明，gtn有助于这三个支柱中的第一个，但它们也可以通过生成复杂的训练环境来催化第三个支柱的努力，从而成功地训练智能代理。
如欲了解更多，请参阅我们的论文全文．我们的源代码也是免费的。
