神经网络，其中许多超级机器学习系统，在解决复杂问题方面，包括图像识别，语言理解和游戏。但是，这些网络通常培训到停止点梯度下降，这基于许多试验的性能逐步调整网络的连接。一旦训练完成，网络是固定的，并且连接不能再改变;结果，禁止任何后来的重新训练（再次需要许多示例），效果的网络在训练结束时停止学习。
相比之下，生物大脑表现可塑性-也就是说，神经元之间的连接能力不断和自动在整个生命中变化，允许动物从正在进行的经验中快速有效地学习。大脑中不同区域的可塑性和联系的水平是数百万多年的微调通过进化，以便在动物的一生中允许有效的学习。在生命中持续学习的结果能力让动物适应改变或不可预测的环境，具有很少的额外数据。我们可以快速记住我们从未见过的模式，或者在完全新颖的情况下从几次试验中学习新行为。
为了使我们的人工代理类似的能力，优步AI实验室已开发出来一种新的方法可怜的可塑性这让我们通过梯度下降训练塑料连接的行为，以便他们可以帮助以前培训的网络适应未来的条件。同时不断发展这种塑料神经网络是一个进化计算中的长期研究领域雷竞技是骗人的据我们所知，这里介绍的工作是第一个显示通过梯度下降可以优化可塑性本身的工作。因为基于梯度的方法基础是人工智能最近最近的壮观突破（包括图像识别那机器翻译那Atari视频游戏， 和去玩），使塑料网络适用于梯度下降训练可能会显着扩展两种方法的功率。
如何微弱的可塑性工作
在我们的方法中，每个连接接收初始重量，以及一个系数确定连接的塑料如何。更精确地，激活y一世神经元一世计算如下：
第一等式是神经网络单元的典型激活功能，不同之处在于输入重量具有固定部件（绿色）和塑料部件（红色）。这H我，J.塑料部件中的术语被自动更新为正在进行的输入和输出的函数（如第二方程式所示 - 注意其他配方是可能的，如讨论的那样本文）。
在初始培训期间，梯度下降调谐结构参数W.一世，j和α.我，J.，确定固定和塑料部件的大大。因此，在这个初步训练之后，代理商可以自动学习，因为每个连接的塑料部件被神经活动充分形状，以存储信息，让人想起动物（包括人类）的某种形式的学习。
展示可微分的可塑性
为了展示可怜的可塑性的潜力，我们将其应用于几个具有挑战性的任务，需要快速学习不可预测的刺激。
在图像重建任务（图1）中，网络记住它以前从未见过的一组自然图像;然后显示其中一个图像，但它删除了一半，并且网络必须从内存重建缺失的一半。我们表明，可微差可塑性可以有效地培训大型网络，具有数百万参数，解决这项任务。重要的是，传统网络具有非塑料连接（包括最先进的经常性架构，例如LSTMS.）无法解决这项任务，并花费更多时间来学习它的大量简化版本。
|
|
| 图1：图像完成任务（每行指示单独的集发作）。在示出三个图像之后，网络被赋予部分图像，并且必须从存储器重建丢失部分。非塑料网络（包括LSTMS）无法解决此任务。来自的源图像Cifar10 DataSet.。 |
我们还培训了塑料网络来解决omniglot任务（一个标准“学习”任务“，这需要学习从每个演示中识别一组新颖的手写符号。此外，该方法也可以应用于增强学习问题：塑料网络在迷宫探索任务中优于非塑料的问题，其中代理必须发现，记忆，反复达到迷宫内奖励的位置（图2）。通过这种方式，向神经网络添加可塑性系数的简单思想提供了一种真正的新颖方法 - 有时是最佳可用 - 解决需要持续学习的广泛问题。
 |
 |
| 图2：迷宫探索任务。代理（黄色广场）奖励尽可能多次击中奖励位置（绿色方块）（每次发现奖励时，代理被传送到随机位置）。在第1集（左）中，代理的行为基本上是随机的。经过300,000集（右），代理商已经学会了记忆奖励位置并导航到它。 |
期待
实际上，可微分的可塑性提供了一种新的生物学激发的近似问题的方法“学习学习，“ 或者 ”元学习。“该方法也具有高度柔韧的，提供梯度下降，带有基本构建块（塑料连接），它可以以各种强大的方式线束，如上所述的各种任务所示。
此外，它打开了多个新的研究途径的大门。雷竞技是骗人的例如，我们可以通过制作连接塑料来改善现有的复杂网络架构，例如LSTMS吗？如果连接的可塑性在网络本身的控制下，那么它似乎似乎是通过影响的生物大脑神经调节剂？可塑性可以提供比单独复发更有效的记忆形式（请注意，复发存储在神经活动中的传入信息，而可塑性将其存储在连接中，这更为多种）？
我们打算调查我们未来的可怜的可塑性工作中的这些和其他令人兴奋的问题，希望其他人将加入我们的探索。为了鼓励对这种新方法的研究雷竞技是骗人的，我们已经发布了上述实验的代码在GitHub上， 随着一篇文章描述了我们的方法和结果。
要收到未来的Uber AI Labs博客帖子，请注册雷竞技到底好不好用我们的邮件列表，或者你可以订阅Uber Ai Labs YouTube频道。如果您有兴趣加入Uber AI实验室，请申请Uber.ai.。
订阅我们的新闻跟上超级工程的最新创新。