跳到页脚
雷竞技是骗人的 人工智能 /机器学习 可塑性:训练带有反向传播的塑料神经网络

可塑性:训练带有反向传播的塑料神经网络

抽象的

在初步培训之后,我们如何建立能够快速有效地从经验中学习的代理商?在这里,我们从生物学大脑中学习的主要机制中汲取灵感:突触可塑性,通过进化仔细调整以产生有效的终身学习。我们表明,就像连接权重一样,可以通过具有HEBBIAN塑料连接的大型(数百万参数)复发网络中的梯度下降来优化可塑性。首先,可以训练具有超过200万参数的经常性塑料网络,以记住和重建新型,高维的1000多个像素自然图像的新型,高维的自然图像。至关重要的是,传统的非塑性复发网络无法解决此任务。此外,受过训练的塑料网络还可以解决诸如Omniglot任务之类的通用元学习任务,并具有竞争性结果和很少的参数开销。最后,在加强学习设置中,塑料网络在迷宫探索任务中的表现优于非塑料。我们得出的结论是,可不同的可塑性可以为学习对学习问题提供强大的新颖方法。

作者

Thomas Miconi,,,,杰夫·克莱恩(Jeff Clune),,,,肯尼思·斯坦利(Kenneth O. Stanley)

会议

ICML 2018

完整的纸

“可区分可塑性:训练具有反向传播的塑料神经网络”(PDF)

Uber AI

注释
上一篇文章 半监督分类的图形分区神经网络
下一篇文章 宽深神经网络中的高斯过程行为
杰夫·克莱恩(Jeff Clune)
杰夫·克莱恩(Jeff Clune)是怀俄明大学(University of Wyoming)计算机科学的前Loy和Edith Harris副教授,他是Uber AI Labs的高级研究经理和创始成员,目前是OpenAI的研究团队负责人。雷竞技是骗人的杰夫通过深度学习和深入的强化学习专注于机器人技术和培训神经网络。他还使用进化的计算模型研雷竞技是骗人的究了进化生物学的开放问题,包括研究模块化,层次结构和进化性的进化起源。在成为教授之前,他曾是康奈尔大学的研究科学家,获得了计算机科学博士学位和密歇根州雷竞技是骗人的立大学的哲学硕士学位,并获得了密歇根大学的哲学学士学位。有关Jeff研究的更多信息,请访问j雷竞技是骗人的effclune.com
肯尼思·斯坦利(Kenneth O. Stanley)
在全日制加入Uber AI实验室之前,Ken曾是中部佛罗里达大学计算机科学副教授(他目前正在休假)。他是神经进化的领导者(将神经网络与进化技术相结合),在那里他帮助发明了诸如整洁,CPPN,HyperNeat和新颖的搜索之类的突出算法。他的想法也通过最近的流行科学书《为什么不能计划伟大:目标神话》吸引了更广泛的观众。