在优步，我们进行基础研究，推动机器学习的前沿，我们努力将最新的雷竞技是骗人的ML进展减少到实践中，这两方面都使我们能够通过启动世界，更有效地点燃机会。

我们将研究结果发布到更广泛的科雷竞技是骗人的学界。今年，优步是加拿大温哥华的Neurips 2019年会议上的11篇论文！此外，我们还赞助了Neurlps研讨会，包括机器学习领域的女性（wiml），黑色在人工智能，而且近似贝叶斯推理进展研讨会。

在本文中，我们分类并简要概述了每篇论文，展示了优步历史概率造型，贝叶斯优化，AI神经科学和神经网络建模的最新工作。

概率造型

粒子Gibbs采样中的参数消除

Anna Wigren（乌普萨拉大学）·Riccardo Sven Risuleo（乌普萨拉大学）·劳伦斯·默里·Fredrik Lindsten (Linköping大学)

arxiv
12月10日下午4:50，西舞厅C，NeurIPS口服
12月10日下午5:30，东展厅B&C，海报#157

概率编程的自动化使我们考虑通过手工困难或易于实现的复杂推理方法。正如自动分化大大简化了优化算法的应用，概率编程中的自动化技术，例如延迟采样，概率算法承诺相同。这项工作看了各种粒子GIBBS样式采样器，用于状态空间模型，并考虑使用延迟采样自动地限制参数时可以获得的可能增益。对于一些特别复杂的方法，例如具有祖先采样的粒子Gibbs，这种边缘化通常在观察的数量中导致二次复杂性，但我们证明使用涉及指数分布的计算可以实现线性复杂性。此外，我们考虑一些阻塞策略来处理弱富有信息的前瞻，并展示了关于生态和流行病学的一些应用的思路。

贝叶斯学习的总和网络

Martin Trapp(格拉茨理工大学)·Robert Peharz(剑桥大学)·Hong Ge(剑桥大学)·Franz Pernkopf(奥地利格拉茨信号处理与语音通信实验室Zoubin Ghahramani（Uber和剑桥大学）

arxiv
12月11日上午10:45，东展厅B＆C，海报＃185

和积网络(spn)是一种灵活的密度估计方法，因其诱人的推理特性而受到人们的广泛关注。虽然SPN中的参数学习已经得到了很好的发展，但是结构学习还有一些不足之处:尽管SPN的结构学习器非常多，但大多数都是临时的，基于直觉而不是明确的学习原则。在这篇文章中，我们介绍了一个很好的原则贝叶斯框架用于SPN结构学习。首先，我们将问题分解为i)布置一个基本的计算图，和ii)学习所谓的范围函数在图上。第一个是相当没有问题的，类似于神经网络体系结构验证。第二个特征是SPN的有效结构，需要尊重SPN中通常的结构约束，即完备性和可分解性。对于广义范围函数的表示和学习是相当复杂的，在本文中，我们针对SPNs的一种重要且广泛应用的特殊情况提出了一种自然参数化方法。这些结构参数被纳入到贝叶斯模型中，这样结构和参数的同时学习就被投入到整体的贝叶斯后验推理中。在各种实验中，我们的贝叶斯自适应神经网络经常比贪婪的自适应神经网络学习者提高测试的可能性。此外，由于贝叶斯框架防止过拟合，我们能够直接根据贝叶斯模型分数评估超参数，而不需要单独的验证集，这在低数据体系中尤其有益。 Bayesian SPNs can be applied to heterogeneous domains and can easily be extended to nonparametric formulations. Moreover, our Bayesian approach is the first which consistently and robustly learns SPN structures under missing data.

一百万个数据点都是精确的高斯过程

·Geoff Pleiss(康奈尔大学)·雅各布·加德纳(优步人工智能)·斯蒂芬·泰利(英伟达)·基连·温伯格(康奈尔大学/ ASAPP研究)·安德鲁·戈登·威尔逊(纽约大学)雷竞技是骗人的

相关研究代码雷竞技是骗人的
12月11日下午5点，东展厅B&C，海报#169

在我们的论文中，我们证明了训练精确高斯过程使用迭代方法，如共轭梯度（加德纳等人。，2018）可以扩展到不需要近似推理技术的大规模数据训练。通常情况下，我们假定需要用数千个训练示例来进行近似推理来训练GPs(Hensman et al. 2013)。我们证明，通过利用高效的内核矩阵乘法例程和跨多个gpu的并行性，可以扩展到数百万个训练示例。这使得我们能够首次对精确的GPs与最先进的近似方法进行比较，我们发现精确的GPs表现出了显著的性能改进。这是与康奈尔大学和英伟达的作者共同完成的。

贝叶斯优化与实验设计

变分贝叶斯优化实验设计

亚当·福斯特(牛津大学马丁·詹坎威济亚克（优步AI）·Eli Bingham.（优步AI）·保罗马(超级人工智能)·Yee Whye Teh（牛津大学，深度）·汤姆·罗弗福（牛津大学）·诺亚古德曼(优步AI /斯坦福大学)

PYRO Bayesian最优实验设计教程那arxiv那译文
12月10日下午4:40，西舞厅C，Neurips Spotlight Talk.
12月10日晚上5:30，东展厅B＆C，海报＃173

为了了解世界，我们进行实验;例如，我们开展选举民意调查，分析血液样本或在风隧道中试验飞机翼。这些真实世界的实验很昂贵，并且可以难以设计的实验。贝叶斯最优实验设计是设计信息实验并有效地利用有限的实验资源的原则框架。遗憾的是，它的适用性受到准确估计预期信息增益（EIG）的准确估计，这是用于对不同实验设计的预期疗效进行排名的数字分数。在这项工作中，我们通过从摊销变分推理的思想构建思想来介绍几个类别的快速EIG估计。我们理论上和经验地显示这些估算器可以在以前的方法上以速度和准确性提供显着的提升。我们进一步证明了我们对多个端到端实验的方法的实用性。

基于局部贝叶斯优化的可扩展全局优化

大卫埃里克森（优步AI）·迈克尔•皮尔斯(Uber AI实习生/华威大学)雅各·加德纳(超级人工智能)瑞安·特纳(超级人工智能)·马蒂亚斯Poloczek(超级人工智能)

arxiv
12月10日下午4:25，西舞厅C，NeurIPS聚光灯下说话
12月10日下午5:30，东展厅B&C，海报#9

贝叶斯优化(BO)是最近出现的一种成功的黑盒函数全局优化技术。流行的应用包括调整机器学习模型的超参数;材料发现过程中反应物和加工条件的调整以及学习机器人控制器。BO通常仅限于少量的可调参数和少量的函数求值。在这项工作中,我们提出了涡轮算法,一种技术,它克服了这些局限,1)定制的当地代理模型,达到适合甚至不同功能及2)一种新颖的方式选择分评价,交易勘探开发对高维函数更好。我们对TuRBO进行了全面的实验评估，结果表明，它在机器学习、运算研究和进化策略方面的性能超过了目前的最先进水平。雷竞技是骗人的TuRBO评估了数以万计的评估，并在强化学习、机器人和自然科学等基准上实现了更好的解决方案。

实用的两步前瞻性贝叶斯优化

吴健(康奈尔大学)·Peter Frazier(康奈尔/乳房)
12月12日上午10点45分，东展厅B&C，海报33号

贝叶斯优化(BO)使用机器学习来优化目标函数，这是耗时的评估，通常用于调整深度神经网络的超参数。BO使用所谓的“获取函数”来决定在哪里评估目标，该函数量化评估显示一个好的解决方案的可能性，以及它对实现总体优化目标的有用程度。从历史上看，大多数获取功能都是短视的:他们认为当前的评估将是最后的，即使它不会在实践中实现。因此，它们的性能可能不如使用更复杂的方法时那么好。最近的一些非短视的BO方法试图通过往前看多步来获得更好的表现。虽然理论上很有希望，但这需要大量的计算，使得这些方法不切实际。这篇文章提供了一种新的方法来展望前面的两步，这是足够快的在实践中使用，提供了什么可以说是第一个非短视贝叶斯优化的实际实现。

AI神经科学

解构彩票:零、符号和超级面具

海蒂周（优步）·Janice Lan.（优步AI）·Rosanne Liu.（优步AI）·杰森Yosinski(超级人工智能)

雷竞技到底好不好用博客文章那arxiv那相关研究代码雷竞技是骗人的
12月10日上午10点45分，东展厅B&C，海报#111

现代神经网络可以包含数百万或数十亿个参数，修剪是减少这些网络规模的常用方法。最近的“彩票假说”论文由Frankle＆Carbin.展示了一个简单的剪枝程序(将最终值较小的权值设置为零)创建了可以从头开始训练的稀疏网络，但只有在从相同的初始权值开始时才可以。这些彩票(LT)网络的性能往往超过非稀疏基模型，但由于某些原因还没有被很好地理解。在这篇论文中，我们揭示了为什么LT网络能表现得如此出色的一些方面。我们展示了为什么设置权值为零是重要的，如何只需要符号来重新初始化网络训练，以及为什么掩蔽行为像训练。最后，我们发现了超级掩模的存在，这些掩模可以应用于未经训练的、随机初始化的网络，从而产生一个性能远远优于chance的模型(MNIST上为86%，CIFAR-10上为41%)。

LCA:损耗变化分配，用于神经网络训练

Janice Lan.（优步AI）·Rosanne Liu.（优步AI）·海蒂周（优步）·杰森Yosinski(超级人工智能)

雷竞技到底好不好用博客帖子那arxiv那相关研究代码雷竞技是骗人的
12月10日下午5:30，东展厅B&C，海报#99

神经网络培训是一个复杂的过程，但我们唯一通常用于监视此过程的唯一方法是单个数字：标量丢失。在本文中，为了更好地了解培训，我们测量模型的每个参数有助于每次迭代的损失的减少（或增加）。我们称之为损失变化分配（LCA），可以描述参数有助于或伤害培训。LCA可以通过神经元，层或时间总结，以揭示更广泛的模式。我们提供了三个洞察力的例子，即LCA可以揭示。首先，培训比至少我们预期的训练吵闹，（例如）resnet-50中只有50.7％的参数有助于降低任何特定迭代的损失。其次，有时整个层总共移动对由于动量和层层相互作用，训练梯度。最后，我们直接观察到微量增量在跨层中以同步方式进行学习，多个层学习概念，如彼此完全相同的迭代。

神经网络建模

基于图循环注意网络的有效图生成

Renjie廖（Uber Atg / U.多伦多/矢量）·玉嘉李（深圳市）·杨松（斯坦福）·神龙王(优步ATG / U. Toronto / Vector)·威廉·l·汉密尔顿(McGill / MILA)·戴维·杜维诺(U. Toronto / Vector)·拉奎尔Urtasun·Richard S. Zemel (U. Toronto / Vector)

12月10日上午10时45分，东展厅B&C，海报#124

我们提出了一种新的高效的深度生成图模型，称为图循环注意网络(GRANs)。我们的模型以目前生成的图为条件，每次生成一个节点块和相关边。块大小和采样步幅允许我们在采样质量和效率之间进行权衡。与以前基于递归神经网络(RNN)的图生成模型相比，我们的框架更好地利用图形神经网络(GNNs)注意地捕捉已经生成和将要生成的图部分之间的自回归条件。这不仅减少了对节点排序的依赖，而且还绕过了rnn的顺序特性带来的不必要的远程瓶颈。此外，我们使用混合模型参数化每个节点和边缘块的输出分布，这提供了一种有效的方法来捕获生成的边缘之间的相关性。最后，我们提出了一个解决方案来处理节点排序生成通过边缘化在一个规范排序家族。在标准基准上，我们实现了最先进的时间效率和样本质量与以前的模型相比。此外，我们还展示了我们的模型能够生成多达5000个节点的大型、高质量图形。据我们所知，GRAN是第一个可以扩展到这种规模的深度图生成模型。

注意吸引器网络的增量少镜头学习

Mengye任（Uber ATG / U.多伦多/矢量）·Renjie廖(Uber ATG / U. Toronto / Vector)·Ethan Fetaya (U. Toronto / Vector)·Richard S. Zemel (U. Toronto / Vector)

arxiv那相关研究代码雷竞技是骗人的
12月11日下午5点，东展厅B&C，海报#20

机器学习分类器经常被训练来识别一组预定义的类。然而，在许多实际应用中，通常希望能够灵活地学习额外的概念，而不需要对完整的训练集进行再训练。本文解决了这个问题，我们称之为增量少镜头学习，其中一个常规的分类网络已经被训练来识别一组基类，并考虑几个额外的新类，每个类只有几个标记的例子。在学习完小说类之后，我们会对基础类和小说类的整体表现进行评估。为此，我们提出了一个元学习模型——注意吸引子网络，它规范了新课程的学习。在每一集中，我们训练一组新的权值来识别新的类，直到它们收敛，并且我们展示了递归反向传播技术可以通过优化过程反向传播，并促进吸引器网络正则化器的学习。我们证明学习的吸引子网络可以识别新类，同时记住旧类，而不需要回顾原始训练集，优于不依赖迭代优化过程的基线。

哈密​​顿神经网络

Sam Greydanus（谷歌大脑）·Misko Dzamba（Petcube）·杰森Yosinski(超级人工智能)

雷竞技到底好不好用博客文章那arxiv那相关研究代码雷竞技是骗人的
12月12日在下午5:00，东展厅B＆C，海报＃67

尽管神经网络享有广泛使用，但他们仍然努力学习物理学的基本定律。我们如何在更好地建模物理系统方面引导它们？在本文中，我们提出了Hamiltonian神经网络，或HNNS，它从汉密尔顿力学汲取灵感，以培训学习和尊重的模型确切的保护法以无人驾驶的方式。我们评估我们的模型，其中节约能量是重要的，类似于引力的双体问题以及前后摆动的摆锤的像素观察。我们的测试显示HNNS火车比常规神经网络更快，更广泛地概括，因为在像能量等量保守的情况下。由于HNNS学习“总能量”的概念，我们还可以轻松模拟直接从系统中添加或删除总能量。

结论

如果您对上述研雷竞技是骗人的究感兴趣，请务必参加我们的讲座，在我们的海报上与我们交谈，或在2019年NeurIPS展会223号展位与我们见面(周日-周三)。有关我们的谈话和海报的更多信息，请查看超级NeurIPS 2019地点。

对优步AI、优步ATG和其他团队正在进行的雷竞技是骗人的ML研究感兴趣吗?看看其他的优步研究出雷竞技是骗人的版物或申请优步的机器学习角色。

致谢

作者要感谢David Eriksson，Peter Frazier，Zoubob Gardner，Zoubin Ghahramani，Sam Greydanus，Martin Jankowiak，Lawrence Murray，Renjie Liao，Mengye Ren，Raquel Urtasun，Janice Lan，Hattie Zhou，以及Rosanne Liu提供了短摘要他们的作品。标题图像背景是Flickr用户Armenws的“在黎明时的温哥华城市天际线”。