这篇文章是基于“即插即用语言模型:可控文本生成的简单方法”作者:Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski和Rosanne Liu
的…
Jason Yosinski.
Jason Yosinski是优步AI实验室的创始成员，并导致了深度集体研究组。雷竞技是骗人的他闻名地为理解神经网络建模，陈述和培训的贡献。在Uber之前，Jason在Caltech，共同创立的两家Web公司的机器人工作，并在洛杉矶中学开始了一个机器人计划，现在提供超过500名学生。他在康奈尔创意机床，蒙特利尔大学，杰普，谷歌深层工作，完成了博士学位。他是美国宇航局空间技术研究奖学金的收件人，共同撰写了超过50篇论文和专利，并在几何智能下的ML雷竞技是骗人的 VP，Uber获得。他的工作已经被NPR，英国广播公司，有线，经济学家，科学和纽约州的思考。在他的空闲时间，杰森喜欢烹饪，阅读，滑翔伞，假装他是一名艺术家。
工程博客文章雷竞技到底好不好用
介绍LCA：神经网络培训的损失变更分配
在过去十年中，神经网络（NNS）已经变得多产，现在在整个行业的电力机学习。在Uber，我们使用NNS进行各种目的，包括自动驾驶汽车的物体运动检测和预测,反应更…
卷积神经网络和COORCONV解决方案的有趣失败
Uber在许多域中使用卷积神经网络，这些域可能涉及协调变换，从设计自动驾驶车辆来自动化路牌检测，以构建地图并最大化超高级市场的空间运动效率。
在深度学习中，…
引入优步人工智能常驻
优步人工智能实验室和优步ATG多伦多激动地宣布超级人工智能居住一项为期一年的强化研究培训计划定于今年夏天开始。雷竞技是骗人的
超级在机器学习上投入了大量资金吗和人工智能，周围的群体…
雷竞技是骗人的研究论文
通过超级血统的一阶预处理
T. Moskovitz，王王,J. LAN.,S. Kapoor.,t . Miconi,j . Yosinski,A. rawal.
标准梯度下降方法易于一系列可能阻碍训练的问题，例如参数空间中的高相关性和不同的缩放。这些困难可以通过将预调节矩阵应用于梯度来改善收敛的二阶方法来解决这些困难。。遗憾的是，这种算法通常努力扩展到高维问题，部分原因是特定的预处理器，例如反向Hessian或Fisher信息矩阵非常昂贵。我们介绍一阶预处理（FOP），一种快速，可扩展的方法，概括了先前的血统下降的工作（Almeida等，1998; Maclaurin等，2015; Baydin等，2017）学习预处理矩阵只利用一阶信息。[…][PDF]
神经信息处理系统会议(neurlps.), 2019
标准梯度下降方法易于一系列可能阻碍训练的问题，例如参数空间中的高相关性和不同的缩放。这些困难可以通过将预调节矩阵应用于梯度来改善收敛的二阶方法来解决这些困难。。遗憾的是，这种算法通常努力扩展到高维问题，部分原因是特定的预处理器，例如反向Hessian或Fisher信息矩阵非常昂贵。我们介绍一阶预处理（FOP），一种快速，可扩展的方法，概括了先前的血统下降的工作（Almeida等，1998; Maclaurin等，2015; Baydin等，2017）学习预处理矩阵只利用一阶信息。[…][PDF]
神经信息处理系统会议(neurlps.), 2019
具有深度确定性动态梯度的Q（S，S'）
A. Edwards.Himanshu萨尼,R. Liu.,j .挂,a . Jain,王王,A. Ecoffet.,t . Miconi,的时候,j . Yosinski
在本文中，我们引入了一种新的值函数形式Q(s,s’)，它表示状态s从一个状态s过渡到相邻状态s’，然后再进行最优行为的效用。为了得到一个最优策略，我们开发了一个正向动力学模型，学习做出下一个状态预测，使这个值最大化。[…][PDF]
国际机器学习会议(ICML), 2020
在本文中，我们引入了一种新的值函数形式Q(s,s’)，它表示状态s从一个状态s过渡到相邻状态s’，然后再进行最优行为的效用。为了得到一个最优策略，我们开发了一个正向动力学模型，学习做出下一个状态预测，使这个值最大化。[…][PDF]
国际机器学习会议(ICML), 2020
即插即用语言模型：一种控制文本生成的简单方法
S. Dathathri，A. Madotto，J. LAN.,j .挂,E.弗兰克,P. Molino.,j . Yosinski,R. Liu.
基于大型文本语料库的大型变压器的语言模型（LMS）已经显示出无与伦比的生成功能。但是，控制生成的语言的属性（例如，切换主题或情绪）很困难，而无需修改模型架构或对属性特定数据的微调并导致重新培训的大量成本。我们提出了一个简单的替代方案：用于可控语言生成的插头和播放语言模型（PPLM），其将预磨限LM与一个或多个简单属性分类器结合，指导文本生成而无需进一步培训LM。[PDF]
学习表现国际会议(ICLR), 2020
基于大型文本语料库的大型变压器的语言模型（LMS）已经显示出无与伦比的生成功能。但是，控制生成的语言的属性（例如，切换主题或情绪）很困难，而无需修改模型架构或对属性特定数据的微调并导致重新培训的大量成本。我们提出了一个简单的替代方案：用于可控语言生成的插头和播放语言模型（PPLM），其将预磨限LM与一个或多个简单属性分类器结合，指导文本生成而无需进一步培训LM。[PDF]
学习表现国际会议(ICLR), 2020
哈密顿神经网络
格雷达努斯，赞巴，j . Yosinski
尽管神经网络得到了广泛的应用，但它们仍在努力学习基本的物理定律。我们如何赋予他们更好的归纳偏差?在本文中，我们从哈密顿力学中得到启示，训练模型，学习和尊重精确的守恒定律在无监督的方式。[…][PDF]
神经信息处理系统会议(NeurIPS)，2019年
尽管神经网络得到了广泛的应用，但它们仍在努力学习基本的物理定律。我们如何赋予他们更好的归纳偏差?在本文中，我们从哈密顿力学中得到启示，训练模型，学习和尊重精确的守恒定律在无监督的方式。[…][PDF]
神经信息处理系统会议(NeurIPS)，2019年
LCA：神经网络培训的损失变更分配
J. LAN.,R. Liu.,H.周,j . Yosinski
神经网络享有广泛的使用，但他们的培训，代表和操作的许多方面都很明显。特别是，我们的视图进入培训过程是有限的，单个标量损失是最常见的视口进入这种高维，动态过程。我们向训练提出了一个新的窗口，称为损耗变化分配（LCA），其中衡量网络丢失的变化保守地分区为参数。[…][PDF]
神经信息处理系统会议(NeurIPS)，2019年
神经网络享有广泛的使用，但他们的培训，代表和操作的许多方面都很明显。特别是，我们的视图进入培训过程是有限的，单个标量损失是最常见的视口进入这种高维，动态过程。我们向训练提出了一个新的窗口，称为损耗变化分配（LCA），其中衡量网络丢失的变化保守地分区为参数。[…][PDF]
神经信息处理系统会议(NeurIPS)，2019年
解构彩票：零，标志和超级掩码
H.周,J. LAN.,R. Liu.,j . Yosinski
近年来，由于深度学习的兴起，光学字符识别(OCR)方法得到了广泛的发展。目前最先进的模型主要是在由受约束场景组成的数据集上进行训练。从现实世界的图像中检测和识别文本仍然是一个技术挑战。[…][PDF]
神经信息处理系统会议(NeurIPS)，2019年
近年来，由于深度学习的兴起，光学字符识别(OCR)方法得到了广泛的发展。目前最先进的模型主要是在由受约束场景组成的数据集上进行训练。从现实世界的图像中检测和识别文本仍然是一个技术挑战。[…][PDF]
神经信息处理系统会议(NeurIPS)，2019年
Metropolis-Hastings生成对抗网络
R. Turner.,j .挂,Y. Saatci.,j . Yosinski
我们引入了Metropolis-Hastings生成对抗网络(MH-GAN)，它结合了马尔可夫链、蒙特卡罗和甘斯网络的特点。MH-GAN从GAN的鉴别器-发生器对隐含定义的分布中抽取样本，而不是在标准GAN中从发生器定义的分布中抽取样本。[…][PDF]
国际机器学习会议(ICML), 2019
我们引入了Metropolis-Hastings生成对抗网络(MH-GAN)，它结合了马尔可夫链、蒙特卡罗和甘斯网络的特点。MH-GAN从GAN的鉴别器-发生器对隐含定义的分布中抽取样本，而不是在标准GAN中从发生器定义的分布中抽取样本。[…][PDF]
国际机器学习会议(ICML), 2019
通过特征可视化理解神经网络:一项调查
答:阮,j . Yosinski,J. Clune.
理解大脑的神经科学方法是寻找和研究高度激活单个细胞或细胞组的优选刺激。机器学习的最新进展使一系列方法可以合成优选的刺激，使人工或生物大脑中的神经元强烈地射击。[…][PDF]
可解释AI:解释、解释和可视化深度学习，2019年
理解大脑的神经科学方法是寻找和研究高度激活单个细胞或细胞组的优选刺激。机器学习的最新进展使一系列方法可以合成优选的刺激，使人工或生物大脑中的神经元强烈地射击。[…][PDF]
可解释AI:解释、解释和可视化深度学习，2019年
更快的神经网络直接从JPEG
L. Gueguen.,A. Sergeev.，B. Kadlec，R. Liu.,j . Yosinski
直接从RGB像素训练卷积神经网络(CNNs)的简单、优雅的方法获得了压倒性的经验成功。但是，通过使用不同的输入表示，是否可以从网络中挤出更多的性能呢?在本文中，我们提出并探索了一个简单的想法:直接在块离散余弦变换(DCT)系数上训练cnn，并在JPEG编解码器的中间计算和可用。[…][PDF]
神经信息处理系统的进步(NeurIPS)，2018年
直接从RGB像素训练卷积神经网络(CNNs)的简单、优雅的方法获得了压倒性的经验成功。但是，通过使用不同的输入表示，是否可以从网络中挤出更多的性能呢?在本文中，我们提出并探索了一个简单的想法:直接在块离散余弦变换(DCT)系数上训练cnn，并在JPEG编解码器的中间计算和可用。[…][PDF]
神经信息处理系统的进步(NeurIPS)，2018年
卷积神经网络和COORCONV解决方案的有趣失败
R. Liu.,j·雷曼,P. Molino.,F.i这样,E.弗兰克,A. Sergeev.,j . Yosinski
很少有想法已经享受了对深度学习作为卷积的影响。对于涉及像素或空间表示的任何问题，常见的直觉保持卷积神经网络可能是合适的。在本文中，我们通过看似微不足道的坐标变换问题向这种直觉展示了一个引人注目的反例，这简单地需要学习（x，y）笛卡尔空间和单个热像素空间之间的坐标之间的映射。[…][PDF]
神经信息处理系统的进步(NeurIPS)，2018年
很少有想法已经享受了对深度学习作为卷积的影响。对于涉及像素或空间表示的任何问题，常见的直觉保持卷积神经网络可能是合适的。在本文中，我们通过看似微不足道的坐标变换问题向这种直觉展示了一个引人注目的反例，这简单地需要学习（x，y）笛卡尔空间和单个热像素空间之间的坐标之间的映射。[…][PDF]
神经信息处理系统的进步(NeurIPS)，2018年
客观景观的内在维度测量
春源李，休雷德·芬湾，R. Liu.,j . Yosinski
许多最近训练的神经网络采用大量参数来实现良好的性能。可以直观地使用作为问题难度的粗略仪表所需的参数数量。但是这些概念有多准确？真正需要多少参数？在本文中，我们试图通过培训不在本机参数空间中的网络来回答这个问题，而是在一个较小的随机定向的子空间中。[…][PDF]
学习表现国际会议(ICLR), 2018
许多最近训练的神经网络采用大量参数来实现良好的性能。可以直观地使用作为问题难度的粗略仪表所需的参数数量。但是这些概念有多准确？真正需要多少参数？在本文中，我们试图通过培训不在本机参数空间中的网络来回答这个问题，而是在一个较小的随机定向的子空间中。[…][PDF]
学习表现国际会议(ICLR), 2018
数字演变的令人惊讶的创造力：来自进化计算和人工生命研究社区的轶事集合雷竞技是骗人的
j·雷曼,J. Clune.，D. Misevic，C.Adami，L.Altenberg，J.Beaulieu，P. Benulley，S. Bernard，G.Beslon，D. Bryson，P.Charabaszcz，N. Cheney，A. Cully，S. Doncieux，S. Doncieux，S. Doncieux，S. Doncieux，S. Doncieux，S. Doncieux，S. Doncieux，S. Doncieux，F。Dyer，K.Ellefsen，R.Feldt，S.Fischer，S. Forrest，A.Frénoy，C.Gagné，L. Goff，L.Grabowski，B. Hodjat，F. Hutch，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C. Keller，C.凯勒,P. Krcah, R. Lenski, H. Lipson, R. MacCurdy, C. Maestre, R. Miikkulainen, S. Mitri, D. Moriarty, J. Mouret, A. Nguyen, C. Ofria, M. Parizeau, D. Parsons, R. Pennock, W. Punch, T. Ray, M. Schoenauer, E. Shulte, K. Sims,K.斯坦利，F. Taddei，D. Tarapore，S. Thibault，W.Weimer，R. Watson，j . Yosinski
生物进化为复杂和微妙的适应提供了一种创造性的辉煌，经常令人惊讶的是发现它们的科学家。然而，因为进化是一种超越其发生的基材的算法过程，所以进化的创造力不限于自然。[…][PDF]
2018年
生物进化为复杂和微妙的适应提供了一种创造性的辉煌，经常令人惊讶的是发现它们的科学家。然而，因为进化是一种超越其发生的基材的算法过程，所以进化的创造力不限于自然。[…][PDF]
2018年
利用深度学习从野外图像自动识别北方叶枯病玉米植株
C. Dechant，T. Wiesner-Hanks，S，Chen，E. Stewart，j . Yosinski戈尔、纳尔逊和利普森
北方叶枯病(NLB)可造成玉米严重的产量损失;然而，对大面积区域进行准确诊断既费时又困难。我们演示了一个系统，能够自动识别NLB病变的现场获取的玉米植株图像，具有高可靠性。[…][PDF]
植物病理学，2017年
北方叶枯病(NLB)可造成玉米严重的产量损失;然而，对大面积区域进行准确诊断既费时又困难。我们演示了一个系统，能够自动识别NLB病变的现场获取的玉米植株图像，具有高可靠性。[…][PDF]
植物病理学，2017年
优步的神经网络时间序列极端事件预测
N. Laptev，j . Yosinski，l. li，S. Swyl.
高方差段（例如，假期）期间准确的时间系列预测对异常检测，最优资源分配，预算规划和其他相关任务至关重要。在优步准确预测，在特殊事件期间对已完成的旅行可以导致更有效的驱动程序分配导致骑手的等待时间减少。[PDF]
国际机会学习会议（ICML），2017年
高方差段（例如，假期）期间准确的时间系列预测对异常检测，最优资源分配，预算规划和其他相关任务至关重要。在优步准确预测，在特殊事件期间对已完成的旅行可以导致更有效的驱动程序分配导致骑手的等待时间减少。[PDF]
国际机会学习会议（ICML），2017年
SVCCA:深度学习动态和可解释性的奇异向量典型相关分析
拉古，吉尔默，j . Yosinski, j . Sohl-Dickstein
我们提出了一种新的技术，奇异的矢量规范相关性分析（SVCCA），一种用于快速比较两个表示的工具，其在一种不变性的方式仿射变换（允许在不同层和网络之间进行比较）并快速计算（允许更多的比较比以前的方法计算）。[…][PDF]
神经信息处理系统（尼斯），2017年
我们提出了一种新的技术，奇异的矢量规范相关性分析（SVCCA），一种用于快速比较两个表示的工具，其在一种不变性的方式仿射变换（允许在不同层和网络之间进行比较）并快速计算（允许更多的比较比以前的方法计算）。[…][PDF]
神经信息处理系统（尼斯），2017年
即插即用生成网络：在潜在空间中的图像迭代生成
A. Nguyen，J. Clune.，Y.Bengio，A. Dosovitskiy，j . Yosinski
生成高分辨率、逼真的图像一直是机器学习的一个长期目标。最近，Nguyen等人(2016)展示了一种合成新图像的有趣方法，即在生成器网络的潜在空间中执行梯度上升，以最大程度地激活单独分类网络中的一个或多个神经元。在本文中,我们扩展这种方法通过引入额外的代码之前,提高样品质量和样本的多样性,导致了一个先进的生成模型,产生高质量的图像在更高的分辨率(227 x227)比先前的生成模型,并对于所有1000 ImageNet类别。[…][PDF]
计算机视觉与模式识别(CVPR)，2017年
生成高分辨率、逼真的图像一直是机器学习的一个长期目标。最近，Nguyen等人(2016)展示了一种合成新图像的有趣方法，即在生成器网络的潜在空间中执行梯度上升，以最大程度地激活单独分类网络中的一个或多个神经元。在本文中,我们扩展这种方法通过引入额外的代码之前,提高样品质量和样本的多样性,导致了一个先进的生成模型,产生高质量的图像在更高的分辨率(227 x227)比先前的生成模型,并对于所有1000 ImageNet类别。[…][PDF]
计算机视觉与模式识别(CVPR)，2017年
