在过去十年中，神经网络（NNS）已经变得多产，现在在整个行业的电力机学习。在Uber，我们使用NNS进行各种目的，包括检测和预测自行车车辆的对象运动那回应更多......
Janice Lan.
Janice Lan是一个有优步雷竞技是骗人的艾的研究科学家。
工程博客文章雷竞技到底好不好用
雷竞技是骗人的调查报告
通过超级血统的一阶预处理
T. Moskovitz，王王那J. LAN.那S. Kapoor.那T. Miconi.那J. Yosinski.那A. rawal.
标准梯度下降方法易于一系列可能阻碍训练的问题，例如参数空间中的高相关性和不同的缩放。这些困难可以通过将预调节矩阵应用于梯度来改善收敛的二阶方法来解决这些困难。。遗憾的是，这种算法通常努力扩展到高维问题，部分原因是特定的预处理器，例如反向Hessian或Fisher信息矩阵非常昂贵。我们介绍一阶预处理（FOP），一种快速，可扩展的方法，概括了先前的血统下降的工作（Almeida等，1998; Maclaurin等，2015; Baydin等，2017）学习预处理矩阵只利用一阶信息。[...][PDF]
神经信息处理系统会议（neurlps.），2019年
标准梯度下降方法易于一系列可能阻碍训练的问题，例如参数空间中的高相关性和不同的缩放。这些困难可以通过将预调节矩阵应用于梯度来改善收敛的二阶方法来解决这些困难。。遗憾的是，这种算法通常努力扩展到高维问题，部分原因是特定的预处理器，例如反向Hessian或Fisher信息矩阵非常昂贵。我们介绍一阶预处理（FOP），一种快速，可扩展的方法，概括了先前的血统下降的工作（Almeida等，1998; Maclaurin等，2015; Baydin等，2017）学习预处理矩阵只利用一阶信息。[...][PDF]
神经信息处理系统会议（neurlps.），2019年
即插即用语言模型：一种控制文本生成的简单方法
S. Dathathri，A. Madotto，J. LAN.那J. Hung.那E.弗兰克那P. Molino.那J. Yosinski.那R. Liu.
基于大型文本语料库的大型变压器的语言模型（LMS）已经显示出无与伦比的生成功能。但是，控制生成的语言的属性（例如，切换主题或情绪）很困难，而无需修改模型架构或对属性特定数据的微调并导致重新培训的大量成本。我们提出了一个简单的替代方案：用于可控语言生成的插头和播放语言模型（PPLM），其将预磨限LM与一个或多个简单属性分类器结合，指导文本生成而无需进一步培训LM。[PDF]
学习陈述国际会议（iclr.），2020年
基于大型文本语料库的大型变压器的语言模型（LMS）已经显示出无与伦比的生成功能。但是，控制生成的语言的属性（例如，切换主题或情绪）很困难，而无需修改模型架构或对属性特定数据的微调并导致重新培训的大量成本。我们提出了一个简单的替代方案：用于可控语言生成的插头和播放语言模型（PPLM），其将预磨限LM与一个或多个简单属性分类器结合，指导文本生成而无需进一步培训LM。[PDF]
学习陈述国际会议（iclr.），2020年
LCA：神经网络培训的损失变更分配
J. LAN.那R. Liu.那H.周那J. Yosinski.
神经网络享有广泛的使用，但他们的培训，代表和操作的许多方面都很明显。特别是，我们的视图进入培训过程是有限的，单个标量损失是最常见的视口进入这种高维，动态过程。我们向训练提出了一个新的窗口，称为损耗变化分配（LCA），其中衡量网络丢失的变化保守地分区为参数。[...][PDF]
神经信息处理系统会议（内潜藏），2019年
神经网络享有广泛的使用，但他们的培训，代表和操作的许多方面都很明显。特别是，我们的视图进入培训过程是有限的，单个标量损失是最常见的视口进入这种高维，动态过程。我们向训练提出了一个新的窗口，称为损耗变化分配（LCA），其中衡量网络丢失的变化保守地分区为参数。[...][PDF]
神经信息处理系统会议（内潜藏），2019年
解构彩票：零，标志和超级掩码
H.周那J. LAN.那R. Liu.那J. Yosinski.
由于深度学习的复苏，近年来，光学字符识别（OCR）方法已被广泛推进。最先进的模型主要接受由受约束场景组成的数据集。从现实世界图像中检测和识别文本仍然是技术挑战。[...][PDF]
神经信息处理系统会议（内潜藏），2019年
由于深度学习的复苏，近年来，光学字符识别（OCR）方法已被广泛推进。最先进的模型主要接受由受约束场景组成的数据集。从现实世界图像中检测和识别文本仍然是技术挑战。[...][PDF]
神经信息处理系统会议（内潜藏），2019年
