抽象的
在大型文本语料库中培训的大型基于变压器的语言模型（LMS）表现出无与伦比的发电能力。但是，在不修改模型体系结构或对属性特定数据的微调并带来重大的再培训成本的情况下，很难控制生成语言的属性（例如，切换主题或情感）。我们提出了一个简单的替代方法：可控语言生成的插头和播放语言模型（PPLM），该模型将预处理的LM与一个或多个简单的属性分类器结合在一起，可指导文本生成，而无需对LM进行任何进一步的培训。在我们提出的规范场景中，属性模型是简单的分类器，该分类器由用户指定的单词袋或单个学习层组成，其参数比LM少100,000倍。采样需要向前和向后通行证，其中属性模型的梯度推动了LM的隐藏激活，从而引导了一代。模型样本显示了对各种主题和情感样式的控制，并且广泛的自动化和人类注释的评估显示出属性比对和流利度。PPLM具有灵活性，因为任何可区分属性模型的组合都可以用于引导文本生成，这将允许除本文中给出的示例外，还可以进行多种和创意的应用程序。
作者
Sumanth Dathathri，Andrea Madotto，珍妮丝·兰（Janice Lan），，，，简洪，，，，埃里克·弗兰克（Eric Frank），，，，皮耶罗·莫利诺（Piero Molino），，，，杰森·尤辛斯基（Jason Yosinski），，，，罗莎恩·刘（Rosanne Liu）
会议
ICLR 2020
完整的纸
‘插入和播放语言模型：一种简单的控制文本生成方法”（PDF）
Uber AI
注释