「川言川语」:神经网络RNN模仿特朗普的语言风格

综合技术 2018-06-17

为了获得更多民众的支持,美国总统演讲/发推时使用的语言通常都很「接地气」,而现任总统唐纳德·特朗普则更以「口无遮拦」著称。由于「推特狂魔」已经为我们准备了大量训练数据,现在,我们可以尝试一下如何使用循环神经网络来模仿总统特朗普的语言风格。

谁了解最好的词汇?

I know words. I have the best words.

在 2015 年 12 月 30 日举行的南卡罗来纳州竞选会上,川普说出了上面这些话。这些「川普主义」的言论使得特朗普的粉丝更加喜欢他,但也使他成为其他人的笑柄。

无论每个人对他的看法如何,川普的说话方式毋庸置疑是十分独特的:他的言语十分随意且无视传统句子结构约束。这类特点使他的讲话十分具有辨识度。

正是这种独特的风格吸引了我,我尝试用机器学习来模仿它:生成看起来或听起来像川普会说的文本。

数据收集与处理

要学习川普的说话风格,首先要获取足够多的语言样本。我主要关注两个主要的数据来源。

Twitter

非常规句子结构的例子。

川普的推特是收集其语言样本最好的地方。川普的独特之处在于他利用推特直接与美国百姓进行交流。此外,作为一名「明星人物」,他的言论已经被收集组织了起来(http://www.trumptwitterarchive.com/),这帮我省去了不少麻烦。一共大约有接近 31000 份推文可供使用。

总统致辞和演讲

然而,除了他在网络上表现出的一面,我还想更多地了解他作为总统更加正式的一面。为此,我收集了白宫简报档案提供的相关数据。借助 Python 工具我快速汇总了大约 420 份川普的演讲稿以及评论讲话。文本内容涵盖了各类活动,如与外国政要会面、与国会议员进行会议以及颁奖典礼。

与推特不同的是,虽然每一个字都是由特朗普本人所写或口述的,但这些文本还包含其他政治家或者记者所说的话。将川普所说的话与其他人的区分开来似乎是一项艰巨的任务。

正则表达式很强大。相信我。

输入正则表达式,虽然名字听起来很无聊但是功能绝对强大。

正则表达式允许你指定要搜索的模式;此模式可以包含任意数量的特定约束、通配符或其他限制,以保证返回的数据能够满足你的要求。

经过一些试验和调整,我生成了一个复杂的正则表达式,它只返回总统的言论,而不会返回其他的词或注释。

处理文本还是不处理?这是个问题

通常处理文本的第一步是对其进行归一化。归一化的程度和复杂度根据需求而变,从简单地删除标点符号或大写字母,到将单词的所有变体规范化为基本形式。工作流示例见:https://towardsdatascience.com/into-a-textual-heart-of-darkness-39b3895ce21e。

然而,对我而言,归一化过程中会丢失的具体特质和模式正是我需要保留的。所以,为了让我生成的文本更加可信和真实,我选择绕过大部分标准归一化工作流程。

文本生成

马尔可夫链

在深入研究深度学习模型之前,我们先来了解另一种常用的文本生成方法——马尔可夫链。马尔可夫链之前用作生成笑话文本的捷径:比如使用马尔可夫链基于星际迷航(https://twitter.com/captain_markov?lang=en)、辛普森一家(https://github.com/cshenton/simpsons_markov)剧本生成文本等实例。

马尔可夫链是快速且粗糙的,它只关注当前的词,以确定接下来的词是什么。这种算法每次只关注当前的词以及接下来可能会出现的词。下一个词是随机选择的,其概率与频率成正比。下面用一个简单的例子来说明:

简化的马尔可夫链例子,其中接着「taxes」出现的可以是「bigly」、「soon」或者句号。

现实生活中,如果川普说「taxes」一词,70% 的情况下他会在说完「taxes」后接着说「bigly」,而马尔可夫链70% 的情况下会选择「bigly」作为下一个词。但有时候,他不会说「bigly」。有时他会结束句子,或者选择另一个词接在后面。马尔可夫链很可能会选择「bigly」,但它也有可能选择其他可选的选项,这为生成的文本引入了一些不确定因素。

之后马尔可夫链可能会不断的生成下去,或者直到句子结束才停止。

对于快速且随机的应用场景,马尔可夫链可能非常适用,但是它一旦出错也很容易看出来。由于马尔可夫链只关心当前的单词,因此它生成的句子很容易跑偏。一个一开始讨论国内经济的句子可能结束的时候在讨论《谁是接班人》。

使用我有限的文本数据集,马尔可夫链的大部分输出是无意义的。但偶尔也会有「灵光一现」:

用推文训练马尔可夫链所生成的句子(种子词为「FBI」)。

循环神经网络

然而如果要训练得到更加真实的文本,需要一些更复杂的算法。循环神经网络(RNN)已经成为许多文本或基于序列的应用的首选架构。RNN 的详细内部工作原理不在本文的讨论范围之内。

这些神经元的显著特征是它们具有各种内部「记忆」。单词的选择和语法很大程度上依赖于上下文,而这些「记忆」能够跟踪时态、主语和宾语等,这对生成连贯的句子是非常有用的。

这类网络的缺点是它们的计算量非常大,在笔记本电脑上用模型将我的文本数据训练一次要一个多小时,考虑到要这样训练大约 200 次,这类网络不是很友好。

这里就需要云计算大展身手了。许多成熟的科技公司提供云服务,其中最大的是亚马逊、谷歌和微软。在需要大量 GPU 计算的实例中,之前需要一个小时的过程缩减为九十秒,时间减少大约四十倍!

评估

你能判断这个句子是川普说的还是 RNN 生成的吗?

California finally deserves a great Government to Make America Great Again! #Trump2016

这是从「特朗普对共和党州长候选人的支持」推文(https://twitter.com/realDonaldTrump/status/997597940444221440)中生成的文本,但它可能会被当作特朗普在 2016 年大选前发布的推文。

我所实现的复杂版本的神经网络(在循环层之前和之后有隐藏的全连接层)能够在种子为 40 个或小于 40 个字符的情况下生成内部连贯的文本。

I want them all to get together and I want people that can look at the farms.
China has agreed to buy massive amounts of the world—and stop what a massive American deal.

而简化版本的网络在连贯性方面有所欠缺,但仍然能够捕捉到特朗普总统讲话的语言风格:

Obama. We'll have a lot of people that do we—okay? I'll tell you they were a little bit of it.

结语

虽然没能一直产生足以欺骗你我的文本,但这种尝试让我看到了 RNN 的力量。简而言之,这些网络学习了拼写、语法的某些方面,以及在特定情况下如何使用井号标签和超链接。

该项目的 GitHub 链接:https://github.com/tetrahydrofuran/presidential-rnn

参考原文:https://towardsdatascience.com/the-best-words-cf6fc2333c31

工程

相关数据

神经网络
技术

Neural Network

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

来源:机器之心

机器学习
技术

Machine Learning

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

来源:Mitchell, T. (1997). Machine Learning. McGraw Hill.

马尔可夫链
技术

Markov chain

马尔可夫链,又称离散时间马尔可夫链,因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质:下一状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。

来源: 维基百科

神经元
技术

neurons

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

来源: Overview of Artificial Neural Networks and its Applications. (2018). medium.com.

深度学习
技术

Deep learning

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。 近年来监督式深度学习方法(以反馈算法训练CNN、LSTM等)获得了空前的成功,而基于半监督或非监督式的方法(如DBM、DBN、stacked autoencoder)虽然在深度学习兴起阶段起到了重要的启蒙作用,但仍处在研究阶段并已获得不错的进展。在未来,非监督式学习将是深度学习的重要研究方向,因为人和动物的学习大多是非监督式的,我们通过观察来发现世界的构造,而不是被提前告知所有物体的名字。 至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源: LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

路雪

机器之心编辑

推荐文章

机器之心

责编内容by:机器之心 (源链)。感谢您的支持!

您可能感兴趣的

训练深度神经网络失败的罪魁祸首不是梯度消失,而是退化... 作者通过深度线性网络的例子对照证明了导致最终网络性能变差的原因并不是梯度消失,而是权重矩阵的退化,导致模型的有效自由度减少,并指出该结论可以推广到非线性网络中。...
TwenBN发布两个大型DL视频数据集:助力机器视觉通用智能... TwenBN 是一家人工智能公司,运用先进的机器学习技术,做到让机器像人一样理解视频。近日,他们发布了两个大型视频数据集(256,591 个标注视频)So...
深度协同过滤:用神经网络取代内积建模... 在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 ...
卷积神经网络介绍 记录在学习CNN过程中的一些知识点,包括参考的文章,论文或者博客等。 参考文章/书籍: An Intuitive Explanation...
MIT Neural Network Processor Cuts Power Consumptio... Neural network processing and AI workloads are both hot topics these days, ...