ShowMeAI研究中心

NLP与深度学习的未来

ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！视频和课件等资料的获取方式见文末。

1.NLP和深度学习的未来

NLP和深度学习的未来

5年前的深度学习和NLP

5年前的深度学习和NLP
- No Seq2Seq
- No Attention
- No large-scale QA / reading comprehension datasets
- No TensorFlow or Pytorch

深度学习和NLP的未来

利用无标签数据
- Back-translation 和无监督机器翻译
- 提高预训练和 GPT-2

接下来呢？
- NLP 技术的风险和社会影响
- 未来的研究方向

1.1 为什么深度学习最近如此成功？

为什么深度学习最近如此成功？

扩展能力 (模型和数据大小) 是深度学习近些年来成功的原因
过去受到计算资源和数据资源的规模限制

1.2 三个使用大量数据获得成功的范例

三个使用大量数据获得成功的范例

图像识别：被 Google, Facebook 等广泛使用
- ImageNet：14 million examples
机器翻译：谷歌翻译等
- WMT：Millions of sentence pairs
打游戏：Atari Games, AlphaGo, and more
- 10s of millions of frames for Atari AI
- 10s of millions of self-play games for AlphaZero

1.3 NLP 数据集

NLP 数据集

即使是英语，大部分任务也只有 $100k$ 或更少的有标签样本

其他语言的可用数据就更少了
- 有成千上万的语言，其中有成百上千的语言的母语使用者是大于一百万的
- 只有 $10\%$ 的人将英语作为他们的第一语言

越来越多的解决方案是使用无标签数据

2.使用未标记数据进行翻译

使用未标记数据进行翻译

2.1 机器翻译数据

机器翻译数据

获得翻译需要人类的专业知识
- 限制数据的大小和领域
语言文本更容易获得

2.2 预训练

预训练

① 分别将两个预训练好的语言模型作为 Encoder 和 Decoder
② 然后使用双语数据共同训练

预训练

English -> German Results：2+ BLEU point improvement
英语到德语的翻译结果，BLEU 有 $2$ 个点的提升

2.3 自训练

自训练

预训练的问题：预训练中两个语言之间没有交互
自训练：标记未标记的数据以获得有噪声的训练样本

自训练技术没有被广泛使用，因为其训练的来源是其之前的产出

2.4 Back-Translation

Back-Translation

有两种方向相反的机器翻译模型 en→fr 和 fr→en

不再循环
模型再也看不到 坏 翻译，只有坏输入

补充讲解

模型训练时会加入一些标记数据，确保 en→fr 模型的输出，即 fr→en 模型的输入，从而保证模型的正常
如何协调对标记数据与未标记数据的训练呢？
先在标记数据上训练两个模型
然后在未标记数据上标记一些数据
再在未标记数据上进行反向翻译的训练
重复如上的过程

Large-Scale Back-Translation

4.5M English-German sentence pairs and 226M monolingual sentences

2.5 如果没有双语数据呢？

如果没有双语数据呢？

补充讲解

当我们只有未标记的句子时，我们使用一种比完全的翻译更简单的任务
不是做句子翻译
而是做单词翻译
我们想要找到某种语言的翻译但不使用任何标记数据

2.6 无监督单词翻译

无监督单词翻译

跨语言文字嵌入 cross-lingual word embeddings
- 两种语言共享嵌入空间
- 保持词嵌入的正常的好属性
- 但也要接近他们的翻译
想从单语语料库中学习

补充讲解

如上图所示，在共享的嵌入空间中，每个英文单词都有其对应的德语单词，并且距离很近
我们在使用时，只需选取英文单词在嵌入空间中距离最近的德语单词，就可以获得对应的翻译

无监督单词翻译

词嵌入有很多结构
假设：不同语言之间的结构应该相似

补充讲解

即使是运行两次 word2vec 会获得不同的词嵌入，嵌入空间的结构有很多规律性
如上图所示，是英语与意大利语的词嵌入，矢量空间看上去彼此十分不同，但是结构是十分相似的
可以理解为，在英语词嵌入空间中的 cat 与 feline 的距离与意大利语词典如空间中的 gatto 和 felino 之间的距离是相似的
我们在跨语言的词嵌入中想要学习不同种语言的词嵌入之间的对齐方式

无监督单词翻译

首先在单语语料库上运行 word2vec 以得到单词嵌入 $X$ 和 $Y$
学习一个 (正交) 矩阵 $W$ 使得 $WX \sim Y$

使用对抗训练来学习 $W$
鉴别器：预测一个嵌入是来自于 $Y$ 的还是来自于 $X$ 并使用 $W$ 转换后的嵌入
训练 $W$ 使得鉴别器难以区分这两者

其他可以被用来进一步提升效果的方法参见 Word Translation without Parallel Data
正交性来约束词嵌入的原因是为了防止过拟合
我们假设我们的嵌入空间是类似的，只是需要对英语的词向量和意大利语的词向量进行旋转

无监督机器翻译

模型：不考虑不同输入和输出语言，使用相同的(共享的) encoder-decoder (没有使用注意力)
- 使用 cross-lingual 的词嵌入来初始化，即其中的英语和法语单词应该看起来完全相同

补充讲解

可以喂给 encoder 一个英文句子，也可以喂一个法语句子，从而获得 cross-lingual embeddings ，即英文句子和法语句子中各个单词的词嵌入，这意味着 encoder 可以处理任何输入
对于 decoder，我们需要喂一个特殊的标记来告诉模型应该生成什么语言的输出
可以用做一个 auto-encoder，完成 en→en ，即再现输入序列