NLP中的常用模型

Transofrmers版本4.21 这里只考虑预训练的代码，毕竟预训练才是最重要的，一通百通。即 BertForPretraining这个类 获取类调用的关系图UML图 图中左侧箭头对应NSP任务的

面试准备： Transformer 作为一种序列转换模型(sequence transduction)完全抛弃了RNN\CNN等传统的方案。

ELMO充分利用了Bi-LSTM的各层的所有输出以及Embdding层来解决了Word2vec存在的不支持一词多义的缺陷。

Transformer系列模型的面试常见问题和深入理解：为什么要除以d_k，残差和LaryNorm的先后对模型有什么影响？为什么要共享Embedding参数？可不可以不共享