21215

NLP 领域模型训练策略的改变总共经历了四个阶段，这也是 GPT 模型的训练方式进化史。 ChatGPT 的模型训练方式依然汲取了大规模语言模型 （LM） 预训练，以及小样本学习的思想。

ChatGPT 模型的训练过程主要包括语言模型的预训练，根据用户数据微调（Finetune）  ，使用强化学习方法提升模型知识涌现能力。这几部分的本质都还是利用随机梯度下降法，使用数据进行有监督训练。

ChatGPT 模型基于 encoder-decoder 模型架构进行建模。 ChatGPT 模型采用核搜索、温控搜索结合的方式生成输出结果

OpenAI 的 GPT 系列模型，包括其它科技公司研发的各种最先进的 NLP 模型，甚至图像处理模型，广泛采用了 Attention 注意力机制进行建模，它可谓是当前 NLP 神经网络的灵魂机制。

Tokenizer 将模型输入的文字转换为 token 序列。 ChatGPT 使用了 BPE 算法实现 Tokenizer。 Embedding 将 token 序列映射为张量矩阵。

语言模型是什么？ ChatGPT 是一个语言模型，是属于 NLP 领域的概念。语言模型的训练就是让模型根据上文，猜测下文最可能的内容，即文字接龙。

尽管 ChatGPT 像是一颗核弹，突然在全世界媒体上引爆了。但是，ChatGPT 并不是 OpenAI 天降神力直接横空出世的，而是 OpenAI 历经多年，不断迭代、不断优化模型的结果。