[笔记][大模型学习]08-GPT2-中文生成模型定制化微调训练

• GPT2中文模型：中文歌词、中文古文，中文对联，中文诗词，中文文章模型推理调用
• GPT2训练中文语料模型介绍
• GPT2中文训练数据集结构分析
• 本地训练GPT2中文模型

分词，预训练模型，是用来做通用的问题。更多的是一个字一个字为一个词。这样不存在上下文关系，灵活性比较好。缺点是训练的难度更大。

一个词一个词的，具备很强的上下文关系，所需要数据量比较小。

生成模式的评判，不是简单看指标。

生成模型的保存，一般是保存最后一轮或几轮模型参数。

客服类 RAG

数据 + 大模型基座 = 应用