快乐LLM第一天

快乐LLM第一天

前言，主要似乎对从PLM到LLM演变的讲解。PLM了多次变革，通过与训练-微调的思想通过大量文本进行自监督与训练，实现了强大的自然语言理解能力，但是还是有不如意的地方，依赖监督数据进行下游任务微调，性能上也不太好；LLM在这个基础上，扩大参数和规模，引入指令微调和用户反馈强化训练成果。能够减少大量的标注工作，减少监督，性能显著提高。从大模型不断发展，LLM的地位也渐渐的更加稳固，学习LLM对AI的学习就显得更加重要了。

接下来的学习重点：理解LLM的基本架构，学习PLM，实操搭建一个LLM。