LLM From Scratch

一、B | 2023百模大战 | NLP Tasks决策流程 二、E |  GPT模型的本质是一个基于Transformer的Decode-only预训练模型！ 三、B | OpenAI的ChatGP

从RNN 到 Gated RNN（LSTM\GRU）都无法解决Long Sequence中的hidden layer记忆管理！ 抓重点 单token不同上下文语义不同

一、背景 二、本质 三、最佳实践 四、快速开始 五、实际工作 Data要丢给Algorithm！Data是foundation! 尽管DL的进步是干掉人为特征工程，但是Garbage In！

一、目的 :二分类的情感识别 Chat类型的助手 二、计划 三、内容 四、说明 极简的方式来动手实现一个类GPT的基础大模型，Fine-Tune为两类