AI

LLM 原理是根据前面的 token 预测后面的 token，Prompt 是最早输入的 token。 LLM 有一些配置也能影响模型输出。 参数 温度 Temperature 温度是 softmax

这篇文章从程序员视角，类比理解 LLM 的底层原理。 阶段一：设计蓝图 LLM 现在都用 Transformer 架构，最开始也要设置一些额外的参数。 d_modle 比如 4096，是 2 的 n

上一篇解释完点积和矩阵乘法，矩阵乘法是一种转换，这一篇看 Transformer 中如何运用的。 LLM 的本质是预测下一个 token，阶段二中，使用大量的互联网内容，给模型做训练，使用自监督学习，

阶段二的详细推理过程讲解完毕，但这时候 LLM 只经过了预训练，他只会续写，阶段三通过特定的调试，让 LLM 拥有问答、规避风险等真正可以被人用的能力。 阶段三 阶段二的产物称之为 Base Modl

在阶段二中，我主要解释的是推理过程，即根据输入 token 预测下一个 token，这一篇补充下训练过程，如何修改那么多参数。 前面的过程和推理一样，从 Layer1 到 Layer96 称之为正向传

在刚开始用 cursor 等工具时，只是用 AI 帮忙生产代码，代码的逻辑、业务流程都在人的脑子里面，这导致 AI 只能在局限的范围内帮一小部分忙，效率很低。而且还经常帮错忙，比如改错了、代码风格不一