小兵张健

趁年轻一定要多跳槽。刚刚在湖边背单词的时候，我回想了一下自己这大几年的开发生涯，大概经历了三份重要的工作。第一份是在去哪儿，第二份是在美好人家，第三份是在福禄，其中第一份和第三份稍微有名一点。 不过现

LLM 原理是根据前面的 token 预测后面的 token，Prompt 是最早输入的 token。 LLM 有一些配置也能影响模型输出。 参数 温度 Temperature 温度是 softmax

武汉这边腾讯招聘新的岗位，刚和面试官聊完，不知道情况怎么样，总体感觉还没聊爽，很多技术点没涉及到，趁着有感觉记录下。也穿插着讲讲之前字节和其他公司的面试感受。 首先是感谢字节做了铺路人🤣，他们是做海外

在刚开始用 cursor 等工具时，只是用 AI 帮忙生产代码，代码的逻辑、业务流程都在人的脑子里面，这导致 AI 只能在局限的范围内帮一小部分忙，效率很低。而且还经常帮错忙，比如改错了、代码风格不一

自之前写的 我这🤡般的7年开发生涯 后，痛苦大半年，在今年 8 月底离职了，距今已有 3 个月。 当时我和老板说承受不了，想退居二线，之后的某一天，HR 找我谈话，签了离职协议就走人了。 刚离职当然是

在阶段二中，我主要解释的是推理过程，即根据输入 token 预测下一个 token，这一篇补充下训练过程，如何修改那么多参数。 前面的过程和推理一样，从 Layer1 到 Layer96 称之为正向传

阶段二的详细推理过程讲解完毕，但这时候 LLM 只经过了预训练，他只会续写，阶段三通过特定的调试，让 LLM 拥有问答、规避风险等真正可以被人用的能力。 阶段三 阶段二的产物称之为 Base Modl

上一篇解释完点积和矩阵乘法，矩阵乘法是一种转换，这一篇看 Transformer 中如何运用的。 LLM 的本质是预测下一个 token，阶段二中，使用大量的互联网内容，给模型做训练，使用自监督学习，

这篇文章从程序员视角，类比理解 LLM 的底层原理。 阶段一：设计蓝图 LLM 现在都用 Transformer 架构，最开始也要设置一些额外的参数。 d_modle 比如 4096，是 2 的 n