AI学习手札

Prompt 大模型的“启动密码”。语言模型（LLM）的一段文本输入，用于引导和约束模型的输出。LLM本质上是一个基于海量数据训练的概率模型。Prompt的作用是激活和引导模型内部的相关知识分布

掩码注意力 交叉注意力 Attention(QKV) 🌰回顾 前面几篇分别分享了AI大模型是怎么理解人类词汇和语言的，也分析了大模型为啥每次回答得不一样。那么大模型到底是怎么得出答案的呢？

前置条件 上一篇 入坑大模型微调第一个Hugging Face程序 主要介绍了 Hugging Face及其使用方式。是我们后续做大模型微调训练的基础。不了解的可以再回顾一下。

引出问题 上一篇 我们讲了大模型是怎么理解人类语言的词汇的。今天继续探究一下，AI大模型师怎么把这些词汇串起来理解的。 Transformer 当前的AI大模型基本是基于Transformer框架的，

有被震惊到 昨天才看了个电影《极限审判》，和朋友讨论了AI法官权限太大、超越代码逻辑执行、涌现人类思考等问题。不由得感叹AI科技带来的便利和高效，也心里为此而捏了把汗。 今天打开电脑，好家伙AI Ag

基础认知 为什么用 我们做AI应用开发，可能不太需要去做大模型的预训练，但是模型微调还是离不开的。那什么是模型微调呢？ 类似于"站在巨人肩膀上"——预训练模型通过海量数据已学习通用知识（如语言规律、图

chatGPT爆火以来，AI如火如荼地开始出现在普通人的视野中。但是事实上，AI这个概念在上世纪五十

好奇心会不会害死猫？ 我们上篇讲了 是什么决定AI大模型的输出，那么当我们输入一段话时，AI大模型又是怎么读懂我们的人类语言的？ 我们无论是使用ChatGPT，还是DeepSeek、豆包、通义等AI智

你想过吗 我们在使用DeepSeek、豆包等AI软件时，是否发现每次输入同样的问题，得到的输出可能略有不同。这是为什么呢？明明我两次的输入都是一样的啊。 为什么 要去探究这个问题，就不得不回归到本质：

前言 最近开始学习AI相关的东西，程序员嘛接触一门新的技术时总是会输出一个“Hello world”的入门项目。我的AI学习历程也不例外。 AI大语言模型如火如荼，便是借了ChatGPT的大风。之后国