ChatGPT与大模型研究

很多人现在还在把 Agent 工程理解成“提示词写好一点”“工具接多一点”“模型换强一点”。但真做过生产系统的人都知道，决定一个 agent 能不能长期稳定干活的，往往不是模型本身，而是模型外面那一整

如果你最近在做 RAG、多模态检索、推荐、AIGC 训练数据，应该多少都踩过同一类坑。 原始 PDF、图片、音频、视频扔在对象存储里；结构化元数据放在数仓；embedding 又放进向量库；OCR、切

说实话，语义层这个词前几年并不算性感。很多人一听就会把它和 BI、指标口径、老板看板绑在一起，觉得这是个老话题。可如果你最近认真看过主流数据平台的产品路线，就会发现它已经彻底变味了。Looker 把对

开篇：一次让我彻底改变思路的失败 去年年底，我们团队做了一个客服 Agent 项目。需求很清晰：接入工单系统、知识库和用户画像，帮一线客服做工单分流、问题诊断和解决方案推荐。 我们的第一版实现方案非常

开篇：一个凌晨三点的故事 我先讲一个真实发生过的场景。 某天凌晨三点，我被告警叫醒。不是因为服务挂了，也不是因为模型超时。告警的内容是：线上一个 Agent 系统的「客户情绪判断准确率」在过去 6 小

开篇：为什么 LLM RL 的 proximal objective 一直在"打补丁"？ PPO 是 2017 年的算法。到今天，它仍然是 LLM 对齐和 reasoning 训练中使用最广泛的 RL

开篇：671B 参数，37B 激活——复杂性去哪了？ DeepSeek-V3 有 671B 总参数，每个 token 只激活 37B。Mixtral 8x7B 有 47B 参数，每个 token 激活

从一个反直觉现象说起 2025 年 4 月，Google 发布了 Gemma 3 的 QAT checkpoint。做法很简单：在已经训好的全精度模型上，跑大约 5000 步量化感知训练，用非量化 c

很多人第一次听到“合成数据”，脑子里的第一反应都差不多： 不就是“造点假的数据”吗？ 这个理解，不能说全错，但确实太浅了。 因为今天真正有价值的合成数据，压根不是为了“糊弄一下模型”，也不是为了做个

有时候，一个方向是不是到了拐点，不是看它会不会“更强一点”，而是看它有没有开始换一种工作方式。 Shannon 让我真正警觉的地方，不是它又多找了几个漏洞，也不是它把“AI 黑客”这个词重新炒热了，而

前几年大家聊 AI，最爱问的一句话是：你到底是做模型的，还是做应用的？ 到了 2026 年，这个分法已经越来越不够用了。 因为今天的大模型产业，早就不是“上面一个模型，下面一堆套壳应用”这么简单。它更

起因 最近 Karpathy 发了一条长推文，标题叫 "LLM Knowledge Bases"。 核心意思是：他最近大量使用 LLM 的方式已经不是写代码了，而是操作知识——用 Markdown 和

先把背景讲清楚 2026 年 3 月 11 日，Y Combinator 现任 CEO Garry Tan 在 GitHub 上开源了一个叫 gstack 的项目。三周之后，61000 Star，81

零、引子：一个让我失眠的 GitHub 项目 2026年3月的某个深夜，我在 GitHub 上刷到一个叫 turboquant_plus 的开源项目。 它做的事情说起来不复杂——压缩大语言模型推理时的

强化学习（RL）是一种基于“通过环境反馈来做序列决策”的范式。你仔细想想就会发现，通过交互来学习其实并不是什么新概念。事实上，你这一生都一直在接触 RL 的基本原则。因为很多时候，你就是通过和周围环境

这一章会带你沿着“维度轴”再往前走一步。你是从最原始的 Transformer——也就是语言——出发的，然后走到了时间序列；接着你又探索了视觉和视频；现在，你要进入音频领域了。先剧透一句：Transf

这一章会是一段很有趣的旅程，因为到这里，你前面学过的很多东西会在当前最先进的文生视频（T2V）和图生视频（I2V）模型里真正汇合起来。你已经看到 ViT 如何把图像重组为 patch（“视觉模型中的嵌

随着 DALL·E、Imagen、Midjourney 和 Stable Diffusion 等文生图（text-to-image, T2I）生成模型的发展，一个全新的逼真图像创作时代已经开启。这些模

Transformer 在这一领域中的一个巨大优势，是它具备 few-shot 和 zero-shot 学习能力。图像标注成本很高，而且很多场景里根本拿不到足够多的标签，比如癌症检测就是这样。能够用极

Transformer 之所以在时间序列建模中越来越受欢迎，是因为它比循环神经网络（RNN）模型更擅长捕捉长序列中的交互关系。Transformer 中的自注意力机制允许序列中的每个元素直接关注其他所