主索引
- Step 1 前端 → front/掘金
- Step 2 后端 → backend/掘金
- Step 3 Agent → ai/掘金
AI 应用开发的学习路径：先建立大模型认知（0–1 章），用 API 做出东西，再理解 RAG 与 Agent，按需补量化 / 部署 / LoRA，最后做多 Agent 工程化落地。不必从 PyTorch 手写网络开始，但 Transformer、Token、Embedding、Function Calling 等概念需要建立清晰心智模型。
1大模型认知（科普 → 训练链 → LoRA → 量化 → 部署）；
2LLM API 与结构化输出；
3RAG 检索增强；
4Agent 与工具调用；
5应用框架（LangChain / LangGraph）；
6模型部署与推理（见 §1 第 7 章）；
7微调（见 §1 第 5 章，按需）；
8多 Agent 与 MCP；
9平台工程与 Dify；
10实战案例。
面向背景：有前端 / 全栈经验，目标是把 Agent 能力接入真实业务（对话 UI、知识库、工作流编排），而非做算法研究员。
写作形式：本地详解文档（ai/ 子目录）+ 原理与框架笔记 + 与前后端的交叉引用。1.大模型认知/ 各章 ≥5000 字，侧重原理与工具链，无面试 Q&A 堆砌。
模块地图
| 编号 | 主题 | 本地目录 | 本地文档 | 状态 |
|---|---|---|---|---|
| 1 | 大模型认知 | 1.大模型认知/ | 0科普 · 1总览 · 2预训练 · 3SFT · 4对齐 · 5LoRA · 6量化 · 7部署 | 已完成 |
| 2 | LLM API 与模型选型 | 2. LLM-API/ | LLM-API-Streaming-Client.md | 已完成 |
| 3 | RAG 检索增强生成 | 3. RAG-Knowledge/ | RAG-Pipeline-Practice.md | 已完成 |
| 4 | Agent 与工具调用 | 4. Agent-Practice/ | Agent-Tools-ReAct.md | 已完成 |
| 5 | 应用框架 | 5. LangChain/ | LangChain-LangGraph.md | 已完成 |
| 8 | 多 Agent 与 MCP | 8. Multi-Agent-MCP/ | 多 Agent 详解 · Claude Code 架构 · Claude 模型优势 | 已完成 |
| 9 | 平台工程与 Dify | 9. Dify/ | Agent-Platform-Production.md · Dify 工作流原理 | 已完成 |
| 10 | 实战案例 | 10. Case-Study/ | Finance-Trust-Agent-Case.md | 已完成 |
推荐学习路线
Phase A 认知（1.大模型认知 0–1 → 2 API） ← 1–2 周
Phase B 应用（3 RAG → 4 Agent → 5 框架） ← 核心能力，与业务最近
Phase C 模型（1.大模型认知 5 LoRA → 6 量化 → 7 部署，按需） ← 私有化 / 领域适配
Phase D 工程（8 多 Agent / MCP → 9 Dify 生产化） ← 企业级落地
Phase E 案例（10 行业实战） ← 串联 front / backend
| 里程碑 | 完成标准 |
|---|---|
| M1 | 读通 0科普 + 1总览，用 API 完成流式对话页（对接 front §10 SSE） |
| M2 | 完成 RAG 问答 Demo：文档上传 → 检索 → 带引用回答 |
| M3 | 完成单 Agent Demo：至少 2 个 Tool（查 API + 查知识库） |
| M4 | 本地部署 Qwen（7部署）+ Dify 工作流 |
| M5 | 读通 多 Agent 通用原理 并实现最小 Orchestrator |
| M6 | 一个端到端企业场景案例（金融知识库 + 工作流 + 前端 UI） |
1. 大模型认知
本地文档（按阅读顺序）：
0科普入门 · 1从预训练到部署 · 2预训练 · 3监督微调 · 4偏好对齐RLHF · 5LoRA-Fine-Tuning · 6Quantization · 7Ollama-vLLM-Local-Deploy
1.1 学习顺序（非 AI 工程师友好）
0科普入门 → 1模型一生总览 → 2–7 按需深入 → ai/2 API 起做项目
| 章节 | 内容 | 何时读 |
|---|---|---|
| 0 | 传统软件 vs LLM、Token、幻觉、框架生态、选型 | 第一篇必读 |
| 1 | 预训练→部署总图、成本、团队分工 | 建立全局地图 |
| 2 | Causal LM、Scaling Law、Megatron/DeepSpeed | 理解 Base 从哪来 |
| 3 | SFT、Chat Template、Alpaca/ShareGPT | 理解 Instruct 与 API role |
| 4 | RLHF、DPO、Constitutional AI、评测 | 理解安全与拒答 |
| 5 | LoRA/QLoRA、LLaMA-Factory、与 RAG 分工 | 企业领域定制 |
| 6 | GGUF/AWQ/GPTQ、显存账、校准 | 本地跑起来前 |
| 7 | Ollama、vLLM、Transformer、OpenAI 兼容 API | 部署与联调 |
1.2 训练链路（一句话）
预训练 → SFT → 对齐 →（可选）LoRA → 量化 → 部署 → Prompt / RAG / Agent
- 厂商负责：预训练 → SFT → RLHF/DPO
- 你负责：应用层（模块 2–4）；必要时 LoRA + 量化 + 内网 vLLM
1.3 动手目标
- 读通 0–1 后，用 LLM API 完成流式对话 Demo
- 要本地跑：
6Quantization→7Ollama-vLLM-Local-Deploy，Ollama pull Qwen2 - 要领域话术：5LoRA Web UI 首次训练
2. LLM API 与模型选型
2.1 API 使用
- OpenAI 兼容接口（OpenAI / Azure / 国内大模型开放平台 / 本地 vLLM）
- Anthropic Messages API（了解）
- 流式输出：SSE chunk 解析（衔接 front §10 SSE）
- 错误处理：限流、超时、重试、fallback 模型
- 成本估算：input/output token 计费
2.2 模型选型
- 按场景：通用对话 / 代码 / 长上下文 / 推理
- 按部署：云端 API vs 本地私有化（见 1§7）
- Embedding 模型选型（与 RAG 强相关）
- 评测维度：准确率、延迟、成本、合规
2.3 动手目标
- 封装统一的 LLM Client（支持流式 + 重试 + 多模型路由）
3. RAG 检索增强生成
企业落地最高频的能力：用私有知识弥补模型不知道的业务细节。
3.1 知识流水线
- 文档解析：PDF / Word / Markdown / HTML / 表格
- 分块策略：chunk size、overlap、按标题 / 语义切分
- Embedding 与向量库：OpenAI / BGE / M3E；Milvus / pgvector / Chroma
- 检索：向量检索、关键词（BM25）、混合检索
- 增强：Rerank、HyDE、查询改写、多路召回
- 生成：上下文注入、引用标注、拒答策略
3.2 评估与迭代
- 检索质量：Recall@K、MRR
- 生成质量：faithfulness、人工抽检
- bad case 分析 → 调 chunk / 调 prompt / 补数据
3.3 主流工具
- LangChain Retriever / LCEL
- LlamaIndex（数据连接器丰富）
- 自研 pipeline（企业常见）
3.4 动手目标
- 论文 / 文档阅读助手：上传 PDF → 问答 → 带页码引用
- 人事 / 业务知识库：结构化 + 非结构化混合检索
4. Agent 与工具调用
本地文档：Agent-Tools-ReAct.md
4.1 设计模式（主流）
- ReAct：推理 ↔ 行动交替
- Plan-and-Execute：先规划再逐步执行
- Reflection：自我 critique、失败重试
- Tool Use / Function Calling：模型决定调哪个工具、传什么参数
4.2 工具设计
- Schema 定义：名称、描述、参数类型（描述质量决定调用成功率）
- 工具原则：幂等、最小权限、可观测、错误信息可读
- 与后端 API 对接（衔接 backend/all.md §9）
- 代码执行：沙箱（Docker / E2B / WASM）
4.3 记忆
- 短期：对话上下文、滑动窗口、摘要压缩
- 长期：向量记忆、用户偏好、会话持久化（Redis / DB）
4.4 动手目标
- 订单 / 表格查询助手：自然语言 → SQL 或 API 调用 → 结构化回复
- 至少实现：查知识库 + 调 REST API 两个 Tool
5. 应用框架
框架是胶水层，理解原理比死记 API 更重要。主流以 LangChain + LangGraph 为主，LlamaIndex 偏 RAG，可按场景组合。
5.1 LangChain 核心
- Model I/O：Prompt Template → LLM → Output Parser
- Chain / LCEL 组合
- Memory、Retriever、Agent Executor
- Callbacks 与调试
5.2 LangGraph（2024–2026 主流 Agent 编排）
- 有状态图：节点、边、条件分支
- 循环与人工介入（Human-in-the-loop）
- 与 CrewAI、AutoGen 的定位对比（了解）
5.3 其他
- LlamaIndex：索引类型、Query Engine
- Semantic Kernel（.NET / 跨语言，了解）
- 低代码：Dify、Coze、FastGPT 的工作流模型（Dify 原理见 §9）
5.4 动手目标
- 用 LangGraph 实现一个带分支的 RAG + Agent 工作流
- 用 Gradio / Streamlit 快速搭 Demo UI
6. 模型部署与本地推理
本地文档（已迁入模块 1）：7Ollama-vLLM-Local-Deploy.md · 前置：6Quantization.md
6.1 推理基础
- Transformer Decoder、Self-Attention、KV Cache — 详见 7§1
- 量化：INT4、GGUF、AWQ、GPTQ — 详见 6Quantization
- 显存估算：参数量 × 精度 + KV Cache
6.2 部署方案（主流）
- Ollama：本地一键拉模型、OpenAI 兼容端点
- vLLM / TGI / llama.cpp：生产级吞吐、PagedAttention
- LM Studio：本地 GUI 调试
- HuggingFace Hub：模型下载、Transformers pipeline
- Qwen / Llama / DeepSeek 开源模型部署与量化
6.3 Embedding 部署
- Ollama Embedding、本地 BGE
- 与 RAG pipeline 联调
6.4 动手目标
- Ollama 部署 Qwen2 + OpenAI SDK 调用
- 对比云端 API vs 本地 AWQ/Q4 的质量与延迟
7. 微调（按需深入）
本地文档（已迁入模块 1）：5LoRA-Fine-Tuning.md · 背景：3监督微调
多数业务 RAG + Prompt + 工具 已够用；微调适用于风格固化、领域术语、小模型能力提升等场景。
7.1 方法
- 全量微调 FFT（成本高，少做）
- 参数高效微调 PEFT：LoRA、QLoRA、Adapter — 原理见 5§3
- 指令微调 vs 继续预训练（CPT）— 见 2预训练
- 显存优化：梯度检查点、NF4、Paged Optimizers
7.2 工具链
- HuggingFace PEFT / TRL
- LLaMA-Factory：Web UI + CLI（主流入门）
- Unsloth、ms-swift（ModelScope / Qwen）
- 数据集格式：Alpaca、ShareGPT、JSONL messages
7.3 评估
- loss 曲线、验证集、业务人工评测
- A/B 对比 base vs LoRA；防灾难性遗忘
7.4 动手目标（选做）
- Qwen2 小数据集 LoRA 微调（客服话术 / 金融术语）
- 意图分类或 NER 小任务，对比 zero-shot 与微调 F1
8. 多 Agent 与 MCP
本地文档：
多 Agent 通用原理 — 详解 · Claude Code 架构 · Claude 模型核心优势
2025–2026 工程热点：多 Agent 分工协作 + MCP 标准化工具接入（Cursor、Claude Desktop 等已广泛支持）。
8.1 多 Agent
- 四大模式：Reflection、Tool Use、Planning、Multi-Agent
- 任务 DAG、依赖驱动编排、并行执行
- 角色分工：规划者 / 执行者 / 审查者
- 执行-反思闭环（Reflect Loop）
- 五层架构详解：多Agent通用原理-详解
- 产品参考：Claude Code 架构
- 模型侧：Claude 模型核心优势 — Claude 六道壁垒与国产追赶（对齐 §1.4）
8.2 MCP（Model Context Protocol）
- Server / Client / Resources / Tools / Prompts
- 与 Function Calling 的关系：MCP 是工具层的标准化协议
- 自写 MCP Server 暴露业务 API / 文件 / 数据库
8.3 框架对照
| 框架 | 特点 | 适用 |
|---|---|---|
| LangGraph | 图编排、状态机、可循环 | 复杂 Agent 工作流 |
| CrewAI | 角色 + 任务分工 | 多角色协作原型 |
| AutoGen | 对话式多 Agent | 研究 / 原型 |
| Dify | 低代码工作流 + 知识库 | 快速 PoC / 业务配置 |
| 自研 Orchestrator | 完全可控 | 企业生产平台 |
8.4 动手目标
- 手写最小 Orchestrator：任务拆分 → 子 Agent 并行 → 汇总
- 为一个内部 API 编写 MCP Server
9. 平台工程与 Dify
本地目录：
9. Dify/
本地文档：Agent-Platform-Production.md · Dify 工作流原理
从 Demo 到产品：可观测、可评测、可管控。
9.1 Agent 平台（Dify 类）
工作流引擎底层原理（GraphEngine、VariablePool、编排对比）：Dify 工作流原理
- 工作流引擎：节点、分支、变量、子流程
- 对话应用 vs 工作流应用
- 知识库管理、Skill / Plugin 注册
- 模型路由、多租户、权限
- SSE 流式编排（衔接 front UI + backend SSE 端点）
9.2 生产化 checklist
- Prompt Caching / KV Cache：降本增效
- 限流、配额、成本监控
- 安全：Prompt 注入、工具越权、数据外泄、输出审核
- 可观测：LangSmith / Langfuse / 自研 trace；每步输入输出可回溯
- 评测：回归用例集、红队测试、线上 bad case 闭环
- 版本：Prompt / 知识库 / 工作流版本管理与灰度
9.3 与前后端衔接
| 层 | 职责 | 索引 |
|---|---|---|
| 前端 | 对话 UI、流式 Markdown、文件上传 | front/all.md §10 |
| 后端 | BFF、SSE、鉴权、业务 API、向量库 | backend/all.md §9 |
| Agent | 编排、RAG、Tool、模型路由 | 本目录 |
10. 实战案例
10.1 通用 Demo（练手）
- 课程助教机器人（RAG + 对话）
- 论文阅读助手（PDF RAG + 引用）
- 本地知识库 + Ollama + Dify 聊天机器人
10.2 领域案例（结合金融业务）
- 金融文档知识库问答（私有 PDF → 指标抽取 → 可检索）
- 金融问句语义相似度（匹配 / 去重）
- 信托产品净值查询 + AI 解读报告（三阶段串联，见 outline.md）
- 认知链对照：0科普 §11 信托助手例子
10.3 企业 Agent 平台（个人项目方向）
- 业务人员配置工作流、统一对话入口
- Skill 复用、SSE 编排、与现有 Spring Boot 后端集成
- 踩坑记录：SSE 断连、上下文爆炸、工具幻觉、评测闭环
附录 A：主流技术栈速查
| 类别 | 主流选型 |
|---|---|
| 云端 API | OpenAI、Claude、通义、DeepSeek、Moonshot |
| 本地推理 | Ollama、vLLM、llama.cpp（见 1§7） |
| 量化 | GGUF、AWQ、GPTQ（见 1§6） |
| RAG 向量库 | pgvector、Milvus、Chroma、Qdrant |
| 应用框架 | LangChain、LangGraph、LlamaIndex |
| 低代码平台 | Dify、Coze、FastGPT |
| 微调 | LLaMA-Factory、Unsloth、ms-swift（见 1§5） |
| 工具协议 | Function Calling、MCP |
| 可观测 | Langfuse、LangSmith、OpenTelemetry |
结尾：
本目录作为 Agent / 大模型学习主索引。掘金专栏 · 总路线见 outline.md。
