AI大模型技术社

智能体在执行长期任务时，上下文窗口（类似计算机的RAM）的容量有限，易导致性能下降、成本飙升或幻觉问题。上下文工程正是为解决这些问题而生。它通过精心筛选、存储和优化上下文信息，确保智能体高效运行。本文

引言：分块——RAG系统的命脉 在RAG架构中，分块是连接原始文档和语义检索的桥梁。它决定了嵌入模型能否精准捕捉文本语义，以及LLM能否生成高质量回答。许多开发者误以为“越大越好”，直接将整篇文档喂给

为了帮助大家从底层更好地理解 RAG 的工作原理，带你撕开技术黑箱，仅用numpy等Python基础库构建RAG系统，从零手撕RAG内核！从文本划分、向量化、相似度检索到生成优化，逐行代码解剖检索增强

一、MCP vs Function Call：本质差异与协议优势 核心能力对比 协议层创新： 关键突破：通过context字段实现跨工具会话状态保持，解决复杂任务中的信息孤岛问题。 二、环境配置：跨平

从理论到实践，全面解析RAG性能瓶颈与高阶优化方案。 一、RAG核心架构全景图 RAG性能瓶颈分析 二、检索阶段深度优化 1. 多路召回架构实现 2. 重排序优化（Cross-Encoder） 优化效

一、Transformer训练过程深度剖析 1.1 训练流程全景图 1.2 关键训练技术 1.2.1 教师强制（Teacher Forcing） 1.3 损失函数与优化策略 损失函数选择： 分类任务：

一、Transformer编码器整体结构 Transformer编码器由N个相同层堆叠而成，单层结构包含： 二、核心技术解析与实现 1. 位置编码（Positional Encoding） 为什么需要

一、自注意力机制：Transformer的核心突破 核心思想：让每个位置都能关注序列中所有位置的信息 1.1 Query-Key-Value 抽象模型 QKV角色解析： Query（查询）：当前关注的

一、自定义神经网络层：释放模型设计潜能 核心原理：继承nn.Module并实现forward方法 1.1 实现带权重归一化的全连接层 1.2 实现可学习参数激活函数 自定义层设计原则： 始终继承nn.