RAG

在基于大语言模型的RAG系统里，文本分块是非常关键的一步。分块做得好，后续的向量检索、结果召回和生成质量都会更稳更准。

在过去两年中，RAG已经成为几乎所有AI应用的标配。无论是智能客服、企业知识库、财务分析还是法律文件问答，它们都遵循相同的逻辑流程：文档分割、向量化、向量相似度匹配、大模型生成答案。

上下文工程需要不断地迭代调试和总结经验，简单的方法论无法覆盖其设计的方方面面。本文仅对上下文工程的开发和设计模式进行了阐述，并列举出了一些常见的Agent开发工具，希望对于开发Agent的读者有些启发

EmbeddingGemma是Google发布的开源小规模多语言文本嵌入模型，旨在常见设备上高效运行，同时在 MTEB / MMTEB 等评测任务中保持与同类模型相当的性能

UltraRAG作为一个RAG框架，比较适合RAG科研人员使用，可以快速实验各种复杂的 RAG 策略，而无需重写大量代码，只需修改 YAML 文件。

本项目采用了经典的RAG架构进行开发，基于向量数据库并结合语义检索，搭配IDE内置的命令行工具，可以减少代码库索引时可能存在的token过度消耗和长时间等待，兼容常见的AI IDE

LangExtract正是基于这一背景诞生的一个Python框架。它并非仅仅是对 API 的简单封装，而是围绕 “Schema 驱动抽取”思想构建的，具备高度可扩展性和生产级能力的解决方案。

OCRFlux-3B 是目前业内首个开源支持跨页结构智能合并的模型，不仅精度高，而且支持关键的结构化能力，并且能够在消费级硬件上运行，实用性极高。

Prompt Engineering 是我们与 LLM 交互的原始技巧，但随着智能体的开发，我们需要的不再是简单的文本生成器，而是一个智能助手。

Nanonets-OCR不再满足于单纯提取文本，它能智能解析图像中的公式、表格、水印、签名、图表、复选框等复杂结构，并输出格式清晰的 Markdown。

MonkeyOCR提出一种新的SRR三元组架构，结合传统两种文档解析方式的优化，在精度和效率上都有不错的表现。

Mem0 是一个轻量级、可扩展的长期记忆框架，支持本地部署和云端使用。其设计初衷是为 LLM 提供结构化的记忆支持，帮助智能体记住用户偏好、背景信息等，从而提供更个性化、更连贯的回答

LLM本质上是无状态的模型，每次调用都像一次“短暂失忆”。为了让 AI Agent真正理解上下文、具备个性化交互和任务持续性，引入记忆系统至关重要。

在传统RAG流程中，必不可少的一个步骤是把长文档进行分块，然后把这些文本块进行向量化处理，并且存放在向量数据库中，当查询的时候，则从数据库中检索出相似的文本块传递给大模型，用于生成响应

Ollama-OCR是一个Python的OCR解析库，结合了Ollama的模型能力，可以直接处理 PDF 文件无需额外转换，轻松从扫描版或原生 PDF 文档中提取文本和数据。

传统的一站式文档解析工具，包含布局分析、OCR和表格识别等，往往需要结合多个独立的模型，同时根据处理任务的不同调用不同的模型，增加了处理流程的复杂度，并且难以泛化到不同的文档类型。

MCP是由Anthropic推出的开源协议，目的是通过统一的连接方式，让大型语言模型（LLM）与外部数据源和工具无缝集成，减少重复造轮子的过程。

PandaAI是一个开源的大模型智能体，主要利用自然语言进行数据处理和分析，能够将简单的自然语言输入转换为可执行代码，生成可视化图表。

对于每种文档格式，Docling会自动识别应该调用哪一种Pipeline进行解析处理，并且解析后可以导出不同的数据格式

Decoder-only 架构的大模型，其任务是根据历史信息逐步预测下一个词。若使用双向注意力，在训练时模型能看到完整序列，但推理时还是只能看到历史部分，这会导致训练和推理不一致