RAG

pgvector是一款开源的向量搜索引擎，除了具备所有Postgres数据库的特性外，最主要的特点是能在Postgres数据库存储和检索向量数据，支持向量的精确检索和模糊检索。

pgml是一款开源的postgres数据库插件，具备数据库中进行的ai和ml分析； 支持gpu加速；集成多种开源llm和rag框架；支持传统的机器学习模型等特性。

Chunkr是一个在线的pdf文档解析和OCR工具，提供了一定的免费使用额度。并且官方还提供了开源社区版本，可以自行部署。

非扫描件无OCR要求直接使用pymupdf(fitz)即可，能正确保留双列布局的文本顺序，同时能提取表格和图片，而且表格是以List的格式保留。其余几个传统的PDF解析库倾向于对pdf进行编辑。

无论是可编辑的PDF还是扫描版的PDF，都能非常好的区分出版面中不同类型的部分，而且最终的结果是以Markdown的格式保存的，可以很容易把不同章节、不同自然段按需进行切分。

Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。 核心组件：OCR 版面结构分析 表格结构识别 解析器 解析器

可以说现有的大模型应用已经离不开Agent，Agent包含的几大核心模块基本已经固定下来，剩下的工作就是如何简化Agent的工作流、自定义工作流编排、Agent执行过程可控等。

Sentence Transformer库升级到了V3，其中对模型训练部分做了优化，使得模型训练和微调更加简单了

收集了一些开源的Text2sql框架，基于大语言模型驱动，支持SQL生成、数据分析、报表生成以及数据库管理等功能。

本文搜集了一些开源的基于LLM的RAG（Retrieval-Augmented Generation）框架

之前的文章已经介绍过向量数据库在RAG（Retrieval Augmented Generative）中的应用，本文将会讨论另一个重要的工具-Embedding模型。

openparse这个库算是目前开源社区中比较优秀的文档分割处理库了，功能虽然全面，还是还有不少可以优化的地方，后续也会支持其他向量化模型，并且可以跟LlamaindexLangchain等框架无缝衔

Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。