深度学习机器

LightRAG是港大Data Lab提出一种基于知识图谱结构的RAG方案，相比GraphRAG具有更快更经济的特点。

pgvector是一款开源的向量搜索引擎，除了具备所有Postgres数据库的特性外，最主要的特点是能在Postgres数据库存储和检索向量数据，支持向量的精确检索和模糊检索。

pgml是一款开源的postgres数据库插件，具备数据库中进行的ai和ml分析； 支持gpu加速；集成多种开源llm和rag框架；支持传统的机器学习模型等特性。

Chunkr是一个在线的pdf文档解析和OCR工具，提供了一定的免费使用额度。并且官方还提供了开源社区版本，可以自行部署。

大模型相较于过去的语言模型具备更加强大的能力，但在实际应用中，例如在准确性、知识更新速度和答案透明度方面，仍存在不少问题，比如典型的幻觉现象。

非扫描件无OCR要求直接使用pymupdf(fitz)即可，能正确保留双列布局的文本顺序，同时能提取表格和图片，而且表格是以List的格式保留。其余几个传统的PDF解析库倾向于对pdf进行编辑。

无论是可编辑的PDF还是扫描版的PDF，都能非常好的区分出版面中不同类型的部分，而且最终的结果是以Markdown的格式保存的，可以很容易把不同章节、不同自然段按需进行切分。

Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。 核心组件：OCR 版面结构分析 表格结构识别 解析器 解析器

可以说现有的大模型应用已经离不开Agent，Agent包含的几大核心模块基本已经固定下来，剩下的工作就是如何简化Agent的工作流、自定义工作流编排、Agent执行过程可控等。