RAG

对话模型是专门用于问答交互的语言模型，符合人类的聊天方式，返回的内容可能仅仅只是一个简短的答案，一般模型名称后面会带有「chat」字样。

DeepSeek系列模型在去年12月发布以来引起了不少关注，而推理模型R1的发布则进一步点燃了国内外用户的热情。

直接用强化学习就可以让模型获得显著的推理能力，说明并不一定需要SFT才行。 强化学习并不一定需要复杂的奖励模型，使用简单的规则反而取得意想不到的效果。 通过知识蒸馏让小模型一定程

日常工作中经常需要浏览各种Github项目或者一些网页，逐字逐句看总觉得不够效率，如果在每次打开一个新的页面时就能够掌握大概的内容，然后再决定是否深入阅读就方便多了。

Apache AGE是一个PostgreSQL数据库的扩展插件，使得在关系型数据库中也可以使用openCypher查询语言进行图查询。

GitHub Copilot在12月宣布免费订阅，不再限制学生和开源项目的维护者了，对于习惯白嫖的开发者来说无疑多了一个选择。

LangGraph 是LangChainAI开发的一个工具库，用于创建代理和多代理智能体工作流。它提供了以下核心优势：周期、可控性和持久性，对于Agent智能体开发者来说无疑减少了许多工作量。

LightRAG是港大Data Lab提出一种基于知识图谱结构的RAG方案，相比GraphRAG具有更快更经济的特点。

pgvector是一款开源的向量搜索引擎，除了具备所有Postgres数据库的特性外，最主要的特点是能在Postgres数据库存储和检索向量数据，支持向量的精确检索和模糊检索。

pgml是一款开源的postgres数据库插件，具备数据库中进行的ai和ml分析； 支持gpu加速；集成多种开源llm和rag框架；支持传统的机器学习模型等特性。

Chunkr是一个在线的pdf文档解析和OCR工具，提供了一定的免费使用额度。并且官方还提供了开源社区版本，可以自行部署。

非扫描件无OCR要求直接使用pymupdf(fitz)即可，能正确保留双列布局的文本顺序，同时能提取表格和图片，而且表格是以List的格式保留。其余几个传统的PDF解析库倾向于对pdf进行编辑。

无论是可编辑的PDF还是扫描版的PDF，都能非常好的区分出版面中不同类型的部分，而且最终的结果是以Markdown的格式保存的，可以很容易把不同章节、不同自然段按需进行切分。

Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。 核心组件：OCR 版面结构分析 表格结构识别 解析器 解析器

可以说现有的大模型应用已经离不开Agent，Agent包含的几大核心模块基本已经固定下来，剩下的工作就是如何简化Agent的工作流、自定义工作流编排、Agent执行过程可控等。

Sentence Transformer库升级到了V3，其中对模型训练部分做了优化，使得模型训练和微调更加简单了

收集了一些开源的Text2sql框架，基于大语言模型驱动，支持SQL生成、数据分析、报表生成以及数据库管理等功能。

本文搜集了一些开源的基于LLM的RAG（Retrieval-Augmented Generation）框架

之前的文章已经介绍过向量数据库在RAG（Retrieval Augmented Generative）中的应用，本文将会讨论另一个重要的工具-Embedding模型。