大语言模型

Chunkr是一个在线的pdf文档解析和OCR工具，提供了一定的免费使用额度。并且官方还提供了开源社区版本，可以自行部署。

非扫描件无OCR要求直接使用pymupdf(fitz)即可，能正确保留双列布局的文本顺序，同时能提取表格和图片，而且表格是以List的格式保留。其余几个传统的PDF解析库倾向于对pdf进行编辑。

无论是可编辑的PDF还是扫描版的PDF，都能非常好的区分出版面中不同类型的部分，而且最终的结果是以Markdown的格式保存的，可以很容易把不同章节、不同自然段按需进行切分。

Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。 核心组件：OCR 版面结构分析 表格结构识别 解析器 解析器

可以说现有的大模型应用已经离不开Agent，Agent包含的几大核心模块基本已经固定下来，剩下的工作就是如何简化Agent的工作流、自定义工作流编排、Agent执行过程可控等。

收集了一些开源的Text2sql框架，基于大语言模型驱动，支持SQL生成、数据分析、报表生成以及数据库管理等功能。

本文搜集了一些开源的基于LLM的RAG（Retrieval-Augmented Generation）框架

之前的文章已经介绍过向量数据库在RAG（Retrieval Augmented Generative）中的应用，本文将会讨论另一个重要的工具-Embedding模型。

openparse这个库算是目前开源社区中比较优秀的文档分割处理库了，功能虽然全面，还是还有不少可以优化的地方，后续也会支持其他向量化模型，并且可以跟LlamaindexLangchain等框架无缝衔

Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。

Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain等知名框架组合使用

Ollama是一款免费开源的工具，拥有开箱即用的大模型，省去安装环境和下载模型的步骤，让零基础的人也能用起大模型。

为什么要用LLM构建数据标注工具 在LLM出现之前，传统的深度学习模型（包括CV和NLP）就已经需要大量的数据进行训练和微调。没有足够的数据，或者数据需要进行二次加工（比如标签标注）

之前用智谱AI的Chatglm3-6b模型写过一个简单的论文阅读助手，可用来辅助论文阅读等。而像表格，如Excel、CSV文件等内容的分析，也是不可忽略的需要，因此本文教你如何搭建表格助手

向量模型用于生成向量表示，被广泛应用于检索、分类、聚类或语义匹配等传统的自然语言处理任务。到了大模型时代，由于上下文长度的限制，需要压缩、存储和查询大量的信息，这就需要用到向量模型对输入进行向量化表示

本文介绍了大模型切分文本用到的语义嵌入法。使用了一个新闻文本语料进行切分，包含数据处理代码和核心代码，并对结果进行分析。

本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。

Outpainting（图像外部填充）是一种图像处理技术，与Inpainting（图像内部填充）相反，可以根据现有图像的内容、风格和上下文，合成与原始图像相协调的新内容

在图生图中，使用Stablediffusion的pipeline来构建Webui应用，如果直接把参数传给pipeline是无效的。

之前写了两篇文章，介绍如何用阿里云免费GPU搭建论文阅读助手，并且通过命令行方式进行使用。感兴趣的可以去看之前的文章：无需langchian，5分钟搭建专属论文阅读助手 以及 命令行快速启动论文