大语言模型

openparse这个库算是目前开源社区中比较优秀的文档分割处理库了，功能虽然全面，还是还有不少可以优化的地方，后续也会支持其他向量化模型，并且可以跟LlamaindexLangchain等框架无缝衔

Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。

Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain等知名框架组合使用

Ollama是一款免费开源的工具，拥有开箱即用的大模型，省去安装环境和下载模型的步骤，让零基础的人也能用起大模型。

为什么要用LLM构建数据标注工具 在LLM出现之前，传统的深度学习模型（包括CV和NLP）就已经需要大量的数据进行训练和微调。没有足够的数据，或者数据需要进行二次加工（比如标签标注）

之前用智谱AI的Chatglm3-6b模型写过一个简单的论文阅读助手，可用来辅助论文阅读等。而像表格，如Excel、CSV文件等内容的分析，也是不可忽略的需要，因此本文教你如何搭建表格助手

向量模型用于生成向量表示，被广泛应用于检索、分类、聚类或语义匹配等传统的自然语言处理任务。到了大模型时代，由于上下文长度的限制，需要压缩、存储和查询大量的信息，这就需要用到向量模型对输入进行向量化表示

本文介绍了大模型切分文本用到的语义嵌入法。使用了一个新闻文本语料进行切分，包含数据处理代码和核心代码，并对结果进行分析。

本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。

Outpainting（图像外部填充）是一种图像处理技术，与Inpainting（图像内部填充）相反，可以根据现有图像的内容、风格和上下文，合成与原始图像相协调的新内容

在图生图中，使用Stablediffusion的pipeline来构建Webui应用，如果直接把参数传给pipeline是无效的。

之前写了两篇文章，介绍如何用阿里云免费GPU搭建论文阅读助手，并且通过命令行方式进行使用。感兴趣的可以去看之前的文章：无需langchian，5分钟搭建专属论文阅读助手 以及 命令行快速启动论文

上一篇文章介绍用阿里云免费GPU搭建论文阅读助手，反响比较热烈，因此打算把项目整理汇总，方便普通用户直接调用。感兴趣的可以去看之前的文章：5分钟搭建专属论文阅读助手 完整项目地址：Paper-

langchain是一个非常热门的大模型应用开发框架，可以帮助我们快速开发基于大模型的下层应用。本文不打算使用langchain开发，而是用少量代码实现论文阅读助手这个功能。

最近在研究Stable Diffusion，发现绝大部分web ui的实现都非常全面，一般都有十几个tab页，而且把鼠标移动到组件上，会发现有文字提示，这些花里胡哨的组件是怎么实现的？