JavaEdge在掘金

## 1 文本Embedding 将整个文本转化为实数向量的技术。 Embedding优点是可将离散的词语或句子转化为连续的向量，就可用数学方法来处理词语或句子，捕捉到文本的语义信息，文本和文本

## 1 开源解析和拆分文档 第三方工具去对文件解析拆分，将文件内容给提取出来，并将我们的文档内容去拆分成一个小的chunk。常见的PDF word mark down, JSON、HTML。都可

大模型在一定程度上去改变了我们生活生工作的思考的方式，然后也越来越多的个人还有企业在思考如何将大模型去应用到更加实际的呃生产生活中去，希望大语言模型能够呃有一些更多企业级别生产落地的实践，然后去帮助

## 1 利用内存实现短时记忆 ```python from langchain.memory import ConversationBufferMemory memory = Convers

## 1 stuff ![stuff_diagram](https://js.langchain.com/v0.1/assets/images/stuff-818da4c66ee17911bc

## 1 Langchain的核心组件 那肯定就是Chain 当然！ Langchain是一种功能强大且灵活的链式处理框架，广泛应用于各种数据处理和分析任务中。它的核心组件是Chain，这是所有

## 1 安装依赖 ```python ! pip install --upgrade langchain ! pip install --upgrade openai==0.27.8 ! pip

## 1 长文本切分信息丢失处理方案 ![](https://my-img.javaedge.com.cn/javaedge-blog/2024/06/5b96003443c83dca77bd

## 1 文档切割器和按字符分割 ### 1.1 原理 1. 将文档分成小的、有意义的块(句子). 2. 将小的块组合成为一个更大的块，直到达到一定的大小. 3. 一旦达到一定的大小，接着开始