# 处理多重查询：简化复杂查询分析的技巧
## 引言
在现代数据处理和查询分析中，面对复杂的问题时，往往需要生成多个查询来获取不同的信息。这种情况下，我们需要运行所有查询并组合结果。本篇文章旨在展示一个简单的例子（使用模拟数据）来说明如何有效地处理和合并这些查询。
## 主要内容
### 1. 设置环境
首先，我们需要安装必要的依赖项。可以使用以下命令：
```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma
接下来，设置环境变量。这里我们使用OpenAI来进行嵌入：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass()
2. 创建索引
我们将基于一些模拟数据创建一个向量存储。在这里，我们使用langchain_chroma库：
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
texts = ["Harrison worked at Kensho", "Ankush worked at Facebook"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
# 使用API代理服务提高访问稳定性
vectorstore = Chroma.from_texts(texts, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
3. 查询分析
通过函数调用，我们可以让模型返回多个查询：
from typing import List
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI
class Search(BaseModel):
queries: List[str] = Field(..., description="Distinct queries to search for")
output_parser = PydanticToolsParser(tools=[Search])
system = "You have the ability to issue search queries to get information to help answer user..."
prompt = ChatPromptTemplate.from_messages([
("system", system),
("human", "{question}"),
])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm
query_analyzer.invoke("where did Harrison Work")
# Returns: Search(queries=['Harrison work location'])
query_analyzer.invoke("where did Harrison and ankush Work")
# Returns: Search(queries=['Harrison work place', 'Ankush work place'])
4. 使用异步检索实现查询分析
为了更高效地处理，我们可以异步调用检索器：
from langchain_core.runnables import chain
@chain
async def custom_chain(question):
response = await query_analyzer.ainvoke(question)
docs = []
for query in response.queries:
new_docs = await retriever.ainvoke(query)
docs.extend(new_docs)
# 考虑重排或去重文档
return docs
await custom_chain.ainvoke("where did Harrison Work")
# Returns: [Document(page_content='Harrison worked at Kensho')]
await custom_chain.ainvoke("where did Harrison and ankush Work")
# Returns: [Document(page_content='Harrison worked at Kensho'), Document(page_content='Ankush worked at Facebook')]
常见问题和解决方案
- 多查询造成重复结果： 可以在合并结果时考虑去重。
- 网络访问限制： 由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。
总结和进一步学习资源
通过本文的讲解，我们可以看到如何利用异步处理和多查询分析提高查询效果。读者可以进一步学习以下资源：
参考资料
- LangChain 官方文档
- OpenAI 官方文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
