探索LangChain中的混合搜索：实现高级向量和文本搜索

用户331287887593
106 阅读3分钟

引言

在现代信息检索中，混合搜索技术正在兴起，它结合了向量相似性搜索和其他高级搜索技术（如全文搜索和BM25）。这项技术对于需要准确性和灵活性的应用场景尤为重要。在这篇文章中，我们将探讨如何在LangChain中使用混合搜索，特别是使用Astra DB作为向量存储的例子。我们将涉及如何确保向量存储支持混合搜索，以及如何在代码中实现这一功能。

主要内容

确认向量存储支持混合搜索

不是所有的向量存储都支持混合搜索。在LangChain中，目前并没有针对混合搜索的统一接口，因此我们需要查阅所用向量存储的文档或源码，以确认其支持情况。以Astra DB为例，我们将查找如何启用其混合搜索功能。

配置混合搜索参数

为了在运行时灵活调用，我们需要将混合搜索参数配置为链的可配置字段。这一步骤允许开发者在运行时设置搜索参数，例如在Astra DB中使用body_search参数。

调用具有配置字段的链

配置完成后，我们可以在运行时调用链，并根据需要设置搜索条件以获取更精确的结果。

代码示例

以下是如何在Astra DB中实现混合搜索的具体示例。

# 安装必要的Python包
!pip install "cassio>=0.1.7"

# 初始化cassio
import cassio

cassio.init(
    database_id="Your database ID",
    token="Your application token",
    keyspace="Your key space",
)

# 创建Cassandra VectorStore
from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Cassandra(
    embedding=embeddings,
    table_name="test_hybrid",
    body_index_options=[STANDARD_ANALYZER],
    session=None,
    keyspace=None,
)

vectorstore.add_texts(
    [
        "In 2023, I visited Paris",
        "In 2022, I visited New York",
        "In 2021, I visited New Orleans",
    ]
)

# 使用API代理服务提高访问稳定性
vectorstore.as_retriever().invoke("What city did I visit last?")

# 使用body_search进行过滤
vectorstore.as_retriever(search_kwargs={"body_search": "new"}).invoke(
    "What city did I visit last?"
)

# 创建用于问答的链
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import ConfigurableField, RunnablePassthrough
from langchain_openai import ChatOpenAI

template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOpenAI()
retriever = vectorstore.as_retriever()

configurable_retriever = retriever.configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

chain = (
    {"context": configurable_retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# 使用可配置选项调用链
chain.invoke(
    "What city did I visit last?",
    config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)

常见问题和解决方案

问题：部分地区无法访问API端点

在某些地区，由于网络限制可能无法访问API端点。这时开发者可以考虑使用API代理服务以提高访问稳定性和响应速度。

问题：混合搜索结果不如预期

确保向量存储配置正确，尤其是body_search等参数的正确设置。此外，确保数据索引已经包含需要进行文本匹配的字段。

总结和进一步学习资源

混合搜索技术通过结合多种检索方法，提供了更为灵活和强大的搜索能力。在LangChain中实现混合搜索虽然需要一些配置和了解具体向量存储的支持，但通过本文的示例，开发者可以快速上手。

进一步学习资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝