探索LangChain中的混合搜索：结合向量相似性与全文搜索

用户955766060958
167 阅读2分钟

引言

在现代信息检索中，向量相似性搜索被广泛应用，但随着数据复杂性的增加，单纯的向量相似性往往不够。于是，"混合搜索"（Hybrid Search）应运而生。混合搜索结合了向量相似性和其它搜索技术（如全文搜索、BM25等），提供了更强大的检索能力。本文将探讨如何在LangChain中实现混合搜索，特别是使用Astra DB的案例。

主要内容

1. 确认VectorStore支持混合搜索

在LangChain中，不同的vectorstore可能通过各自的方式支持混合搜索，因此首先要确认你所使用的vectorstore是否支持混合搜索功能。你可以通过查阅相关文档或源码来确认。

2. 添加可配置字段

为了实现动态配置，我们需要在LangChain的链中添加一个可配置字段。这允许我们在运行时灵活设置相关标志。

3. 使用可配置字段调用链

最后，利用可配置字段，我们可以在运行时调用链，指定具体的搜索参数。

代码示例

以下是一个使用Astra DB进行混合搜索的具体代码示例。

# 安装必要的Python包
!pip install "cassio>=0.1.7"

# 初始化cassio
import cassio

cassio.init(
    database_id="Your database ID",
    token="Your application token",
    keyspace="Your key space",
)

# 创建Cassandra VectorStore并添加文本
from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Cassandra(
    embedding=embeddings,
    table_name="test_hybrid",
    body_index_options=[STANDARD_ANALYZER],
    session=None,
    keyspace=None,
)

vectorstore.add_texts(
    [
        "In 2023, I visited Paris",
        "In 2022, I visited New York",
        "In 2021, I visited New Orleans",
    ]
)

# 使用混合搜索
retriever = vectorstore.as_retriever(search_kwargs={"body_search": "new"}) # 使用API代理服务提高访问稳定性

# 创建Question-Answering链
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import ConfigurableField, RunnablePassthrough
from langchain_openai import ChatOpenAI

template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOpenAI()

configurable_retriever = retriever.configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

chain = (
    {"context": configurable_retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# 调用链
chain.invoke(
    "What city did I visit last?",
    config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)

常见问题和解决方案

  • 网络连接问题：由于某些地区可能存在网络限制，建议使用API代理服务来提高访问稳定性。

  • 搜索结果不准确：确保向量和文本索引设置正确，并依据需求调整搜索参数。

总结和进一步学习资源

混合搜索在信息检索中大有可为，尤其是在需要结合不同类型搜索的情况下。结合LangChain和Astra DB可以实现强大的混合搜索能力。

进一步学习资源

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝