使用PGVecto.rs进行高效的向量数据库操作

89 阅读2分钟
# 使用PGVecto.rs进行高效的向量数据库操作

## 引言

近年来,随着机器学习模型的广泛应用,向量数据库成为了处理大规模嵌入的重要工具。PGVecto.rs是一个基于Postgres的向量数据库解决方案,可以帮助开发者高效地存储和检索文档嵌入。本篇文章旨在介绍如何使用PGVecto.rs进行基本的向量数据库操作。

## 主要内容

### 环境准备

首先,你需要安装必要的Python库:

```bash
%pip install "pgvecto_rs[sdk]" langchain-community

加载和处理文档

使用TextLoader加载文本,并用CharacterTextSplitter分割文档:

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

嵌入初始化

初始化一个假的嵌入器FakeEmbeddings用于示例:

from langchain_community.embeddings.fake import FakeEmbeddings

embeddings = FakeEmbeddings(size=3)

启动数据库

使用Docker镜像启动PGVecto.rs数据库:

! docker run --name pgvecto-rs-demo -e POSTGRES_PASSWORD=mysecretpassword -p 5432:5432 -d tensorchord/pgvecto-rs:latest

设置数据库连接

构建数据库连接字符串:

import os

PORT = os.getenv("DB_PORT", 5432)
HOST = os.getenv("DB_HOST", "localhost")
USER = os.getenv("DB_USER", "postgres")
PASS = os.getenv("DB_PASS", "mysecretpassword")
DB_NAME = os.getenv("DB_NAME", "postgres")

URL = "postgresql+psycopg://{username}:{password}@{host}:{port}/{db_name}".format(
    port=PORT,
    host=HOST,
    username=USER,
    password=PASS,
    db_name=DB_NAME,
)

创建向量存储

从文档创建向量存储:

from langchain_community.vectorstores.pgvecto_rs import PGVecto_rs

db1 = PGVecto_rs.from_documents(
    documents=docs,
    embedding=embeddings,
    db_url=URL,
    collection_name="state_of_the_union",
)

查询和检索

进行相似性搜索:

query = "What did the president say about Ketanji Brown Jackson"
docs = db1.similarity_search(query, k=4)
for doc in docs:
    print(doc.page_content)
    print("======================")

常见问题和解决方案

  • 网络限制问题:某些地区可能无法直接访问API。开发者可使用API代理服务来提高访问稳定性。
  • 权限问题:确保数据库用户有创建表的权限。

总结和进一步学习资源

PGVecto.rs提供了强大的向量存储和检索功能,通过本文所述的方法,你可以快速上手并应用于实际项目。关于向量数据库的更多概念和使用方法,可以参考以下资源:

参考资料

结束语:如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---