使用Infinispan进行强大而灵活的向量搜索：完整指南

用户838128610330
83 阅读3分钟

引言

在现代数据驱动的世界中，快速且准确地检索信息变得越来越重要。Infinispan是一款开源的键值数据网格，可以在单节点和分布式环境中工作。自版本15.x以来，Infinispan开始支持向量搜索，这为开发者提供了强大的数据处理能力。在这篇文章中，我们将探讨如何利用Infinispan进行向量搜索，并提供实用的代码示例来帮助您快速上手。

主要内容

1. 设置环境

为了进行向量搜索，我们需要一台正在运行的Infinispan实例和一个数据文件。以下步骤将指导您如何设置这些环境。

1.1 下载数据文件

首先，我们需要下载一个包含新闻数据的压缩文件。

# 获取新闻数据文件
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

1.2 创建Infinispan配置

接下来，我们创建Infinispan的配置文件，以便在Docker中运行。

# 创建Infinispan配置文件
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

1.3 运行Infinispan实例

使用Docker启动Infinispan服务器：

!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config  -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

2. 数据准备和向量存储

2.1 选择嵌入模型

利用HuggingFace的嵌入模型进行文本向量化。

from langchain.embeddings import HuggingFaceEmbeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

2.2 处理和加载数据

加载新闻数据并进行预处理，将其转化为向量存储。

import csv
import gzip

# 打开新闻文件并读取
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    reader = csv.reader(csvfile, delimiter=",", quotechar='"')
    texts = []
    metas = []
    for i, row in enumerate(reader):
        text = row[0] + "." + row[4]
        texts.append(text)
        meta = {"text": row[4], "title": row[0]}
        metas.append(meta)
        if i >= 5000:  # 只处理前5000条记录
            break

2.3 填充向量存储

使用InfinispanVS将数据及向量存储。

from langchain_community.vectorstores import InfinispanVS

# 使用API代理服务提高访问稳定性
ispnvs = InfinispanVS.from_texts(texts, hf, metas)

3. 代码示例

执行相似性搜索并打印结果。

def print_docs(docs):
    for res, i in zip(docs, range(len(docs))):
        print("----" + str(i + 1) + "----")
        print("TITLE: " + res.metadata["title"])
        print(res.page_content)

# 进行查询
docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)

常见问题和解决方案

  • 无法访问Infinispan API：某些地区可能会遇到网络访问限制，建议使用API代理服务来提高稳定性。
  • 性能问题：确保向量数据的大小适中，可以通过分片来优化大规模数据环境。

总结和进一步学习资源

Infinispan提供了一种高效的方式来处理大规模的数据，通过向量搜索，您可以快速地从海量数据中获取相关信息。对于想要深入了解向量存储和Infinispan的数据处理，建议查看以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝