用Infinispan实现高效的向量搜索：从零开始的详细教程这些包将用于我们的嵌入模型和数据处理。设置Infinisp

# 用Infinispan实现高效的向量搜索：从零开始的详细教程

## 引言

Infinispan是一个开源的键值数据网格系统，它可以单节点运行，也可以进行分布式部署。自15.x版本以来，Infinispan支持向量搜索功能，使得它在处理高维数据时更加高效。本篇文章将详细介绍如何使用Infinispan实现向量搜索，包括必要的设置、数据准备以及如何处理常见问题。

## 主要内容

### 环境准备

在开始之前，请确保已经安装以下Python包：

```bash
%pip install sentence-transformers
%pip install langchain
%pip install langchain_core
%pip install langchain_community

这些包将用于我们的嵌入模型和数据处理。

设置Infinispan

我们需要一个运行中的Infinispan实例并下载数据文件。以下是设置步骤：

下载数据文件

%%bash
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

创建配置文件

%%bash
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

运行Infinispan Docker实例

!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml
# 使用API代理服务提高访问稳定性

代码示例

选择嵌入模型

我们将使用HuggingFace的嵌入模型：

from langchain.embeddings import HuggingFaceEmbeddings
from langchain_core.embeddings import Embeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

准备数据

我们将从CSV文件中加载数据：

import csv
import gzip

# 打开新闻文件并作为CSV处理
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    spamreader = csv.reader(csvfile, delimiter=",", quotechar='"')
    texts = []
    metas = []
    for row in spamreader:
        text = row[0] + "." + row[4]
        texts.append(text)
        meta = {"text": row[4], "title": row[0]}
        metas.append(meta)
        if len(texts) >= 5000:
            break

填充向量存储

from langchain_community.vectorstores import InfinispanVS

ispnvs = InfinispanVS.from_texts(texts, hf, metas)

测试查询

def print_docs(docs):
    for res, i in zip(docs, range(len(docs))):
        print("----" + str(i + 1) + "----")
        print("TITLE: " + res.metadata["title"])
        print(res.page_content)

docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)

常见问题和解决方案

网络访问问题: 在某些地区，直接访问API可能会有网络限制，建议使用API代理服务。
性能优化: 对于大规模数据处理，可以考虑分布式Infinispan集群部署。

总结和进一步学习资源

Infinispan提供了强大的向量搜索能力，适合处理大规模高维数据。建议进一步阅读Infinispan的官方文档和向量存储的概念指南以加深理解。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---