探索Infinispan的向量搜索功能：从入门到实战这一步可以为你提供需要的机器学习模型和库支持。环境设置为了运行这

# 引言

Infinispan是一个开源的键值数据网格，可以作为单节点运行，也可以分布式工作。在15.x版本开始支持向量搜索功能，使得其在处理复杂数据查询时具有更强大的能力。本文旨在通过一个实用的示例，帮助开发者快速理解并应用Infinispan的向量搜索功能。

# 主要内容

## 安装准备

在进行实际操作之前，请确保你的环境已安装以下Python依赖：
```bash
# 安装必需的Python库
%pip install sentence-transformers
%pip install langchain
%pip install langchain_core
%pip install langchain_community

这一步可以为你提供需要的机器学习模型和库支持。

环境设置

为了运行这个示例，我们需要一个运行中的Infinispan实例和一个数据文件。以下步骤将指导你如何下载数据文件、创建配置文件并使用Docker运行Infinispan。

下载数据文件

# 获取新闻数据文件
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

创建配置文件

# 创建Infinispan配置文件
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

运行Infinispan

# 运行Infinispan容器
!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config  -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

使用代码示例

选择嵌入模型

我们将使用HuggingFace的嵌入模型来处理文本数据：

from langchain.embeddings import HuggingFaceEmbeddings
from langchain_core.embeddings import Embeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

连接Infinispan缓存

Infinispan是一个非常灵活的键值存储，可以存储原始位或复杂数据类型。在本示例中，我们将使用Python层的默认配置。

准备数据

import csv
import gzip
import time

# 打开新闻文件并将其作为CSV处理
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    spamreader = csv.reader(csvfile, delimiter=",", quotechar='"')
    i = 0
    texts = []
    metas = []
    for row in spamreader:
        # 将第一和第五列的值合并形成文本内容
        text = row[0] + "." + row[4]
        texts.append(text)
        # 将文本和标题存储为元数据
        meta = {"text": row[4], "title": row[0]}
        metas.append(meta)
        i = i + 1
        # 更改此处的值以改变加载的新闻数量
        if i >= 5000:
            break

填充向量存储

from langchain_community.vectorstores import InfinispanVS

# 使用文本数据填充向量数据库
ispnvs = InfinispanVS.from_texts(texts, hf, metas)

示例查询

# 定义一个函数打印结果文档
def print_docs(docs):
    for res, i in zip(docs, range(len(docs))):
        print("----" + str(i + 1) + "----")
        print("TITLE: " + res.metadata["title"])
        print(res.page_content)

# 执行相似性搜索并打印结果
docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)

常见问题和解决方案

问题：在某些区域无法访问Infinispan服务

解决方案：由于网络限制，可能需要使用API代理服务以提高访问稳定性。可在配置文件中设置代理服务。

总结和进一步学习资源

Infinispan的向量搜索功能为开发者提供了强大的数据查询能力。通过本文的示例，你应该对其基本用法有了较为深入的理解。想要深入学习，你可以参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---