【深入探索NVIDIA NIMs：在LangChain中如何高效利用嵌入模型？】

tangtang123
69 阅读3分钟

引言

在现代人工智能应用中，使用强大的语言模型和嵌入技术对信息进行快速、精准的检索变得至关重要。NVIDIA NIM（NVIDIA Inference Microservice）通过将优化的AI模型打包为可移植的容器，提供了一种高效的解决方案。本篇文章将带你深入了解如何利用langchain-nvidia-ai-endpoints包，通过NVIDIA的NIM嵌入模型在LangChain中进行检索增强生成（RAG）任务。

主要内容

什么是NVIDIA NIMs？

NIM是NVIDIA提供的微服务，支持各类AI模型，这些模型能以高效的方式在NVIDIA的加速基础设施上运行。通过NIM，开发者可以轻松部署预构建的容器，实现跨平台的AI推理服务。

如何访问与配置NIM？

为了使用这些嵌入模型，需要在NVIDIA注册账号并获取API密钥。以下为基本的设置步骤：

import getpass
import os

# 检查API密钥是否已设置
if os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    print("Valid NVIDIA_API_KEY already in environment. Delete to reset")
else:
    # 获取用户输入的API密钥
    nvapi_key = getpass.getpass("NVAPI Key (starts with nvapi-): ")
    assert nvapi_key.startswith("nvapi-"), f"{nvapi_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvapi_key

使用LangChain进行嵌入操作

使用langchain-nvidia-ai-endpoints模块，通过NVIDIAEmbeddings类可以轻松地进行嵌入操作。以下展示了如何初始化模型：

from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings

# 使用API代理服务提高访问稳定性
embedder = NVIDIAEmbeddings(model="NV-Embed-QA")

代码示例

在这个示例中，我们将通过NVIDIA的嵌入模型进行相似度计算：

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
import matplotlib.pyplot as plt

# 提供查询和文档
queries = ["What's the weather like in Komchatka?", 
           "What kinds of food is Italy known for?", 
           "What's my name? I bet you don't remember...",
           "What's the point of life anyways?", 
           "The point of life is to have fun :D"]

documents = ["Komchatka's weather is cold, with long, severe winters.",
             "Italy is famous for pasta, pizza, gelato, and espresso.",
             "I can't recall personal names, only provide information.",
             "Life's purpose varies, often seen as personal fulfillment.",
             "Enjoying life's moments is indeed a wonderful approach."]

# 获取嵌入
q_embeddings = [embedder.embed_query(query) for query in queries]
d_embeddings = embedder.embed_documents(documents)

# 计算相似度
similarity_matrix = cosine_similarity(np.array(q_embeddings), np.array(d_embeddings))

# 绘制相似度矩阵
plt.figure(figsize=(8, 6))
plt.imshow(similarity_matrix, cmap="Greens", interpolation="nearest")
plt.colorbar()
plt.title("Cross-Similarity Matrix")
plt.xlabel("Query Embeddings")
plt.ylabel("Document Embeddings")
plt.show()

常见问题和解决方案

挑战：长文本的截断问题

嵌入模型通常有固定的上下文窗口限制，超出限制的输入可能会引发错误。NVIDIA NIM提供了truncate选项来帮助处理此问题：

  • "NONE": 抛出异常
  • "START"/"END": 从开始或结束截断文本

通过使用这个选项，我们可以更好地管理输入：

long_text = "AI is amazing, amazing is " * 100

truncating_embedder = NVIDIAEmbeddings(truncate="END")
truncated_embedding = truncating_embedder.embed_query(long_text)[:5]

总结和进一步学习资源

本文介绍了如何使用NVIDIA的NIM嵌入模型在LangChain中进行高效的信息检索。为了深入学习这些技术，可以参考以下资源：

参考资料

  1. NVIDIA官方文档
  2. LangChain开发者指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝