引言

在现代AI应用开发中，性能与部署的灵活性是至关重要的。NVIDIA的NIM（NVIDIA Inference Microservice）为开发者提供了一个强大的平台，帮助搭建高效的AI应用。在本文中，我们将深入探讨如何利用langchain-nvidia-ai-endpoints包，通过NVIDIA NIM来构建应用，尤其是在检索增强生成（RAG）任务中的应用。

主要内容

NVIDIA NIM简介

NVIDIA NIM是一种微服务，允许开发者轻松部署优化的AI模型。这些模型可以在NVIDIA加速的基础设施上运行，通过NGC容器镜像分发。NVIDIA NIM为不同领域的模型提供了易用且一致的API接口。

设置与安装

安装LangChain NVIDIA AI包

%pip install --upgrade --quiet langchain-nvidia-ai-endpoints

配置环境

首先，需要创建一个NVIDIA账号并获得API密钥。

import os
import getpass

if os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    print("Valid NVIDIA_API_KEY already in environment. Delete to reset")
else:
    nvapi_key = getpass.getpass("NVAPI Key (starts with nvapi-): ")
    assert nvapi_key.startswith("nvapi-"), f"{nvapi_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvapi_key

使用NVIDIAEmbeddings类

初始化一个嵌入模型（如NV-Embed-QA）来进行文本分析和检索任务。

from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings

embedder = NVIDIAEmbeddings(model="NV-Embed-QA")

自托管NIM

NVIDIA NIM可以自托管，给予企业对IP和AI应用的完全控制。

embedder = NVIDIAEmbeddings(base_url="http://localhost:8080/v1")

代码示例

以下代码示例展示了如何生成查询嵌入和文档嵌入，并执行简单的相似性测试。

import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# 示例查询和文档
queries = [
    "What's the weather like in Komchatka?",
    "What kinds of food is Italy known for?",
    "What's my name? I bet you don't remember...",
    "What's the point of life anyways?",
    "The point of life is to have fun :D"
]

documents = [
    "Komchatka's weather is cold, with long, severe winters.",
    "Italy is famous for pasta, pizza, gelato, and espresso.",
    "I can't recall personal names, only provide information.",
    "Life's purpose varies, often seen as personal fulfillment.",
    "Enjoying life's moments is indeed a wonderful approach."
]

# 生成嵌入
q_embeddings = [embedder.embed_query(q) for q in queries]
d_embeddings = embedder.embed_documents(documents)

# 计算相似性矩阵
cross_similarity_matrix = cosine_similarity(np.array(q_embeddings), np.array(d_embeddings))

# 绘制相似性矩阵
plt.figure(figsize=(8, 6))
plt.imshow(cross_similarity_matrix, cmap="Greens", interpolation="nearest")
plt.colorbar()
plt.title("Cross-Similarity Matrix")
plt.xlabel("Query Embeddings")
plt.ylabel("Document Embeddings")
plt.grid(True)
plt.show()

常见问题和解决方案

挑战：输入文本过长

嵌入模型通常对输入文本的长度有限制。NVIDIA的NIM提供了truncate参数来处理超过模型限制的输入。

long_text = "AI is amazing, amazing is " * 100

truncating_embedder = NVIDIAEmbeddings(truncate="END")
truncating_embedder.embed_query(long_text)[:5]

总结和进一步学习资源

NVIDIA NIM为开发者提供了一套功能强大、灵活且易于集成的工具，适用于各种AI应用。希望本文帮助您快速上手并充分利用这些工具。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

探秘NVIDIA NIMs：加速AI应用开发的强大引擎

引言