基于 LangServe 的 Deepseek 本地大模型服务化实践

154 阅读3分钟

本文系作者 [架构精进之路] 原创,著作权归作者所有,未经授权禁止任何形式的转载、抄袭或盗用,违者必究。

DeepSeek 学习内容,持续更新,欢迎关注~

在人工智能技术飞速发展的今天,大模型(LLM)已成为推动 AI 应用落地的核心驱动力。上次分享「普通人上手 Deepseek 的实用攻略」,我们已经将 Deepseek 大模型的能力高效地部署到本地环境,并对外提供稳定的服务。

本文将分享我们基于 LangServe 框架,将 DeepSeek 本地大模型 服务化的实践经验,带你一步步了解如何快速搭建、部署和管理本地大模型服务,让 AI 能力真正触手可及。

1、 认识 LangServe

LangServe 是一个专为语言模型设计的服务化框架,旨在帮助开发者将大模型能力快速封装为 API 服务。它的核心优势在于:

  • 简单易用:通过少量代码即可完成模型服务的部署;

  • 高性能:支持并发请求和高效推理,满足生产环境需求;

  • 灵活扩展:可与其他工具(如 LangChain)无缝集成,构建复杂 AI 应用。

对于需要在本地环境中部署大模型的团队来说,LangServe 是一个不可多得的利器。

2、安装实践

从零到一的 DeepSeek 服务化,也是本文介绍的重点内容。

2.1 环境准备

  • 安装 LangServe:

    pip install "langserve[all]" 
    

    或者使用 pip install "langserve[client]" 安装客户端代码,使用pip install "langserve[server]" 安装服务器端代码。

  • 下载 DeepSeek 模型权重,并配置本地推理环境,之前「普通人上手 Deepseek 的实用攻略」已完成此步骤。

2.2 模型封装

使用 LangServe 将 DeepSeek 模型封装为 API 服务:

我们创建一个问答链,它提供简单地计算功能,按步骤组织代码

1)引入关联类库

from fastapi import FastAPIfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_core.output_parsers import StrOutputParserfrom langchain_ollama.llms import OllamaLLMfrom langserve import add_routes

2)创建提示词模板

system_template = "来,一起计算这个难题吧!"prompt_template = ChatPromptTemplate.from_messages([    ('system', system_template),        ('user', '{text}')])

3)创建本地大模型

model = OllamaLLM(model="deepseek-r1:1.5b")

4)创建解析器

parser = StrOutputParser()

5)创建链

chain = prompt_template | model | parser

6)App 定义

app = FastAPI(  title="LangChain Server",    version="1.0",    description="使用 LangChain 的 Runnable 接口的简单 API 服务器。",)

7)添加链的路由

add_routes(    app,    chain,    path="/calc",)

8)启动命令

if __name__ == "__main__":    import uvicorn    uvicorn.run(app, host="localhost", port=8010)

至此,一个简单的问答链已经创建好了。

运行它需要一个参数:`text`。

2.3 启动程序

启动此程序,出现类似下面的输出则说明启动成功。

根据上图的信息,在浏览器输入`http://localhost:8010/calc/playground/\`

2.4 问答交互

接下来,我们尝试输入个简单问题来进行交互吧~

好了,搞定!

后续 DeepSeek 学习内容,持续更新,欢迎关注~

·END·

希望今天的讲解对大家有所帮助,谢谢!

Thanks for reading!

作者:架构精进之路,十年研发风雨路,大厂架构师,CSDN 博客专家,专注架构技术沉淀学习及分享,职业与认知升级,坚持分享接地气儿的干货文章,期待与你一起成长。
关注并私信我回复“01”,送你一份程序员成长进阶大礼包,欢迎勾搭。