薅免费算力一键部署DeepSeek大模型

199 阅读2分钟

薅免费算力部署DeepSeek大模型

在学习、工作的过程中,我们经常需要部署一个自己的 AI 大模型,并且根据自己的需求进行微调训练或者推理。 然而对于很多同学来说,大模型的部署有重重困难:

  1. 大模型对于用户本地设备的要求高,尤其是 GPU;
  2. 大模型开发需要部署繁琐的环境,比如 pytorch、cuda、深度学习框架等,往往需要下载动辄几个 GB 的文件,再加上国内访问外网又有时常失败,使得这个过程痛不欲生
  3. 完成开发测试后,想要将成果发布到线上,这个流程也非常复杂

所以很多时候,可以通过租用云服务器进行大模型的开发部署。

QuickStart

一、申请 GPU 算力

1 注册登录

有很多新平台提供了各种免费券,比如趣算云、算多多、恒源云、智星文、damodel等

使用下面链接可获取 36 小时免费 4070(也给我送 12 小时,😊嘿嘿): www.gpuduoduo.com/console/log…

2 申请实例

点击右侧创建按钮,选择 “DeepSeek” 镜像。

image.png

二、部署大模型

创建实例后,等待 2-3 分钟,实例变成"在线+无任务",此时模型已经自动部署成功,并且映射到了公网。 我们可以使用 jupyterLab 直接连接到服务器。

使用大模型
1. 通过 JupyterLab 进入机器

2. 通过 ollama 运行大模型

新建一个 jupyter 终端窗口

image.png

在终端中通过 ollama 运行 deepseek:

ollama run deepseek-r1:1.5b

随便输入点内容:

image.png

也可以使用 SSH 访问,控制台"登录信息"处可以查看命令

三、通过 openwebui 访问

我们还可以通过 web 访问,实例内已集成 openwebui:

image.png

image.png

至此,我们已完成了一个 DeepSeek 的部署和体验,后面搞点其他事情就更简单了。