5 分钟带你部署专属于你的QwQ-32B模型!!

125 阅读2分钟

中国AI大模型领域再添新星!!QwQ-32B大语言模型以其精巧的设计和卓越的性能,引发了业界的广泛关注。与参数量高达6710亿的DeepSeek R1 (其中370亿被激活) 相比,QwQ-32B仅有320亿参数,但其性能却能与之媲美,甚至在某些测试中超越了 DeepSeek R1。这意味着,无需天价算力、无需复杂调参,人人都能拥有专属的智能大脑。

近来,GpuGeek云平台上线了在vLLM环境部署QwQ-32B参数模型进行推理,使用OpenWebUI在浏览器中进行对话的镜像。通过GpuGeek云平台的强大算力,免受各种限制,只需5分钟,即可随时随地畅快体验专属于你的QwQ-32B模型。

以下是在GpuGeek云平台上使用QwQ-32B模型的攻略:

Step 1:注册并登录GpuGeek云平台,点击左上方「镜像市场」进入

地址:gpugeek.com/login?invit…

Step 1.png Step 2:选择「QwenLM/Qwen2.5/QwQ-32B」镜像,点击右侧「创建实例」

Step 2.png Step 3:创建成功后跳转到实例控制台

Step 3.png Step 4:点击登录,复制登录信息组建SSH隧道

4.1 点击如下图所示的“登录“按钮,复制图片中的【登录指令】和【登录密码】

Step 4.1.1.png Step 4.1.2.png 复制后的登录指令和登录密码如下:

登录指令:ssh -p 51132 root@proxy-qy.gpugeek.com

密码:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

4.2 组建SSH隧道命令

ssh -CNg -L 8080:127.0.0.1:8080 root@proxy-qy.gpugeek.com -p 51132

其中:

(1)root@proxy-qy.gpugeek.com是实例中SSH指令的登录地址

(2)51132是登录端口,需根据自己实例的ssh指令做相应替换

(3)8080是指代理实例内8080端口映射到本地电脑的8080端口来完成SSH隧道连接

4.3 打开本地电脑的终端并建立SSH隧道连接

(1)Windows系统可以使用cmd(快捷方式win+R并输入cmd)、powershell、终端等工具;

(2)Mac系统可以使用终端或者iterm工具。

将上面组建后的SSH隧道命令复制到对应工具中,然后回车后输入实例对应的密码。 (第一次建立连接可能询问“是否继续”,输入yes并回车即可输入密码)

执行如上命令后,没有任何输出是正常的。

注意:Windows下的cmd/powershell可能会提示密码错误,是因为无法粘贴,手动输入即可(输入密码时不会显示正在输入的密码)。

Step 4.3.png Step 5:打开浏览器输入 http://localhost:8080 访问 OpenWebUI

默认账号:admin@163.com

默认密码:admin123 Step 5.1.png Step 5.2.png (如出现提示“选择一个模型” 点击网页刷新按钮,刷新后QwQ-32B模型自动出现)

现在,开始使用专属于你的QwQ-32B模型吧!!

使用场景实例:

Step 5.3.png

Step 5.4.png