Deepseek R1 + LMStudio 本地部署(windows)

0 阅读2分钟

DeepSeek-R1本地部署配置要求

Github地址:github.com/deepseek-ai…

模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景
1.5B4GBRTX 30508GB个人学习
7B、8B16GBRTX 409032GB小型项目
14B24GBA5000 x264GB专业应用
32B48GBA100 40GB x2128GB企业级服务
70B80GBA100 80GB x4256GB高性能计算
671B640GB+H100 集群不可行超算/云计算

扩展:

上面代表的是什么含义,首先我们知道671B的模型才是基础模型,其余的1.5B、7B、8B等都是蒸馏模型,因此Qwen代表是通义千问模型蒸馏的,Llama是通过Llama模型蒸馏的

 

DeepSeek-R1 + LMStudio本地部署

1.本次使用的操作系统,以及环境配置

操作系统:windows11

CPU:  i7-11800H

内存:16GB

GPU:RTX3050ti  4G显存

2.安装LM Studio

官方网址:LM Studio - Discover, download, and run local LLMs

 

3 .安装deepseek R1 8b模型

1)首先进入开发者模式

 2)点击这里,进入配置项页面

 3)点击左下角,App Setting ,打开代理选项,可以进入huggingface.co(外网),也可以通过镜像网站https://hf-mirror.…

4)点击左上角,Model Search 就可以搜索模型,安装模型了(这里安装的是DeepSeek-R1-Distill-Llama-8B-GGUF)

大概4.5GB,安装时间会比较长

3.LM Studio + DeepSeek R1 8B模型使用技巧

1)选择要加载的模型

2)配置模型参数,是十分关键的

3)配置右侧的提示词,也是十分重要的,能够帮助模型快速的理解任务

 4)然后就可以开始使用了