最近，DeepSeek 可以说是名声大噪，几乎到了人尽皆知的地步。越来越多的人开始对它产生浓厚兴趣，并且纷纷尝试在本地进行部署。不过，想要成功地在本地部署一个好用的大模型并不是一件轻松的事情。那么，究竟该如何操作才能顺利实现这一目标呢？
1. 访问ollama.com下载并安装ollama
· 1.4B：理论上最低8GB内存可能可以运行基本推理任务，但为了较为流畅稳定运行，建议16GB及以上内存。
· 7B：至少16GB内存，理想情况是32GB内存以应对各种任务场景。
· 8B：建议至少32GB内存，以处理模型加载和中间计算数据存储。
· 14B：通常需要32GB以上内存，48GB或64GB能有更好表现。
· 32B：至少64GB内存，考虑到模型较大，96GB或128GB内存可保障运行效率。
· 70B：一般需要128GB以上内存，在大规模批量推理或复杂应用场景下，可能需要256GB内存。
显存需求（假设使用GPU进行加速推理）
· 1.4B：如果使用GPU，有4GB显存的GPU基本可以尝试运行，但为了更好性能，建议8GB显存及以上。
· 7B：8GB显存的GPU可以支持运行，但16GB显存能获得更好的性能和稳定性。
· 8B：至少16GB显存，若希望高效运行复杂任务，建议24GB或32GB显存。
· 14B：至少需要32GB显存的GPU，以满足模型参数加载和计算需求。
· 32B：通常需要48GB或64GB显存的高端GPU才能较好地支持推理。
· 70B：需要多块高显存GPU（如单卡80GB ）组成的集群，总显存可能需要128GB及以上 。
3. 安装向量模型：在ollama搜索 embedding 根据上述步骤安装nomic-embed-text（可以使用 ollama list 检查是否成功下载）
4. 在微软商店下载 Ubuntu(我下载的是Ubuntu 22.04.5 LTS，仅供参考)
5. 访问：www.docker.com 下载并安装自己电脑对应版本的 docker desktop
6. 打开windows功能里的： haper-V 虚拟机平台 适用于linux的windows子系统。
启用或关闭windows功能：打开控制面板，点击程序，选择程序与功能下的 启用或关闭windows功能
专业版直接进行上述操作，家庭版需先开启haper-V ,操作如下：（这里默认你的电脑已经打开了显示文件扩展名）
1.新建一个文本文档，命名为 hyper-v，将以下代码复制进去：
`pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL`
2. 更改扩展名为.bat，右键，以管理员身份运行，等待安装完成，完成后根据提示按 y 重启电脑，重启后进行专业版的操作。
7. 在任意位置新建文件夹命名为 fastgpt，访问doc.fastgpt.cn/docs/develo… 下载， docker-compose.yml 和 config.json 这两个文件，保存在刚才新建的fastgpt中。
按照如图所示在记事本中打开并修改docker-compose.yml
修改完毕之后点击保存
8. 打开刚才安装的 docker desktop和Ubuntu保持后台运行。
9. 打开windows终端，cd 到你刚才创建的 fastgpt 的目录下，运行 docker-compose up -d.拉取fastgpt配置文件
10. 在docker desktop 中找到 oneapi 点击进入
登陆的默认账号密码为 root 123456
1. 点击渠道，添加新的渠道，按照如图所示进行设置，点击提交
（名称按照你下载的填写）
2. 点击测试，有响应表示测试成功
3. 点击令牌，添加新的令牌，按照如图设置，点击提交
4. 在令牌点击复制，复制你刚才创建的令牌的api key
11. 打开之前fastgpt文件夹，在记事本中打开 docker-compose.yml，如图，将api key 复制进去
12. 在docker desktop 中打开 fastgpt （默认账号密码为 root 1234）
1. 点击新建，简易应用，名称设置为你的模型名称
2. 在AI模型处选择你下载的模型
3. 随意输入问题进行测试
个人总结：本地部署的deepseek-r1蒸馏模型虽不及原版，但是用于个人使用问题不是很大，按需进行部署即可
如果您觉得我的创作还不错，能否麻烦您轻轻动一动手指，点个免费的赞呢？同时，也恳请您关注一下我。这对我真的很重要
如果您有不同的意见，欢迎把你的想法留在评论区
