本地部署deepseek

EamonYang
267 阅读3分钟

1.安装ollama

ollama.com/

ollama是用于模型管理的开源工具。下载后可以直接使用安装包安装，默认安装到C盘。也可以在安装包所在目录打开命令行指定目录安装

OllamaSetup.exe /DIR=your path

查看是否安装成功，如果可以正确显示版本信息就说明安装成功了。

ollama -v

也可以通过ollama -h查看所有命令

ollama -h

2.安装模型

通过以下命令可以直接安装deepseek-r1:1.5b的模型，安装成功后会有success提示。

ollama run deepseek-r1:1.5b

具体选哪个模型可以参考如下配置：

模型参数规模典型用途CPU 建议GPU 建议内存建议 (RAM)磁盘空间建议适用场景
1.5b (15亿)小型推理、轻量级任务4核以上 (Intel i5 / AMD Ryzen 5)可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)8GB10GB 以上 SSD小型 NLP 任务、文本生成、简单分类
7b (70亿)中等推理、通用任务6核以上 (Intel i7 / AMD Ryzen 7)中端 GPU (如 NVIDIA RTX 3060, 12GB 显存)16GB20GB 以上 SSD中等规模 NLP、对话系统、文本分析
14b (140亿)中大型推理、复杂任务8核以上 (Intel i9 / AMD Ryzen 9)高端 GPU (如 NVIDIA RTX 3090, 24GB 显存)32GB50GB 以上 SSD复杂 NLP、多轮对话、知识问答
32b (320亿)大型推理、高性能任务12核以上 (Intel Xeon / AMD Threadripper)高性能 GPU (如 NVIDIA A100, 40GB 显存)64GB100GB 以上 SSD大规模 NLP、多模态任务、研究用途
70b (700亿)超大规模推理、研究任务16核以上 (服务器级 CPU)多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存)128GB200GB 以上 SSD超大规模模型、研究、企业级应用
671b (6710亿)超大规模训练、企业级任务服务器级 CPU (如 AMD EPYC / Intel Xeon)多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存)256GB 或更高1TB 以上 NVMe SSD超大规模训练、企业级 AI 平台

3.命令行调用

安装好以后就可以在命令行与deepseek对话了

ollama run deepseek-r1:1.5b

4.接入cherry-studio

cherry-ai.com/

CherryStudio目前支持市面上绝大多数服务商的集成,并且支持多服务商的模型统一调度。

安装后在设置 Ollama 管理模型

之后在对话窗口顶部可以切换自己的模型

5.js通过api调用本地模型

新建一个项目，安装ollama包

yarn init

yarn add ollama

package.json中配置type为module

{
  "name": "ollama-chat",
  "version": "1.0.0",
  "main": "index.js",
  "license": "MIT",
  "type": "module",
  "dependencies": {
    "ollama": "^0.5.13"
  }
}

index.js中写生成逻辑，然后node ./index.js运行

import ollama from 'ollama'

const message = { role: 'user', content: '天空为什么是蓝色的?' }
const response = await ollama.chat({ model: 'deepseek-r1:1.5b', messages: [message], stream: true })
for await (const part of response) {
  process.stdout.write(part.message.content)
}

详细API使用可以参考 www.npmjs.com/package/oll…

avatar
文章
阅读
粉丝