DeepSeek-R1+可视化界面+知识库 Windows本地化安装

407 阅读4分钟

1. 本地安装Ollama*

(1) 下载官方安装包

image.png

(2) 安装Ollama:默认安装在C盘,无法更改

  • 双击exe程序文件安装
  • 点击Install安装

image.png

image.png

  • 等待,成功后安装界面消失且无提示;开始菜单出现Ollama,但是点击无法打开程序,属于正常现象。

image.png

(3) 检查Ollama是否安装成功

  • 打开Windows CMD,输入ollama或者ollama --v,能够查询到安装信息 image.png

(4) 启动Ollama服务, 每次使用Ollama服务都需要先启动

  • 输入 ollama serve

image.png

2. 部署Deepseek-R1模型****

(1) Ollama官网查询DeepSeek-R1模型

image.png

(2) Windows打开新CMD页面,输入大模型启动命令ollama run ‘模型名称’。例如,ollama run deepseek-r1:8b。如果系统中没有该模型则会自动下载。

image.png

(3) 部署后可在控制台直接进行对话

image.png

(4) Ollama监控大模型使用过程中的各种参数,例如接口调用、相应时间、CPU占用等等。

image.png

(5) 安装其他大模型同理

3. 可视化界面安装 【安装AnythingLLM可以替代Chatbox】****

(1) 下载Chatbox

image.png

(2) 安装Chatbox

  • 点击安装chatbox程序文件

image.png

  • 更改安装位置

  image.png

- 完成安装

  image.png

(3) Chatbox配置Ollama和DeepSeek模型

- 选择配置AI模型提供方

  image.png

- 选择Ollama API

  image.png

- 选择deepseek大模型

image.png

- 通过chatbox界面使用deepseek模型

  image.png

4. D eep S eek知识库*

根据使用文心大模型的经验,在官方提供的应用场景平台上,便可以零代码的通过外挂知识库的形式,让大模型进行知识库中的问答。

本地部署的deepseek-r1模型,无法通过知识库投放的方式训练,可与文心一样使用外挂的方式进行知识库训练。

deepseek官方暂未提供类似智能体平台一样的应用场景平台,如果想创建一个大模型+知识库的本地应用,需要借助一些开源工具,为本地的大模型挂载本地知识库文件,形成一个应用。

(1) 下载AnythingLLM

AnythingLLM官网

image.png

image.png

image.png (2) 安装AnythingLLM

image.png

image.png

image.png

(3) 配置大模型

image.png

image.png

image.png

image.png

image.png

(4) 上传知识库

在聊天界面中,用户可以创建多个工作区。每个工作区可以独立管理文档和 LLM 设置,并支持多个会话(Thread),每个会话的上下文也是独立的。

image.png

- 上传文档

  image.png

image.png

image.png

image.png

- 测试

  image.png


5. Ollama常见命令****

启动 ollama 服务器ollama serve启动一个 ollama 服务器,以便运行模型和处理请求。
创建模型ollama create /path/to/Modelfile使用 Modelfile 来创建一个新模型。你需要提供一个包含模型信息的 Modelfile。
显示模型信息ollama show my_model查看特定模型的详细信息,例如模型名称、版本等。
运行模型ollama run my_model运行一个已安装的模型,执行某些任务。
从注册表拉取模型ollama pull my_model从模型注册表中拉取一个模型,供本地使用。
推送模型到注册表ollama push my_model将本地模型推送到模型注册表中,以便他人或其他系统使用。
列出所有模型ollama list列出本地所有可用的模型。
列出正在运行的模型ollama ps显示当前正在运行的模型列表。
复制模型ollama cp my_model new_model复制一个模型到另一个位置或给定名称的地方。
删除模型ollama rm my_model删除一个已安装的模型。
显示帮助ollama --help获取 ollama 命令或任何具体命令的帮助信息。
查看版本ollama --version显示当前 ollama 工具的版本信息。

6. 常见 问题*

(1) ollama serve无法启动

image.png

原因:端口被占用

解决:打开任务管理,结束ollama进程,重新执行

image.png

(2) ollama run deepseek-r1:14b 命令执行错误

image.png

原因:未启动ollama app

解决:新打开cmd窗口,执行ollama serve

(3) ollama run deepseek-r1:14b 命令执行过程中发生重命名错误

image.png

原因:文件被占用

解决:cmd窗口中,ctrl+c结束进程,重新执行ollama run deepseek-r1:14b 命令

(4) ollama run deepseek-r1:14b 命令执行速度慢

解决:cmd窗口中,ctrl+c结束进程,重新执行ollama run deepseek-r1:14b 命令