1. 本地安装Ollama*
(1) 下载官方安装包
(2) 安装Ollama:默认安装在C盘,无法更改
- 双击exe程序文件安装
- 点击Install安装
- 等待,成功后安装界面消失且无提示;开始菜单出现Ollama,但是点击无法打开程序,属于正常现象。
(3) 检查Ollama是否安装成功
- 打开Windows CMD,输入ollama或者ollama --v,能够查询到安装信息
(4) 启动Ollama服务, 每次使用Ollama服务都需要先启动
- 输入 ollama serve
2. 部署Deepseek-R1模型****
(1) Ollama官网查询DeepSeek-R1模型
(2) Windows打开新CMD页面,输入大模型启动命令ollama run ‘模型名称’。例如,ollama run deepseek-r1:8b。如果系统中没有该模型则会自动下载。
(3) 部署后可在控制台直接进行对话
(4) Ollama监控大模型使用过程中的各种参数,例如接口调用、相应时间、CPU占用等等。
(5) 安装其他大模型同理
3. 可视化界面安装 【安装AnythingLLM可以替代Chatbox】****
(1) 下载Chatbox
(2) 安装Chatbox
- 点击安装chatbox程序文件
- 更改安装位置
- 完成安装
(3) Chatbox配置Ollama和DeepSeek模型
- 选择配置AI模型提供方
- 选择Ollama API
- 选择deepseek大模型
- 通过chatbox界面使用deepseek模型
4. D eep S eek知识库*
根据使用文心大模型的经验,在官方提供的应用场景平台上,便可以零代码的通过外挂知识库的形式,让大模型进行知识库中的问答。
本地部署的deepseek-r1模型,无法通过知识库投放的方式训练,可与文心一样使用外挂的方式进行知识库训练。
deepseek官方暂未提供类似智能体平台一样的应用场景平台,如果想创建一个大模型+知识库的本地应用,需要借助一些开源工具,为本地的大模型挂载本地知识库文件,形成一个应用。
(1) 下载AnythingLLM
(2) 安装AnythingLLM
(3) 配置大模型
(4) 上传知识库
在聊天界面中,用户可以创建多个工作区。每个工作区可以独立管理文档和 LLM 设置,并支持多个会话(Thread),每个会话的上下文也是独立的。
- 上传文档
- 测试
5. Ollama常见命令****
| 启动 ollama 服务器 | ollama serve | 启动一个 ollama 服务器,以便运行模型和处理请求。 |
|---|---|---|
| 创建模型 | ollama create /path/to/Modelfile | 使用 Modelfile 来创建一个新模型。你需要提供一个包含模型信息的 Modelfile。 |
| 显示模型信息 | ollama show my_model | 查看特定模型的详细信息,例如模型名称、版本等。 |
| 运行模型 | ollama run my_model | 运行一个已安装的模型,执行某些任务。 |
| 从注册表拉取模型 | ollama pull my_model | 从模型注册表中拉取一个模型,供本地使用。 |
| 推送模型到注册表 | ollama push my_model | 将本地模型推送到模型注册表中,以便他人或其他系统使用。 |
| 列出所有模型 | ollama list | 列出本地所有可用的模型。 |
| 列出正在运行的模型 | ollama ps | 显示当前正在运行的模型列表。 |
| 复制模型 | ollama cp my_model new_model | 复制一个模型到另一个位置或给定名称的地方。 |
| 删除模型 | ollama rm my_model | 删除一个已安装的模型。 |
| 显示帮助 | ollama --help | 获取 ollama 命令或任何具体命令的帮助信息。 |
| 查看版本 | ollama --version | 显示当前 ollama 工具的版本信息。 |
6. 常见 问题*
(1) ollama serve无法启动
原因:端口被占用
解决:打开任务管理,结束ollama进程,重新执行
(2) ollama run deepseek-r1:14b 命令执行错误
原因:未启动ollama app
解决:新打开cmd窗口,执行ollama serve
(3) ollama run deepseek-r1:14b 命令执行过程中发生重命名错误
原因:文件被占用
解决:cmd窗口中,ctrl+c结束进程,重新执行ollama run deepseek-r1:14b 命令
(4) ollama run deepseek-r1:14b 命令执行速度慢
解决:cmd窗口中,ctrl+c结束进程,重新执行ollama run deepseek-r1:14b 命令