现在ai这个话题的热度是如火如荼,但对于很多程序员同行来说,还都仅仅停留在“用ai”的阶段,大部分同行,尤其是在小公司的小伙伴们都不知道ai需要如何对接,如何部署以及如何训练。
本文给出本地下载Deepseek-R1模型并配合可视化界面使用。文章内容相当详细,哪怕是对ai了解不多的同学都可以看懂,顺着步骤一点点来,可以搭建自己的本地ai。
细细看, 包教包会的。
以下是当前文章的电脑配置。
下载模型到本地
我们用的是开源的模型DeepSeek,这个模型可以被下载到本地
第一步,下载Ollama
ollama.com/download (下载地址)
然后无脑(next/install/ok)安装。最后你会得到如下界面
当你点完这一步的时候,你会发现,ollama的安装程序突然消失,连个可视化界面都没有。
别慌,正常的。他本来就不提供可视化界面,只要没有弹出来报错,基本就是安装成功了
随便找一个终端,输入
ollama --version
命令。只要有版本号弹出来,你就是安装成功了。如下
Ollama是什么简介
Ollama 是一个基于 LLaMA(Large Language Model Meta AI) 的开源项目,旨在通过量化技术优化模型的推理速度和资源占用。它支持在消费级硬件(如个人电脑)上高效运行大型语言模型,尤其适合 GPU 资源有限的环境。
主要特点
- 量化技术:通过降低模型参数的精度(如从 16 位浮点数量化为 4 位整数),减少内存占用并提升推理速度。
- 硬件兼容性:支持在 CPU 和 GPU 上运行,尤其适合资源有限的设备。
- 易于部署:提供简单的接口和工具,便于用户快速部署和运行模型。 ?1. 开源:代码公开,允许用户根据需求进行定制和优化。
应用场景
- 本地推理:在个人电脑或边缘设备上运行大型语言模型。
- 资源受限环境:适用于 GPU 资源不足的场景。
- 研究与开发:为研究人员和开发者提供高效的模型推理工具。
第二步,下载本地模型
在成功安装ollama的前提之下,大家去如下地址
进行模型选择。这里先不要着急点进去直接安装,先把这段教程看完再去。
进入网址会看见如下界面。
当前deepseek只开放了deepseek-r1模型
大家在选择模型的时候,一定要记得参考如下模型参数所对应需要的内存需求,看看自己的电脑是否满足。否则下载超负荷的模型下载到最后会直接卡死包错,一切从头再来,或者运行出各种稀奇古怪的问题。纯纯浪费时间,实在不知道怎么判断的,就选择那个最小的 1.5b的试试水,玩一玩。
模型参数的大小对模型有什么影响(以1.5b和14b对比举个例子)
在 Deepseek-R1 中,模型参数 1.5B 和 14B 的区别主要体现在模型的规模、复杂度和性能上。这里的 B 代表 Billion(十亿),即 1.5B 表示模型有 15亿 个参数,14B 表示模型有 140亿 个参数。以下是两者的主要区别:
模型规模
- 1.5B:较小的模型,参数较少,结构相对简单。
- 14B:较大的模型,参数更多,结构更复杂。
模型复杂度
- 1.5B:
- 参数较少,模型复杂度较低。
- 训练和推理速度较快,对计算资源的需求较低。
- 适合轻量级任务或资源受限的环境。
- 14B:
- 参数更多,模型复杂度更高。
- 能够捕捉更复杂的模式和特征,表现通常更好。
- 需要更多的计算资源和时间进行训练和推理。
性能
- 1.5B:
- 在简单任务或数据量较少的场景下表现良好。
- 可能在复杂任务(如自然语言理解、生成任务)上表现有限。
- 14B:
- 在复杂任务上表现更优,能够生成更准确、更连贯的结果。
- 适合需要高精度和高性能的场景。
计算资源需求
- 1.5B:
- 对硬件要求较低,可以在普通 GPU 或 CPU 上运行。
- 适合部署在资源受限的设备(如移动设备、嵌入式设备)。
- 14B:
- 需要高性能 GPU 或 TPU,以及更大的内存和存储空间。
- 通常用于云端或高性能计算环境。
训练数据需求
- 1.5B:
- 可以在较小的数据集上训练,但可能无法充分捕捉复杂模式。
- 14B:
- 需要大量高质量数据进行训练,以避免过拟合并充分发挥其潜力。
应用场景
- 1.5B:
- 适合轻量级应用,如聊天机器人、文本分类、简单问答等。
- 14B:
- 适合复杂任务,如长文本生成、高级语言理解、多轮对话等。
选择 1.5B 还是 14B 取决于具体的任务需求、可用资源和性能要求。如果任务简单且资 源有限,1.5B 是更合适的选择;如果需要处理复杂任务且资源充足,14B 会提供更好的 性能。
选择了模型下载命令以后,打开一个终端,输入,然后执行。如下
随后出现success就表示下载成功了。
这个时候,你就可以已经可以在终端显示的 ">>>" 这个符号后面进行对话。如果你不小心关掉了终端,也可以使用
ollama run deepseek-r1:(你下载的模型参数尾号)
以下以 ollama run deepseek-r1:1.5b为例启动。
话又说回来,想玩的话有条件最好下载一个模型参数为14B的deepseek-r1模型玩,这个1.5B的偶尔像个弱智。你看下面的对话就知道他有多弱智。(不是每一次对话都那么弱智)
那么到现在为止!咱们已经在本地安装好了模型了!但是一直用命令行沟通,不舒服,不好玩。咱们再给他“穿个衣服”。
安装模型沟通可视化界面 chatboxai
Chatboxai是现在用户使用最多的ai可视化界面。
chatboxai.app/zh (客户端安装地址)
下载客户端,不要直接使用网页版的chatboxai。网页版的chatboxai目前为止是识别不到本地模型的。
往chatboxai里配置本地模型
下载完成以后,打开客户端,
第一步
点击设置
第二步
选择模型提供商和模型版本
第三步
开始玩吧!!!
虽然说本地ai不用担心“网络繁忙”的问题,不过最好还是去线上使用,本地这个毕竟只是R1模型,不如线上的聪明。DeepSeek官网地址。www.ai.cn
兄弟们直观感受下 本地的r1模型和线上的v3模型的差距