本地部署模型+可视化窗口,保姆级教程,包会

493 阅读6分钟

现在ai这个话题的热度是如火如荼,但对于很多程序员同行来说,还都仅仅停留在“用ai”的阶段,大部分同行,尤其是在小公司的小伙伴们都不知道ai需要如何对接,如何部署以及如何训练。

本文给出本地下载Deepseek-R1模型并配合可视化界面使用。文章内容相当详细,哪怕是对ai了解不多的同学都可以看懂,顺着步骤一点点来,可以搭建自己的本地ai。

细细看, 包教包会的。

以下是当前文章的电脑配置。 image.png

下载模型到本地

我们用的是开源的模型DeepSeek,这个模型可以被下载到本地

第一步,下载Ollama

ollama.com/download (下载地址)

image.png

然后无脑(next/install/ok)安装。最后你会得到如下界面

image.png

当你点完这一步的时候,你会发现,ollama的安装程序突然消失,连个可视化界面都没有。

别慌,正常的。他本来就不提供可视化界面,只要没有弹出来报错,基本就是安装成功了

随便找一个终端,输入

ollama --version

命令。只要有版本号弹出来,你就是安装成功了。如下

image.png

Ollama是什么简介

Ollama 是一个基于 LLaMA(Large Language Model Meta AI) 的开源项目,旨在通过量化技术优化模型的推理速度和资源占用。它支持在消费级硬件(如个人电脑)上高效运行大型语言模型,尤其适合 GPU 资源有限的环境。

主要特点

  1. 量化技术:通过降低模型参数的精度(如从 16 位浮点数量化为 4 位整数),减少内存占用并提升推理速度。
  2. 硬件兼容性:支持在 CPU 和 GPU 上运行,尤其适合资源有限的设备。
  3. 易于部署:提供简单的接口和工具,便于用户快速部署和运行模型。 ?1. 开源:代码公开,允许用户根据需求进行定制和优化。

应用场景

  • 本地推理:在个人电脑或边缘设备上运行大型语言模型。
  • 资源受限环境:适用于 GPU 资源不足的场景。
  • 研究与开发:为研究人员和开发者提供高效的模型推理工具。

第二步,下载本地模型

在成功安装ollama的前提之下,大家去如下地址

ollama.com/library/dee…

进行模型选择。这里先不要着急点进去直接安装,先把这段教程看完再去。

进入网址会看见如下界面。

image.png

当前deepseek只开放了deepseek-r1模型

大家在选择模型的时候,一定要记得参考如下模型参数所对应需要的内存需求,看看自己的电脑是否满足。否则下载超负荷的模型下载到最后会直接卡死包错,一切从头再来,或者运行出各种稀奇古怪的问题。纯纯浪费时间,实在不知道怎么判断的,就选择那个最小的 1.5b的试试水,玩一玩。

image.png

模型参数的大小对模型有什么影响(以1.5b和14b对比举个例子)

Deepseek-R1 中,模型参数 1.5B14B 的区别主要体现在模型的规模、复杂度和性能上。这里的 B 代表 Billion(十亿),即 1.5B 表示模型有 15亿 个参数,14B 表示模型有 140亿 个参数。以下是两者的主要区别:


  1. 模型规模

  • 1.5B:较小的模型,参数较少,结构相对简单。
  • 14B:较大的模型,参数更多,结构更复杂。

  1. 模型复杂度

  • 1.5B
  • 参数较少,模型复杂度较低。
  • 训练和推理速度较快,对计算资源的需求较低。
  • 适合轻量级任务或资源受限的环境。
  • 14B
  • 参数更多,模型复杂度更高。
  • 能够捕捉更复杂的模式和特征,表现通常更好。
  • 需要更多的计算资源和时间进行训练和推理。

  1. 性能

  • 1.5B
  • 在简单任务或数据量较少的场景下表现良好。
  • 可能在复杂任务(如自然语言理解、生成任务)上表现有限。
  • 14B
  • 在复杂任务上表现更优,能够生成更准确、更连贯的结果。
  • 适合需要高精度和高性能的场景。

  1. 计算资源需求

  • 1.5B
  • 对硬件要求较低,可以在普通 GPU 或 CPU 上运行。
  • 适合部署在资源受限的设备(如移动设备、嵌入式设备)。
  • 14B
  • 需要高性能 GPU 或 TPU,以及更大的内存和存储空间。
  • 通常用于云端或高性能计算环境。

  1. 训练数据需求

  • 1.5B
  • 可以在较小的数据集上训练,但可能无法充分捕捉复杂模式。
  • 14B
  • 需要大量高质量数据进行训练,以避免过拟合并充分发挥其潜力。

  1. 应用场景

  • 1.5B
  • 适合轻量级应用,如聊天机器人、文本分类、简单问答等。
  • 14B
  • 适合复杂任务,如长文本生成、高级语言理解、多轮对话等。

选择 1.5B 还是 14B 取决于具体的任务需求、可用资源和性能要求。如果任务简单且资 源有限,1.5B 是更合适的选择;如果需要处理复杂任务且资源充足,14B 会提供更好的 性能。

选择了模型下载命令以后,打开一个终端,输入,然后执行。如下

image.png

随后出现success就表示下载成功了。

这个时候,你就可以已经可以在终端显示的 ">>>" 这个符号后面进行对话。如果你不小心关掉了终端,也可以使用

ollama run deepseek-r1:(你下载的模型参数尾号)

以下以 ollama run deepseek-r1:1.5b为例启动。

image.png

话又说回来,想玩的话有条件最好下载一个模型参数14Bdeepseek-r1模型玩,这个1.5B的偶尔像个弱智。你看下面的对话就知道他有多弱智。(不是每一次对话都那么弱智)

image.png

image.png

那么到现在为止!咱们已经在本地安装好了模型了!但是一直用命令行沟通,不舒服,不好玩。咱们再给他“穿个衣服”。

安装模型沟通可视化界面 chatboxai

Chatboxai是现在用户使用最多的ai可视化界面。

chatboxai.app/zh (客户端安装地址)

image.png

下载客户端,不要直接使用网页版的chatboxai。网页版的chatboxai目前为止是识别不到本地模型的。

往chatboxai里配置本地模型

下载完成以后,打开客户端,

第一步

点击设置

image.png

第二步

选择模型提供商和模型版本

image.png

image.png

image.png

第三步

开始玩吧!!!

image.png

虽然说本地ai不用担心“网络繁忙”的问题,不过最好还是去线上使用,本地这个毕竟只是R1模型,不如线上的聪明。DeepSeek官网地址。www.ai.cn

兄弟们直观感受下 本地的r1模型和线上的v3模型的差距 image.png

image.png