新年伊始,国内大模型公司“深度求索”开发的 DeepSeek-V3 振动全球 AI 圈,为何他能在全球 AI 领域掀起巨大波澜,并能登顶苹果中国区和美国地区应用商店免费 APP 下载排行榜,并且在美区下载榜超越了 ChatGPT,带着这些疑问,CC 来帮大家整理下前因后果,并且带大家在 mac 上部署下 DeepSeek-r1,实现下本地大模型自由。
简单了解 AI 大模型
首先我们先来简单了解下什是 AI 大模型,所谓 AI 大模型,通常指的是拥有大量参数、复杂结构,并能够处理庞大数据集的人工智能模型。这些模型通过深度神经网络、尤其是基于 Transformer 架构模型,学习并捕捉数据中的复杂模型和关系。核心特点:
DeepSeek 出圈的原因
-
使用的训练成本很低,大致相当于主流技术的十分之一,却实现了或者大致达到了 GPT-4 和 GPT-4o 水平的能力。通过对底层软件和调度的优化,实现算法和底层软硬件的协同优化,降低了对硬件成本的需求,这是一个很好的优化思路,在当前训练成本高居不下和硬件资源紧缺的情况下,提供了很好的破局思路。
-
国外很多大模型都不开源,并且没有公开技术细节,价格又比较高,相比之下 DeepSeek-R1 即开源有便宜,并且还公开了部分技术细节和论文,这样才让大家广泛使用。从某种意义上推动了大模型的普惠发展,也给国内大模型的进一步发展提供了巨大的信心。
-
从技术创新的角度来讲,DeepSeek 也起到了很好的榜样作用,公司团队年轻、不拘于当前死板的技术框架,积极探索降低成本的方法,勇于创新,为国内人工智能领域树立了很好的榜样作用。
本地部署 DeepSeek-r1
接下来进入正题,我们在 mac os 环境下部署一个 DeepSeek-r1,来体验一把。
1、准备工作
安装 docker
Docker 官方网站是一种开源的容器化平台,旨在简化应用程序的开发、部署和运行过程。他提供了一种轻量级、可移植和自包含的容器化环境、使得开发人员能够在不同的计算机上以一致性方式构建、打包和分发应用。
-
在该页面(docs.docker.com/desktop/set… intel 的处理器。点击链接下载下载成功是 dmg 文件, 直接拖拽安装。
- 也可以直接使用 brew 安装
brew install --cast docker
配置国内镜像源 这里就不赘述,大家可以自行搜索解决,配置自己的镜像源。
- 验证 在终端输入以下命令验证环境
docker --version
docker run hello-world
如下即可
安装 Ollama
Ollama 是一个轻量级的 AI 推理框架,支持本地运行 LLM(大型语言模型)。官方网站(ollama.com)
> brew install --cask ollama
> ollama --version
Warning: could not connect to a running Ollama instance
Warning: client version is 0.5.7
正确输出版本号即代表安装成功
2、下载 DeepSeek-R1 模型
下载地址: ollama.ai/library/dee…, 可以访问该地址查看选择对应的模型文件和运行命令。
这里 1.5B、7B、70B、671B 参数参数说明: B = Billion(十亿参数):表示模型的参数量级,直接影响计算复杂度和显存占用。
-
DeepSeek 1.5B:15 亿参数(小型模型,适合轻量级任务)
-
DeepSeek 7B:70 亿参数(主流规模,平衡性能与资源)
-
DeepSeek 70B:700 亿参数(高性能需求场景)
-
DeepSeek 671B:6710 亿参数(超大规模,对标 PaLM/GPT-4)
可以根据自己的机器配置选择不同参数的模型。
选择好对应的模型参数级别就可以使用 ollama 命令直接拉取对应的模型文件了。
ollama pull deepseek-r1:7b
3、运行
ollama list
NAME ID SIZE MODIFIED
deepseek-r1:7b 0a8c26691023 4.7 GB About
an hour ago
ollama run deepseek-r1:7b
Send a message (/? for help)
输入一个问题测试
看回答看起来还是挺像那么回事的。
4、部署Open-webui
通过ollama运行是通过终端命令行来交互的,我们可以通过部署Open-Webui来通过网页来提问交互。
docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
在浏览器访问http://127.0.0.1:30000 就可以访问网页了
页面如下。
至此,我们就在本地跑起来了一个简单的大模型,后续可以结合实际情况可以部署不同参数或者特定领域的模型来实现自己的需求,或者可以打造本地的知识库,探索更多的玩法。
本文使用 文章同步助手 同步