DeepSeek本地部署和远程访问

107 阅读4分钟

如果不想部署本地,又想使用满血版DeepSeek-R1请关注我的上一遍文章《满血版DeepSeek-R1使用教程,不用部署本地》(来自简书)

在使用DeepSeek和 AI 对话时选择深度思考时,经常会出现类似下面这样「服务器繁忙」的情况

目前网络上有很多教程都是关于deepseek的使用,总结起来就三点

1、使用DeepSeek官方链接

2、本地部署

3、使用第三方

官方链接上面说到了,目前DeepSeek正处于流量的巅峰时期,经常出现服务器繁忙,这点让人很焦虑(其实也可以搞个浏览器插件,使用机器人在检测到服务器繁忙后自动点击重试);

这里我们介绍本地部署

Ollama,一款开源的大语言模型本地部署框架,主要用来在我们本地电脑上部署和运行大语言模型

首先我们需要下载ollama:ollama.com/download

Ollama安装成功后在控制台输入命令汗ollama -v,如果显示版本就说明安装成功了

接下来我们需要下载DeepSeek-R1模型

首选我们进入Ollama官网:ollama.com/search

进入Models中找到DeepSeek-R1

这里我们需要知道我们电脑适合安装多大【参数规模】和【模型文件大小】的模型

如果我们第一次接触还不知道可以像我一样问问DeepSeed(这里去deepseed官网直接问,选择联网搜索就可以了)

我的电脑是iMac,配置Intel Core i5 内存: 16GB RAM,我们可以问问它适合配置多大的模型参数

虽然DeepSeek告诉我电脑适合下载1.5b的,但是我觉得我的mac16G应该也可以使用7b,这里就做个尝试;选中7B后要复制右上角的命令

进入控制台

刚才复制的命令:ollama run deepseek-r1:7b

等待下载完成

其实进入Ollama查找DeepSeek-R1就是为了获取ollama run deepseek-r1:7b命令,我们也可以不同去Ollama查找DeepSeek-R1,直接去命令行输入ollama run deepseek-r1:XXXb,其中XXX就代表参数模型的规模1.5、7、8、、、

Chatbox的使用:

接下来我们需要一个客户端来承载我们本地部署的模型,实现对话交互;当然这里也可以直接在控制台进行对话,那样交互效果肯定不是很好

下载:chatboxai.app/zh

安装完成后打开app,安装步骤操作

这里模型提供方选择Ollama API

模型选择Deepseek-r1

这里就完成了设置,可以去对话框对话了

远程访问

下载并运行 llama3.2 模型

ollama run llama3.2

下载并运行 deepseek-r1:7b 模型

ollama run deepseek-r1:7b

你需要确保远程 Ollama 服务正确配置并暴露在当前网络中,以便 Chatbox 可以访问。默认情况下,需要对远程 Ollama 服务进行简单的配置

如何配置远程 Ollama 服务?

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:

OLLAMA_HOST=0.0.0.0

OLLAMA_ORIGINS=*

在 MacOS 上配置

打开命令行终端,输入以下命令:

launchctl setenv OLLAMA_HOST "0.0.0.0"

launchctl setenv OLLAMA_ORIGINS "*"

重启 Ollama 应用,使配置生效。

在 Windows 上配置

在 Windows 上,Ollama 会继承你的用户和系统环境变量。

通过任务栏退出 Ollama。

打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。

点击编辑你账户的环境变量。

为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 ***** 。

点击确定/应用以保存设置。

从 Windows 开始菜单启动 Ollama 应用程序。

在 Linux 上配置

如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置环境变量:

调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。

在 [Service] 部分下为每个环境变量添加一行 Environment:

[Service]

Environment="OLLAMA_HOST=0.0.0.0"

Environment="OLLAMA_ORIGINS=*"

保存并退出。

重新加载 systemd 并重启 Ollama:

systemctl daemon-reload

systemctl restart ollama

服务 IP 地址

配置后,Ollama 服务将能在当前网络(如家庭 Wifi)中提供服务。你可以使用其他设备上的 Chatbox 客户端连接到此服务。

Ollama 服务的 IP 地址是你电脑在当前网络中的地址,通常形式如下:

192.168.XX.XX

在 Chatbox 中,将 API Host 设置为:

192.168.XX.XX:11434

注意事项

可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境。

为避免安全风险,请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环境。

我目前验证了同一局域网不同设备间的连接,不同网络间的设备连接需要小伙伴验证下,欢迎反馈结果