零成本旧手机改造成你的专属移动本地私人AI服务器

217 阅读6分钟

虽然现在AI发展也是非常快了,但是在实际的工作生活中,我们还是会遇到很多使用AI的限制,比如:

  • 需要付费token
  • 只有局域网无法访问AI
  • ......

本次主要分享一下如何在自己的手机上部署一套AI服务,让你不用再额外付费token以及依赖公网了。

更多旧手机DIY的可以查看下方历史分享: juejin.cn/post/745981…

juejin.cn/post/746704…

juejin.cn/post/759214…

juejin.cn/post/747230…

优点

  • 具备主流大模型的能力

由于是使用主流大模型的开源版本进行搭建,所以能力和大模型一致,强弱仅仅取决于你使用的模型数据量版本

  • 完全免费,不用担心Token

本地搭建,不存在任何token付费问题

  • 无网也能使用

使用开源模型本地离线搭建服务,只要设备在就可以使用,完全不担心是否有网络。

  • 数据安全

使用本地搭建可以避免数据泄露。

安装Termux

看过我之前文章的都知道,这个是手机改造中的老演员了。

Termux下载

termux下载:

github.com/termux/term…

注:由于众所周知的原因,如果你无法访问上述下载链接,文末也提供了一个个人的高速下载地址,按需取用。

安装完成后,建议执行下方命令更新一下软件包:

pkg update && pkg upgrade

电脑控制(可选)

如果不想直接在手机上使用Termux手动输入命令操作这么麻烦,可以按照我之前文章分享的一样,安装openssh服务或者手机投屏到电脑上,直接由电脑控制操作,这样能够大大提高我们的操作小路,毕竟手机屏幕小、命令操作不够丝滑不是。

安装Ollama

这个工具之前我分享如何在自己电脑上部署大模型服务时也用到过,也是老演员了,这次只不过是将部署平台换到了Android手机上而已。

对电脑本地部署大模型服务有兴趣的,可以直接查看下方之前的分享内容: juejin.cn/post/746885…

使用下方命令直接安装ollama:

pkg install ollama -y

防被杀后台设置

手机系统默认会激进地清理后台进程。为了防止大模型运行到一半被系统闪退,请在 Termux 中运行:

termux-wake-lock

同时,还可以在手机设置中的电池管理中,将Termux应用设置为“无限制”或者“不进行电池优化”等防杀配置。

安装大模型

环境和工具都安装配置好之后,就可以安装我们的目标大模型了。

由于我目前使用的是我的老古董神机小米6进行部署的,它是6G+128G的配置,所以我这里优先选择的是阿里的千问大模型qwen2.5-coder:1.5b。

启动ollama服务

使用以下命令启动ollama服务:

ollama serve

启动后保持当前窗口运行,不要关闭当前的termux窗口。

安装qwen2.5-coder

在termux应用左侧向右滑动创建新的窗口,然后在新窗口中使用ollama安装大模型服务,使用下方命令进行安装:

ollama run qwen2.5-coder:1.5b

由于我们使用的是run命令安装,安装成功后会自动启动会话窗口。

在窗口中就可以直接进行会话测试了:

局域网中使用

安装测试好后,其实你手机就已经具备大模型能力了。

但是我们手机使用确实不是很方便,同时也需要解决局域网内其他设备的使用问题,所以还需要进一步配置。

允许外部网络访问

回到运行ollama serve 的 Termux 窗口,按 Ctrl + C 关闭服务,并使用以下命令重新启动:

// 使用0.0.0.0启动服务,这样局域网就可以访问了
export OLLAMA_HOST=0.0.0.0
ollama serve

获取手机IP

获取手机ip的方式是非常多的。

方式一:

手机wifi详情直接查看ip

方式二: 使用adb命令查看:

adb shell
ifconfig

方式三: 直接在termux中使用下方命令查看:

ifconfig wlan0

电脑连接手机AI

这一步其实就和你使用其他ai的api服务是一模一样的了,这里不做详细说明,直接上我们的老演员cherryStudio进行配置演示。

然后在会话窗口直接选择配置好的模型服务直接会话即可。

另外,如果你使用的是其他ide比如vscode,也可以参考下方这个continue的配置方式,让你的ide也具备直接修改代码的能力。

{
  "model": "qwen2.5-coder:1.5b",
  "provider": "ollama",
  "apiBase": "http://192.168.1.54:11434"
}

更多问题

这里可能有些电脑默认和手机不在一个网络下,这种情况其实有非常多的解决办法,具体的可以参考我之前的分享内容:

juejin.cn/post/756905…

限制

在手机上安装使用大模型能力虽然是可行的,但是也是存在一定的限制的,比如:

  • 模型大小限制

由于手机内存和存储空间有限,在选择模型时可以根据模型大小和手机空间进行匹配选择。

  • 计算能力限制

不同类型和大小的模型,在运行时需要的计算能力也是不同的,所以也需要结合手机情况进行匹配选择。

当然你也可以同时安装多个模型进行使用,只要你手机能够支持就行,如何安装使用多个模型,可以看后文扩展介绍。

扩展

多模型能力

如果你的手机性能啥的都还是比较可以,而且涉及到不同的使用ai使用场景,建议可以选择多个功能类型不同的模型进行安装动态切换使用。

安装模型:

// 比如 ollama run deepseek-r1:1.5b
ollama run 模型id

// 如果不想安装后直接启动可以使用
ollama pull 模型id

这样安装完后每次run不同的模型,你就能够动态支持不同模型能力了。

常用命令

安装获取模型:

ollama run 模型id
// 或者
ollama pull 模型id

查看模型列表:

ollama list

删除模型:

ollama rm 模型id

软件获取

本文首发于个人微信公众号 [一念杂记] ,点击下方连接获取软件免费高速下载链接: mp.weixin.qq.com/s/Dly9s0_lC…

最后

你学会了吗?如果你也遇到了费用问题、网路限制问题等,也赶紧拿出你吃灰的旧手机或者电脑,给自己搭建一个专属的大模型服务吧~