虽然现在AI发展也是非常快了,但是在实际的工作生活中,我们还是会遇到很多使用AI的限制,比如:
- 需要付费token
- 只有局域网无法访问AI
- ......
本次主要分享一下如何在自己的手机上部署一套AI服务,让你不用再额外付费token以及依赖公网了。
更多旧手机DIY的可以查看下方历史分享: juejin.cn/post/745981…
优点
- 具备主流大模型的能力
由于是使用主流大模型的开源版本进行搭建,所以能力和大模型一致,强弱仅仅取决于你使用的模型数据量版本
- 完全免费,不用担心Token
本地搭建,不存在任何token付费问题
- 无网也能使用
使用开源模型本地离线搭建服务,只要设备在就可以使用,完全不担心是否有网络。
- 数据安全
使用本地搭建可以避免数据泄露。
安装Termux
看过我之前文章的都知道,这个是手机改造中的老演员了。
Termux下载
termux下载:
注:由于众所周知的原因,如果你无法访问上述下载链接,文末也提供了一个个人的高速下载地址,按需取用。
安装完成后,建议执行下方命令更新一下软件包:
pkg update && pkg upgrade
电脑控制(可选)
如果不想直接在手机上使用Termux手动输入命令操作这么麻烦,可以按照我之前文章分享的一样,安装openssh服务或者手机投屏到电脑上,直接由电脑控制操作,这样能够大大提高我们的操作小路,毕竟手机屏幕小、命令操作不够丝滑不是。
安装Ollama
这个工具之前我分享如何在自己电脑上部署大模型服务时也用到过,也是老演员了,这次只不过是将部署平台换到了Android手机上而已。
对电脑本地部署大模型服务有兴趣的,可以直接查看下方之前的分享内容: juejin.cn/post/746885…
使用下方命令直接安装ollama:
pkg install ollama -y
防被杀后台设置
手机系统默认会激进地清理后台进程。为了防止大模型运行到一半被系统闪退,请在 Termux 中运行:
termux-wake-lock
同时,还可以在手机设置中的电池管理中,将Termux应用设置为“无限制”或者“不进行电池优化”等防杀配置。
安装大模型
环境和工具都安装配置好之后,就可以安装我们的目标大模型了。
由于我目前使用的是我的老古董神机小米6进行部署的,它是6G+128G的配置,所以我这里优先选择的是阿里的千问大模型qwen2.5-coder:1.5b。
启动ollama服务
使用以下命令启动ollama服务:
ollama serve
启动后保持当前窗口运行,不要关闭当前的termux窗口。
安装qwen2.5-coder
在termux应用左侧向右滑动创建新的窗口,然后在新窗口中使用ollama安装大模型服务,使用下方命令进行安装:
ollama run qwen2.5-coder:1.5b
由于我们使用的是run命令安装,安装成功后会自动启动会话窗口。
在窗口中就可以直接进行会话测试了:
局域网中使用
安装测试好后,其实你手机就已经具备大模型能力了。
但是我们手机使用确实不是很方便,同时也需要解决局域网内其他设备的使用问题,所以还需要进一步配置。
允许外部网络访问
回到运行ollama serve 的 Termux 窗口,按 Ctrl + C 关闭服务,并使用以下命令重新启动:
// 使用0.0.0.0启动服务,这样局域网就可以访问了
export OLLAMA_HOST=0.0.0.0
ollama serve
获取手机IP
获取手机ip的方式是非常多的。
方式一:
手机wifi详情直接查看ip
方式二: 使用adb命令查看:
adb shell
ifconfig
方式三: 直接在termux中使用下方命令查看:
ifconfig wlan0
电脑连接手机AI
这一步其实就和你使用其他ai的api服务是一模一样的了,这里不做详细说明,直接上我们的老演员cherryStudio进行配置演示。
然后在会话窗口直接选择配置好的模型服务直接会话即可。
另外,如果你使用的是其他ide比如vscode,也可以参考下方这个continue的配置方式,让你的ide也具备直接修改代码的能力。
{
"model": "qwen2.5-coder:1.5b",
"provider": "ollama",
"apiBase": "http://192.168.1.54:11434"
}
更多问题
这里可能有些电脑默认和手机不在一个网络下,这种情况其实有非常多的解决办法,具体的可以参考我之前的分享内容:
限制
在手机上安装使用大模型能力虽然是可行的,但是也是存在一定的限制的,比如:
- 模型大小限制
由于手机内存和存储空间有限,在选择模型时可以根据模型大小和手机空间进行匹配选择。
- 计算能力限制
不同类型和大小的模型,在运行时需要的计算能力也是不同的,所以也需要结合手机情况进行匹配选择。
当然你也可以同时安装多个模型进行使用,只要你手机能够支持就行,如何安装使用多个模型,可以看后文扩展介绍。
扩展
多模型能力
如果你的手机性能啥的都还是比较可以,而且涉及到不同的使用ai使用场景,建议可以选择多个功能类型不同的模型进行安装动态切换使用。
安装模型:
// 比如 ollama run deepseek-r1:1.5b
ollama run 模型id
// 如果不想安装后直接启动可以使用
ollama pull 模型id
这样安装完后每次run不同的模型,你就能够动态支持不同模型能力了。
常用命令
安装获取模型:
ollama run 模型id
// 或者
ollama pull 模型id
查看模型列表:
ollama list
删除模型:
ollama rm 模型id
软件获取
本文首发于个人微信公众号 [一念杂记] ,点击下方连接获取软件免费高速下载链接: mp.weixin.qq.com/s/Dly9s0_lC…
最后
你学会了吗?如果你也遇到了费用问题、网路限制问题等,也赶紧拿出你吃灰的旧手机或者电脑,给自己搭建一个专属的大模型服务吧~