我用手机本地模型做了个 App,AI 成本直接归 0

0 阅读4分钟

刚刚发布了一个能运行在手机上的模型,MiniCPM-V4.6。

我体验后,意识到本地小模型已经不只是玩具了,不信你看我马上用它做了一个有商业价值的 App。

本地小模型其实有很多大模型没有的优点:不联网,安全隐私;本地运行,响应快;设备算力成本 0。

像车载 AI、同声传译、离线翻译、隐私保密等场景,就十分适用。

所以我做的这个 App,是一个照片隐私检查工具。

它可以在照片发出前,先提示里面有没有可能泄露隐私的信息,再让用户选择要不要打码。

本地模型真正适合的场景

MiniCPM-V4.6 是一个 1.3B 参数模型。

这个体量不用拿去和云端大模型硬拼长文写作、复杂推理。更合适的用法,是把它放进边界清楚、结果明确的小场景里。

照片隐私扫描刚好符合这个条件。

它需要模型看懂图片大概内容,找到风险位置,快速给出提醒。这里不需要一个全能助手,用户只关心一件事:这张图发出去前安不安全。

更重要的是,照片本身就可能包含证件、银行卡、合同、车牌、聊天截图。让这些图片再上传到云端处理,多少有点别扭。

所以这个场景很适合本地跑。

我直接改了一个隐私扫描 App

为了快速验证效果,我直接在官方测试 App 的基础上改了一个照片隐私扫描功能。

首页很简单,核心入口就是隐私扫描。

图片

点进去之后,可以拍照,也可以从相册里选择照片。

图片

选中图片后,手机本地的 MiniCPM-V4.6 会直接分析图片内容,找出可能存在风险的信息,并把对应位置框出来。

用户可以看到每个风险点的说明,也可以手动选择哪些内容需要打码。

图片

这张银行卡测试图里,模型把关键隐私信息都识别出来了,风险评估也比较准确。

确认需要处理的内容后,点击“一键脱敏”,就能得到一张已经打码的照片。

图片

这一整套流程都在手机本地完成。

没有上传图片,没有云端推理,也没有 token 消耗。

小模型不是万能,但它有自己的胜场

MiniCPM-V4.6 的图片理解能力确实比我预期好。

我又拿了几张生活场景图测试。

流浪猫吃粮实拍图:

图片

奶茶实拍图:

图片

抽象直播间截图:

图片

这些图片内容,它基本都能抓到重点。

虽然分析不会像大模型那样细腻,但对端侧应用来说,已经够用了。

我还试了一道中等难度的数学推理题,它也能答对。

图片

但它也不是各方面都能打。

比如创作能力就明显不行,行文逻辑容易混乱,语义会反复,段落还会套娃。

图片

测完这些,我对这类小模型的边界更清楚了:

不要让它去硬拼通用写作和复杂任务。把范围收窄一点,放到对隐私和成本敏感的场景里,它会更容易出效果。

照片隐私扫描、车载 AI 实时反馈、离线翻译、现场识别、设备端助手,这些地方才是它更容易跑出来的方向。

想体验的话可以直接装

如果你也想体验 MiniCPM-V4.6,iOS 可以通过 TestFlight 安装测试 App:

testflight.apple.com/join/yNKyFZ…

图片

安卓和鸿蒙可以到 GitHub 的 MiniCPM-V-Apps 仓库下载 APK 安装包。

图片

成本归 0 以后,很多小场景会重新变得值得做

本地小参数模型可能做不了最强的通用助手,但它会打开另一类产品机会。

它不靠“什么都能聊”取胜,靠的是低成本、低延迟、离线可用、数据不出设备。

这些优势放到通用聊天里不一定明显,但放到垂直场景里,就可能直接决定一个产品能不能成立。

如果你觉得通用 AI 已经被大厂卷完了,不妨反过来看端侧和垂直场景。

有些需求不需要最强模型,只需要一个足够便宜、足够快、足够安全,并且刚好能解决问题的模型。