刚刚发布了一个能运行在手机上的模型,MiniCPM-V4.6。
我体验后,意识到本地小模型已经不只是玩具了,不信你看我马上用它做了一个有商业价值的 App。
本地小模型其实有很多大模型没有的优点:不联网,安全隐私;本地运行,响应快;设备算力成本 0。
像车载 AI、同声传译、离线翻译、隐私保密等场景,就十分适用。
所以我做的这个 App,是一个照片隐私检查工具。
它可以在照片发出前,先提示里面有没有可能泄露隐私的信息,再让用户选择要不要打码。
本地模型真正适合的场景
MiniCPM-V4.6 是一个 1.3B 参数模型。
这个体量不用拿去和云端大模型硬拼长文写作、复杂推理。更合适的用法,是把它放进边界清楚、结果明确的小场景里。
照片隐私扫描刚好符合这个条件。
它需要模型看懂图片大概内容,找到风险位置,快速给出提醒。这里不需要一个全能助手,用户只关心一件事:这张图发出去前安不安全。
更重要的是,照片本身就可能包含证件、银行卡、合同、车牌、聊天截图。让这些图片再上传到云端处理,多少有点别扭。
所以这个场景很适合本地跑。
我直接改了一个隐私扫描 App
为了快速验证效果,我直接在官方测试 App 的基础上改了一个照片隐私扫描功能。
首页很简单,核心入口就是隐私扫描。
点进去之后,可以拍照,也可以从相册里选择照片。
选中图片后,手机本地的 MiniCPM-V4.6 会直接分析图片内容,找出可能存在风险的信息,并把对应位置框出来。
用户可以看到每个风险点的说明,也可以手动选择哪些内容需要打码。
这张银行卡测试图里,模型把关键隐私信息都识别出来了,风险评估也比较准确。
确认需要处理的内容后,点击“一键脱敏”,就能得到一张已经打码的照片。
这一整套流程都在手机本地完成。
没有上传图片,没有云端推理,也没有 token 消耗。
小模型不是万能,但它有自己的胜场
MiniCPM-V4.6 的图片理解能力确实比我预期好。
我又拿了几张生活场景图测试。
流浪猫吃粮实拍图:
奶茶实拍图:
抽象直播间截图:
这些图片内容,它基本都能抓到重点。
虽然分析不会像大模型那样细腻,但对端侧应用来说,已经够用了。
我还试了一道中等难度的数学推理题,它也能答对。
但它也不是各方面都能打。
比如创作能力就明显不行,行文逻辑容易混乱,语义会反复,段落还会套娃。
测完这些,我对这类小模型的边界更清楚了:
不要让它去硬拼通用写作和复杂任务。把范围收窄一点,放到对隐私和成本敏感的场景里,它会更容易出效果。
照片隐私扫描、车载 AI 实时反馈、离线翻译、现场识别、设备端助手,这些地方才是它更容易跑出来的方向。
想体验的话可以直接装
如果你也想体验 MiniCPM-V4.6,iOS 可以通过 TestFlight 安装测试 App:
testflight.apple.com/join/yNKyFZ…
安卓和鸿蒙可以到 GitHub 的 MiniCPM-V-Apps 仓库下载 APK 安装包。
成本归 0 以后,很多小场景会重新变得值得做
本地小参数模型可能做不了最强的通用助手,但它会打开另一类产品机会。
它不靠“什么都能聊”取胜,靠的是低成本、低延迟、离线可用、数据不出设备。
这些优势放到通用聊天里不一定明显,但放到垂直场景里,就可能直接决定一个产品能不能成立。
如果你觉得通用 AI 已经被大厂卷完了,不妨反过来看端侧和垂直场景。
有些需求不需要最强模型,只需要一个足够便宜、足够快、足够安全,并且刚好能解决问题的模型。