镜头一对就报出「这是苹果」:用 App Inventor 做个水果智能识别 App
摘要:用内置的「即教即识」组件,在手机上给苹果、香蕉、橙子各拍 20 张样本就教会了,镜头对准水果实时显示名称、热量并语音播报。不用电脑、不用外网、完全离线,五步搭完。
想做一个「拍一下就知道是什么水果」的 App,以前要先去电脑上训练模型:打开国外网站、拍照上传、导出模型文件、再导入拓展,光是网站打不开就劝退了一半人。
现在不用了。App Inventor 2 中文网内置了「即教即识」组件,在手机上对着水果拍几十张样本,当场就教会。
做完的效果是这样的:镜头对准苹果,屏幕显示「苹果 96%」和「约 52 千卡 / 100 克」,手机说一句「这是苹果」;换成香蕉,结果马上跟着变;什么都不放,就提示「请把水果放到镜头前」。
▲ 镜头对准苹果,实时显示名称、置信度和热量(示意图)
它为什么不用训练
即教即识的原理很好懂:每张画面先变成一串「特征数字」(颜色、形状、纹理),识别时在你教过的样本里找最像的那一张。
所以加一张样本立刻生效,没有「点训练、等几分钟」这一步。全部在手机上算,不联网。
▲ 即教即识:在教过的样本里找最像的(示意图)
准备
界面很简单:一个垂直布局当预览窗口(宽充满、高 300 像素),两个标签显示结果和介绍,四个按钮「教苹果」「教香蕉」「教橙子」「教背景」,一个「保存模型」按钮。再拖一个即教即识(机器学习套件分类)和一个文本朗读器。
记得把即教即识的「预览容器」属性选成那个垂直布局,画面就显示在里面。
第一步、第二步:打开摄像头,教会四个类别
屏幕初始化时打开摄像头;每个按钮从摄像头连续拍 20 张样本,3 秒左右拍完:
▲ 第一步、第二步:打开摄像头,四个按钮各拍 20 张样本
教的窍门:点「教苹果」后把苹果放在镜头前慢慢转动、拉远拉近,让 20 张各不相同。最后点「教背景」,镜头对着空桌面拍 20 张。
▲ 点「教苹果」,转动苹果连拍 20 张样本(示意图)
为什么一定要教「背景」?因为它只会在教过的类别里挑最像的。不教背景,镜头对着空桌子它也会硬说是某种水果。
第三步、第四步:实时识别,换了水果才播报
「实时分类」事件每秒最多触发 5 次。语音可不能每次都念,否则手机会「苹果苹果苹果」念个不停。办法是用一个变量记住上次念的水果,换了水果才念:
▲ 第三步、第四步:实时识别,换了水果才播报
类别为空表示「拿不准」:最像的那类置信度也不到 0.6,比如镜头前放了个没教过的梨。这时宁可说不知道,也不乱认。
第五步:保存模型,下次打开直接能认
教好的样本关掉 App 就没了。点「保存模型」存成文件,下次启动自动载入(这段的初始化替换第一步那个):
▲ 第五步:保存模型,启动时自动载入
模型只存特征数字、不存照片,80 张样本约 650KB,存在 App 自己的目录里,不需要存储权限。
想让别人装上就能用?把模型文件作为素材上传到项目,加载时写素材名,编译出的 APK 一打开就会认。注意文件名要用字母和数字(如 fruit.json):App Inventor 的素材名不支持中文,中文名上传后会被改掉,加载时就对不上了。电脑上也可以用本站的「即教即识训练台」,把一批水果照片按类别拖进去,导出模型。
常见问题
| 现象 | 解决 |
|---|---|
| 空桌子也说是苹果 | 没教「背景」,或背景样本太少 |
| 苹果和橙子总认混 | 多拍几张不同角度;拍苹果时别让橙子也入镜 |
| 一直「请把水果放到镜头前」 | 靠近一点、光线亮一点,或把「最低置信度」调到 0.5 |
| 语音一直重复念 | 漏了「上次水果」的判断 |
还能怎么玩
- 多认几种:加按钮、加字典条目就行;几十种以上、要求很高准确率时,换成电脑训练的模型配合「自定义图像分类」组件。
- 自助称重台:接蓝牙电子秤读重量,按识别出的水果查单价算钱。
- 成熟度检测:同一种水果分「青」「熟」「过熟」三类来教。
需要安卓 7.0 以上,即教即识暂不支持鸿蒙。完整教程(含排错表)见 fun123.cn 文档「原创内容 → 水果智能识别 App」。
本文由 App Inventor 2 中文网(fun123.cn)发布。完整教程与 .aia 源码见 fun123.cn 文档「原创内容 → 水果智能识别 App」。