判错规则不进 APK:174 条坐标点击怎么变成标注
结论先给:设备上只做追加写,不做判定。
一个靠坐标点屏幕的 agent,最缺的不是更好的点法,是「这一次到底点空了没有」这个标签。我们把这个判定从 APK 里彻底挪了出去:手机只负责把每次坐标点击原样落盘,判断哪一下是 miss 的规则放在 tools/grounding_pair.py 里,在电脑上对已有数据反复重跑。理由不是洁癖,是这个判定天然是个会错的启发式——它必须在不发版的前提下被修改。
代码在 app/src/main/java/net/kuafuai/andee/screen/GroundingLog.kt,384 行。之前从没对外写过。
一、为什么不能在设备上判
先说两个被否掉的判据,都是实测失效的。
「点完之后屏幕没变化 = 点空了」。 这是第一直觉,也是最先死的。Android 上内容变化事件一直在发,通知横幅、状态栏时间、输入框光标、广告位轮播,全都在动。屏幕「有变化」这件事的信息量接近于零,反过来「没变化」也抓不到真 miss——很多按钮点下去要等网络回来才有反应。
「让模型自己看截图判断刚才点对没有」。 这个更糟。模型正是刚刚那个很自信地指错的东西。让它批自己的卷子,结果只会是它继续认为自己没错。
所以标签必须来自设备,而判定必须来自能改的地方。
设备这边能给出的一部分标签是确定性的:有一个防死循环的守卫,只统计坐标点击(按元素编号点的那些被明确排除在外),同一个格子反复点超过次数就拒绝执行。一个格子被它拒绝过,就意味着这个格子里每一次坐标点击都点空了。 这是白送的强标签——它原本为了别的目的已经算出来了,只是没写下来,跟着异常一起飘走了。
但注意这个标签的边界:它只覆盖「死循环」这一种失败。剩下那些点了一次、系统什么都没说、任务继续往下走的 miss,设备是不知道的。那部分只能靠离线配对——把前后两张截图、两次点击的时间关系、屏幕是否变化放在一起看,这件事需要试、需要调阈值、需要看了结果再改规则。这正是它不能待在 APK 里的原因。
二、落盘的数据长什么样
一次坐标点击写一条 JSONL:
{"v":1,"seq":812,"ts":1761...,"ev":"tap","mode":"coord",
"nx":512,"ny":744,"px":1080,"py":1568,
"screen_w":1080,"screen_h":2400,
"hold":false,"refused":false,"pkg":"com.tencent.mm"}
几个字段是有具体来路的,不是随手加的:
nx/ny和px/py都存。 前者是模型给的 0-1000 归一化值,后者是设备换算出来的像素。两个都留着,是为了把「模型算错」和「设备换算错」分开——这是两种完全不同的 bug,只存一个就永远分不清。screen_w/h每条都写,不放在会话头里。 会话记录在服务启动时写一次,中途转屏它就成了谎话。任何在离线阶段做 px ↔ norm 换算的代码都要用这一下点击发生时的尺寸。refused。 就是上面说的那个白送标签。mode区分 coord 和 eid。 元素编号点的那些不是训练样本——像素是设备自己算的,混进去会污染集合——但它必须被记下来,离线配对要知道屏幕在哪一刻变了。
截图也存,存的就是模型看到的那一张。noteShot 接收的是已经编码好的 PNG 字节,不重新截、不重新压——重来一次等于把每张图的开销翻倍,而这张图本来就为了给模型看已经编过一次了。返回一个 shot_id 让实时响应能带上,离线时按 id 把图和点击对上。
三、三条不能破的约束
绝不阻塞工具调用。 一个慢 handler 在模型那边读起来是「还在干活」,所以调用线程只做一件事:在内存里拼一个 JSONObject 出来。写盘和那张约 400KB 的 PNG 全走一个自己的单线程 daemon。这个线程刻意不是服务里那个 ScreenTools 执行器——那个是串行执行用户顶栏按钮的,400KB 写排在按钮前面,用户看得见的是卡。而且那个执行器是服务的私有字段,GroundingLog 拿不到它的句柄。
目录必须分开。 日志写在 grounding/ 下,不能写进 captures/。后者装的是用户手动保存的截图,没有清理策略;轮转和「删最早的」一旦伸进去,删的是用户自己的东西。
上限是硬的。 PNG 合计 512MB,超了按最后修改时间从最早的删;JSONL 单文件 16MB 转一轮,保留 4 代。listFiles() 扫几千个文件慢到能感觉到,所以字节数缓存在内存里,每 50 次写才重新从盘上算一遍。
四、代价:一个把服务搞挂的线程
这里有一个真事故,值得单独说,因为它是那种「只会在一种设备上、只在一种操作下发生」的 bug。
这个模块是 object(单例),它比启动它的那个服务活得久。服务销毁时调 shutdown(),线程池被终止。问题出在荣耀 MagicOS 上:把无障碍服务关掉再打开,会在同一个进程里销毁再重连。 于是第二次 init 撞上一个已经终止的线程池,对已终止的池子 execute 会抛 RejectedExecutionException——而这个调用发生在主线程的 onServiceConnected 里。
结果是最坏的那种:服务再也起不来。而这个动作,恰恰是自检页自己推荐的那条修复路径(「关掉再打开试试」)。
修法是把 writer 做成可重建的:init 是唯一允许新建池子的地方,post、noteShot 遇到已关闭的池子就安静地丢写、留一行 logcat,不复活。一个能在崩溃后自我重建的 writer,把这颗必炸的雷变成了一条警告。
五、这里现在不行
- 默认关闭。 要存截图,所以开关默认 off,只有在设置里打开
grounding才记。翻转开关在下一次服务启动时生效,和其他偏好项一样。 - 它看不到点击精度。 屏幕上的落点圆环画的就是交给系统的那同一组 x、y,整条链路没有第二次测量,因此没有误差项可标定。它能看见并学到的只有模型选了哪个点,不校正设备点得准不准。
- 判定链路是人工的。 手机永远不知道自己哪一下点空了,它只攒证据。要变成改进,得有人把日志导出来、跑脚本、看配对。没有自动回传。
一句话收尾:这条链路上最容易做错的选择,是把聪明的部分放错位置。判定要不要写进设备,不取决于它有多准,取决于它改起来有多贵。一个天天在变的启发式,放在一个只能靠发版更新的地方,就等于永远停在第一版。