最近独立开发了一个 Android 项目,叫 MobileAgent。
目前已经把 v0.1.0 开源到 GitHub,并录制了一段 76 秒的真实 Android 设备执行视频。
GitHub:github.com/beli-eve/Mo…
先说明一下:MobileAgent 不是微信自动化脚本,而是一个 Android-native 通用 Agent Runtime 原型。
微信只是我用来验证 Agent 能否真正操作 Android App 的第一个场景。
一、项目想解决什么问题?
目前很多 AI Agent 运行在 PC、浏览器或者服务器环境中。
我想尝试另一种方向:
能否让 Android 手机也拥有类似 Claude Code / OpenClaw 的 Agent Runtime?
用户只需要输入自然语言目标,系统就能:
- 使用 LLM 理解任务。
- 生成结构化执行计划。
- 选择对应的 App Skill。
- 在真实 Android 设备上执行。
- 返回执行状态和结果。
目前项目架构大致是:
Natural Language → DeepSeek API Planner → AgentPlan → AgentRuntime → SkillRegistry → App Skills → Android UI Execution
现有代码已经包含 AgentRuntime、AgentSkill、SkillRegistry、任务执行事件、取消机制,以及多个 Android App Skill。
二、v0.1 已经实现了什么?
目前主要有四个 App Skill:
- WechatSkill:联系人搜索、别名解析、多消息队列、自动输入和发送。
- ChatGPTSkill:自动打开 ChatGPT App,输入并提交 Prompt。
- GeminiSkill:自动打开 Gemini App,输入并提交 Prompt。
- DeepSeekSkill:已实现基础 UI 操作,但发送按钮检测不稳定,目前标记为 Experimental。
需要特别区分:
DeepSeek API Planner 负责生成 AgentPlan;DeepSeek Android App Skill 负责操作手机上的 DeepSeek 应用。两者不是一个模块。
此外,目前 ChatGPT 和 Gemini Skill 主要负责提交 Prompt,并没有实现完整的回复读取和二次规划。
三、最有价值的一次踩坑:手势执行完成,不等于任务成功
早期微信自动化可以通过 Android AccessibilityService 的 "dispatchGesture()" 完成坐标点击。
一开始运行得不错,甚至可以连续给同一个联系人发送不同消息。
但后来发现了一个严重问题。
假设用户输入了一个微信里不存在的联系人:
系统打开微信,输入联系人姓名,但是没有找到结果。
原来的执行器仍然继续点击预设的搜索结果坐标。
由于没有进入聊天页面,后续本该输入到消息框的内容,反而被输入到了搜索框。
更严重的是,执行器最终可能报告任务成功。
问题本质是:
Gesture Completed ≠ Business Success
Android 告诉我们手势执行完成,并不意味着微信完成了我们预期的业务操作。
这实际上是整个 Agent Runtime 的可靠性问题,而不只是微信的一个小 Bug。
四、为什么最终选择截图 + OCR?
在当前测试环境中,微信的 Accessibility Tree 无法提供足够可靠的联系人搜索节点信息。
反复尝试语义节点匹配后,甚至出现真实联系人也被错误拦截的情况。
最终选择保留原有已验证的坐标点击执行器,但增加一层视觉观察。
目前微信搜索流程变成:
输入联系人 → Android 系统截图 → 本地 ML Kit OCR → 判断搜索结果 → 定位真实联系人行 → 手势点击 → 再次确认聊天页面 → 输入消息
这套方案有几个关键点。
首先,截图来自 Android 系统能力,不依赖微信向外提供联系人接口。
其次,OCR 不只是搜索目标文字,还需要结合屏幕区域和结果类型判断。
例如同一个联系人可能出现在「最常使用」或者「联系人」分组里,而输入的搜索词也可能出现在「查找账号」或者网络搜索建议中。
因此,仅仅在屏幕上识别到目标文字,并不能证明找到了联系人。
最后,对于无法确认的情况,执行器选择停止,而不是盲目点击。
找到可信结果才继续;找不到或者无法确认,就返回失败。
经过真机测试,正常联系人可以继续发送,不存在的联系人能够触发停止。
当然,目前还没有实现完整的消息送达确认,OCR 本身也可能出现识别错误。这仍是一个实验性工程原型。
五、我认为 Agent Runtime 接下来最需要解决的问题
目前的 MobileAgent 更接近:
Goal → 一次性规划 → Skill 执行 → ExecutionEvent
而我真正想实现的是:
Goal → LLM 决策 → Tool → Observation → LLM 再决策 → 循环执行
所以 v0.2 的重点不准备放在无限增加 App Skill,而是先完善:
- 统一 ToolResult:Success、Failure、RetryableFailure、Cancelled。
- 统一 Observation:截图、当前 App 状态、执行证据。
- 最小 Agent Loop:根据工具执行结果重新决定下一步。
- 更清晰的权限、安全边界与 Memory 分层。
我更希望它最终是一个可以扩展的 Android Agent Runtime,而不是针对某一个 App 写死的自动化工具。
六、项目开源地址
GitHub:
v0.1.0 Release:
README 中有真实设备 Demo、架构文档、Known Limitations 和 Roadmap。
项目使用 MIT License,目前是 Pre-release,不建议将它当成生产级自动化产品,也不建议在高风险场景无人值守运行。
最后想向熟悉 Android 或 Agent Runtime 的开发者请教两个问题:
-
对 Android 这种高度动态的 UI 环境,大家会如何设计更可靠的 Observation 和执行验证机制?
-
如果从一次性规划逐步升级到真正的 Agent Loop,你认为最应该先稳定哪一层抽象?
欢迎交流、提 Issue,尤其欢迎指出当前设计中不合理的地方。