把 Agent 放到安卓手机上运行

26 阅读1分钟

Tapilot 把任务编排和设备执行放在安卓手机上,用户直接输入自然语言任务,不需要电脑参与日常运行。

项目已开源。这里主要介绍手机运行时、Midscene 和 Android 无障碍服务怎样配合,以及为什么“不连电脑”并不等于“离线推理”。

观看真实操作演示(B站)

手机端怎样执行

原生 Android 界面负责聊天、会话和任务生命周期。手机内置运行时承载 Agent;Midscene 读取截图并定位可见目标,Android AccessibilityService 提供截图、手势、导航和文字输入能力。执行后再采集画面核对结果。

视觉定位基于截图,而不是按资源 ID 或 UI 树寻找目标。设备动作仍由无障碍服务完成,不能把“纯视觉”理解为完全不使用 Android 系统接口。

手机独立运行 Agent,模型推理使用配置的远程服务。日常使用无需 ADB、Shizuku 或 root;开发构建、安装和调试则是另一套流程。

怎么看执行过程

Midscene HTML 报告记录截图、模型计划、动作和错误,便于回放。任务也可以停止或明确重试。报告与核验能帮助定位失败,但不构成通用成功率保证。

电脑端是可选扩展

Tapilot 提供 Skill 和 Codex 插件,通过 Wi-Fi 操作已配对、解锁的手机。默认 steps 模式由宿主 Agent 看截图并决定动作,CLI 执行动作,MCP 负责嵌入式预览面板。

目前项目仍在实验阶段。欢迎在明确设备、模型和任务条件的前提下复现问题,不把单次演示视为所有场景都可用。

源码:github.com/tapilot-ai/… 演示:tapilot.lifeos.md/zh/