Tapilot 把任务编排和设备执行放在安卓手机上,用户直接输入自然语言任务,不需要电脑参与日常运行。
项目已开源。这里主要介绍手机运行时、Midscene 和 Android 无障碍服务怎样配合,以及为什么“不连电脑”并不等于“离线推理”。
手机端怎样执行
原生 Android 界面负责聊天、会话和任务生命周期。手机内置运行时承载 Agent;Midscene 读取截图并定位可见目标,Android AccessibilityService 提供截图、手势、导航和文字输入能力。执行后再采集画面核对结果。
视觉定位基于截图,而不是按资源 ID 或 UI 树寻找目标。设备动作仍由无障碍服务完成,不能把“纯视觉”理解为完全不使用 Android 系统接口。
手机独立运行 Agent,模型推理使用配置的远程服务。日常使用无需 ADB、Shizuku 或 root;开发构建、安装和调试则是另一套流程。
怎么看执行过程
Midscene HTML 报告记录截图、模型计划、动作和错误,便于回放。任务也可以停止或明确重试。报告与核验能帮助定位失败,但不构成通用成功率保证。
电脑端是可选扩展
Tapilot 提供 Skill 和 Codex 插件,通过 Wi-Fi 操作已配对、解锁的手机。默认 steps 模式由宿主 Agent 看截图并决定动作,CLI 执行动作,MCP 负责嵌入式预览面板。
目前项目仍在实验阶段。欢迎在明确设备、模型和任务条件的前提下复现问题,不把单次演示视为所有场景都可用。