以前让 AI 控电脑,全靠截图猜坐标、抢鼠标,费 token 还耽误干活。
Vercel Labs 开源的 agent-desktop 1.2.0,接入 MCP 后直读系统无障碍树给按钮编号,AI 后台静默点击,全程不占键鼠。
我把它接进 WorkBuddy 测对账:两句提示词免配置搞定安装接入。第一句让它「安装最新版 agent-desktop 并查版本」,第二句让它「把刚装好的工具接入你自己」,再去连接器里点一下信任,两分钟就启用了全部 67 个工具。
接着打开计算器,先让它定向只读计算器窗口获取编号,再让它把生成的 15 笔开销逐笔加总、填进空白记事本。它后台按编号连点 55 次计算器,金额 1746 毫无差错,纯按键耗时 82.8 秒,全程 0 截图、0 误触,鼠标键盘完全自由。
老方案虽快(单步 0.15 秒),但截了 9 次全屏还抢鼠标,遇遮挡易挂;agent-desktop 后台调控件极稳,只是单步约 1.5 秒偏慢。
遇到跨软件批量搬运、无导出接口的旧软件提取这类杂活,用提示词指定窗口读取无障碍编号,就能在后台静默跑完。官网下载客户端按这两句提示词接好,就能把机械的桌面点击全甩给后台。
Vercel Labs 开源的 agent-desktop 1.2.0,接入 MCP 后直读系统无障碍树给按钮编号,AI 后台静默点击,全程不占键鼠。
我把它接进 WorkBuddy 测对账:两句提示词免配置搞定安装接入。第一句让它「安装最新版 agent-desktop 并查版本」,第二句让它「把刚装好的工具接入你自己」,再去连接器里点一下信任,两分钟就启用了全部 67 个工具。
接着打开计算器,先让它定向只读计算器窗口获取编号,再让它把生成的 15 笔开销逐笔加总、填进空白记事本。它后台按编号连点 55 次计算器,金额 1746 毫无差错,纯按键耗时 82.8 秒,全程 0 截图、0 误触,鼠标键盘完全自由。
老方案虽快(单步 0.15 秒),但截了 9 次全屏还抢鼠标,遇遮挡易挂;agent-desktop 后台调控件极稳,只是单步约 1.5 秒偏慢。
遇到跨软件批量搬运、无导出接口的旧软件提取这类杂活,用提示词指定窗口读取无障碍编号,就能在后台静默跑完。官网下载客户端按这两句提示词接好,就能把机械的桌面点击全甩给后台。
展开
2
2