作者已在OpenClaw中成功使用peekaboo,本文记录一些踩过的坑。以下会介绍快速安装及使用peekaboo,其详细介绍及多种安装方式可移步www.aipuzi.cn/ai-news/pee…
1.peekaboo介绍
控制和读取你 Mac 上的界面:切应用、点按钮、打字、截屏 + 让 AI 读屏
2.peekaboo安装
使用homebrew安装:
brew install steipete/tap/peekaboo
检查是否安装成功:
peekaboo --version
检查权限,显示Not Granted:
peekaboo permissions
在Mac设置中给予需要使用peekaboo的应用权限:
设置-隐私与安全性-录屏与系统录音,点击+,例如可以新增“终端”;
设置-隐私与安全性-辅助功能,点击+,例如可以新增“终端”;
重启终端,再次输入peekaboo permissions,两者都显示Granted即成功:
此时即可使用peekaboo相关命令,例如:
捕获全屏并保存到桌面
peekaboo image --mode screen --retina --path ~/Desktop/screen.png
3.坑1-OpenClaw中无法使用peekaboo
原因:虽然我们给了终端使用peekaboo的权限,但是我们的OpenClaw却没有这个权限,OpenClaw执行命令时打开的shell和我们系统的shell是隔离的。
解决:
1.源码安装的OpenClaw
若是使用源码方式安装的OpenClaw(例如作者使用pnpm安装的OpenClaw,启动时也需要使用pnpm openclaw gateway start),则在设置-隐私与安全性-录屏与系统录音,点击+后,按下command+shift+g,输入你安装OpenClaw的node的路径(Finder中按下command+shift+.可以打显示或隐藏‘隐藏目录’,command+option+c可以快速复制文件路径),例如我的node路径是/Users/我的用户名/.nvm/versions/node/v22.13.0/bin/node,这样即可将node加入录屏与系统录音的选项,辅助功能同理,也需要将node加入选项。
再次在OpenClaw使用peekaboo:
2.通过cli安装的OpenClaw
步骤同上,按下 command+shift+G,若是Apple Silicon机型,输入/opt/homebrew/bin;若是Intel Mac则输入/usr/local/bin,应该可以找到openclaw、node,把这两个加入选项,openclaw是主程序,node是执行环境。后续步骤同上。
4.坑2-OpenClaw中无法使用peekaboo的AI功能
原因:未设置API_KEY,使用多模态模型让peekaboo分析图片内容时报错
解决:
显示“隐藏目录”,打开 /Users/你的用户名/.openclaw/.env ,填写API_KEY,若使用第三方厂商,还需要填写该厂商的URL,保存后根据自己的安装方式重启OpenClaw(pnpm openclaw gateway restart)
打开/Users/你的用户名/.peekaboo/config.json,将providers改为多模态模型,例如作者这里使用的第三方服务商提供的glm-4.6v多模态模型是完全兼容openai协议的
{
"aiProviders": {
"providers": "openai/glm-4.6v"
},
"defaults": {
"savePath": "~/Desktop/Screenshots",
"imageFormat": "png",
"captureMode": "window",
"captureFocus": "auto"
},
"logging": {
"level": "info",
"path": "~/.peekaboo/logs/peekaboo.log"
}
}
在OpenClaw中再次发送消息
后续大家有什么问题,欢迎评论交流~