【开源分享】Open-Operator: OpenAI Operator 开源平替版

该项目旨在为开源社区提供一个易于使用的系统，用于构建、自托管和评估 Web Agent 模型。我们的目标是提供一个 OpenAI Operator 平替方案，避免每月 $200 的 ChatGPT Pro 订阅费用以及云端、无法控制的执行环境。

开源地址：github.com/iMeanAI/ope…

使用 open-operator，您可以：

• 注释您的 Web 轨迹数据。
• 导出数据以便进一步处理。
• 准备数据进行监督式微调（SFT）。
• 托管并部署模型与实时网站进行互动。
• 自动评估模型的性能。

我们相信，开发者应该拥有完全的控制权，从训练到部署再到评估全程掌控自己的 Web Agent。

路线图

简要描述项目的路线图。绿色部分将包含在该代码库中。

数据注释和下载

按照以下步骤操作：

1. 下载最新的 iMean builder 扩展：iMean Builder
2. 在您的浏览器中安装扩展。
3. 按照您与网站互动的自然方式记录 Web 轨迹数据，编辑每个数据的标题。
4. 在 iMean Builder 平台上创建一个私有频道，并将所有数据移动到该频道中。-> 如何操作：Docs
5. 在 WebCanvas 网站上创建一个私有挑战并将其与上一步骤中的频道连接。-> 如何操作：Docs
6. 获取挑战 ID，并使用它从 iMean Builder 平台下载所有数据。
7. 在 configs/config.yaml 中设置挑战 ID、iMean Builder 用户名和密码。

现在运行 python main.py 来下载数据。默认情况下可以下载一些示例数据。

如果您使用 Google 账户登录 iMean Builder，您可以在个人资料页面设置密码。

数据预处理

• 对于 DOM 树模式，只需运行 python main.py。
• 对于视觉模式，代码敬请期待。

本地代理模型训练

敬请期待。

本地代理模型评估

敬请期待。

TODO

• 关于如何注释您的 Web 轨迹数据的说明。
• 数据下载。
• 将数据预处理为适合 SFT 的格式 - DOM 树。
• 将数据预处理为适合 SFT 的格式 - 视觉。
• 托管本地模型并在实时网站上进行推理。
• 使用 WebCanvas 框架自动评估。

先前解决方案

有关 Web Agent 评估的参考，您可以查看 WebCanvas 仓库：WebCanvas

欲了解更多开源 GUI Agent 研究项目和合作，敬请访问 WebAgentLab：WebAgentLab Homepage。

敬请期待！