微软开源Windows桌面智能体操作系统！UFO²：一句话调度多应用，自动协同工作

蚝油菜花
348 阅读3分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎯 「Windows自动化革命！微软开源UFO²操作系统：一句话调度多应用，办公效率直接起飞」

大家好，我是蚝油菜花。你是否也经历过这些数字办公噩梦——

  • 👉 每天重复操作Excel→Word→PPT，机械点击到手抽筋
  • 👉 跨应用搬运数据时，总在格式转换中丢失关键信息
  • 👉 想用AI自动化却卡在API对接，写脚本比手动操作还耗时...

今天要拆解的 UFO² ，正在重定义Windows生产力！这个微软开源的「桌面Agent操作系统」：

  • ✅ 多应用交响乐：像指挥家一样协调Office全家桶完成复杂工作流
  • ✅ 混合控制黑科技：自动选择GUI点击或原生API调用，成功率提升3倍
  • ✅ 虚拟沙盒环境：AI在独立桌面运行，不干扰你的正常操作

已有财务团队用它1小时处理完月度报表，接下来将揭秘这套「未来办公中枢」的技术内核！

UFO² 是什么

UFO²架构图

UFO² 是微软推出的面向 Windows 桌面的多智能体操作系统（AgentOS），基于深度系统集成和自然语言交互实现复杂桌面任务的自动化。该系统通过中央控制单元协调多个专用智能体，将传统自动化工具的单点能力升级为系统级解决方案。

其核心突破在于实现了GUI操作与原生API的动态融合，配合持续学习机制，使得自动化流程既具备人类操作的灵活性，又拥有程序调用的精确性。作为首个专为Windows生态设计的AgentOS，UFO²正在重新定义人机协作的边界。

UFO² 的主要功能

  • 深度操作系统集成：支持深度集成到 Windows 系统中，实现对桌面应用的精细控制
  • 非干扰式用户体验：支持在隔离的虚拟桌面中运行，用户和智能体同时操作互不干扰
  • 多轮交互支持：支持用户在会话中逐步细化指令或干预智能体的操作
  • 安全保障机制：检测潜在危险操作并在执行前提示用户确认，确保系统安全

UFO² 的技术原理

  • 多智能体架构：
    • HostAgent作为中央控制平面，负责解析指令和任务调度
    • AppAgent针对特定应用，具备专用知识库和混合动作接口
  • 混合控制检测：结合UIA APIs和视觉检测模型，可靠识别各类UI元素
  • 持续知识整合：基于RAG技术整合外部文档和历史记录，支持动态学习
  • 推测性多动作执行：单次推理预测多个动作并通过运行时验证，减少调用频率

如何运行 UFO²

1. 安装

git clone https://github.com/microsoft/UFO.git
cd UFO
pip install -r requirements.txt

2. 配置LLM

复制配置文件模板并编辑：

copy ufo\config\config.yaml.template ufo\config\config.yaml
notepad ufo\config\config.yaml

3. 启动UFO²

python -m ufo --task <任务名称>

4. 查看执行日志

日志保存在：

./ufo/logs/<任务名称>/

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝