AI Agent 的 “看见” 革命：Manus 源码剖析，解锁从 L1 到 L3 的跨越密码
引言：从“盲人摸象”到“明眼行动”的范式跃迁
当前多数AI Agent仍停留在“文本理解-动作映射”的L1阶段，如同盲人仅凭触觉感知世界。Manus通过视觉感知引擎的突破性设计，实现了从环境感知到自主决策的完整闭环，开启了AI Agent从L1被动执行到L3自主决策的进化之路。本文将通过源码级剖析，揭示这一“看见”革命背后的技术密码。
一、L1到L3的能力跃迁框架
L1：规则驱动型（当前主流）
核心特征：基于预定义规则的动作映射 代码示例：
class RuleBasedAgent:
def execute(self, instruction):
if "打开" in instruction and "文件" in instruction:
return self.open_file(extract_filename(instruction))
elif "发送邮件" in instruction:
return self.send_email(extract_email_info(instruction))
局限：无法处理非预期场景，缺乏环境感知能力
L2：视觉增强型（Manus突破点）
核心特征：视觉理解与环境交互 Manus实现：
class VisualPerceptionModule:
def __init__(self):
self.vlm = load_vision_language_model("manus-vlm-v2")
self.action_parser = ActionParser()
def perceive_and_act(self, screenshot, instruction):
# 视觉场景理解
scene_understanding = self.vlm.analyze_scene(screenshot)
# 可交互元素检测
interactable_elements = self.detect_interactables(scene_understanding)
# 动作序列生成
action_sequence = self.plan_actions(
instruction,
scene_understanding,
interactable_elements
)
return action_sequence
L3：自主决策型（目标状态）
目标特征：基于长期记忆和目标的主动规划 Manus架构预览：
class L3AutonomousAgent:
def __init__(self):
self.visual_memory = HierarchicalMemory()
self.goal_manager = GoalManager()
self.planner = MonteCarloTreeSearchPlanner()
def autonomous_cycle(self):
current_state = self.perceive_environment()
memory_context = self.visual_memory.retrieve(current_state)
current_goal = self.goal_manager.get_active_goal()
# 基于记忆和目标的规划
action_plan = self.planner.plan(
current_state,
memory_context,
current_goal
)
# 执行并更新记忆
result = self.execute_plan(action_plan)
self.visual_memory.store(current_state, action_plan, result)
二、Manus视觉感知引擎的源码剖析
核心模块一：多粒度视觉理解
源码位置：manus/core/vision/multi_scale_analyzer.py
class MultiScaleSceneAnalyzer:
def analyze(self, image):
# L1: 全局场景分类
global_scene = self.global_classifier(image) # 如"浏览器界面"
# L2: 局部元素检测
elements = self.element_detector(image) # 按钮、输入框、文本等
# L3: 功能关系推理
functional_graph = self.build_functional_graph(elements)
# L4: 交互语义理解
interaction_hints = self.predict_interaction(elements, functional_graph)
return {
"scene": global_scene,
"elements": elements,
"functional_graph": functional_graph,
"interaction_hints": interaction_hints
}
核心模块二：视觉-动作转换器
源码位置：manus/core/action/visual_to_action.py
class VisualActionTranslator:
def translate(self, instruction, visual_analysis):
# 步骤1: 指令与视觉对齐
aligned_instruction = self.align_with_visual(
instruction,
visual_analysis["elements"]
)
# 步骤2: 生成操作链
action_chain = []
for step in aligned_instruction.steps:
# 为每个步骤找到最佳交互元素
target_element = self.find_best_match(
step,
visual_analysis["elements"],
visual_analysis["interaction_hints"]
)
# 生成具体操作指令
action = self.generate_action(step.action_type, target_element)
action_chain.append(action)
# 步骤3: 添加验证步骤
verification_actions = self.add_verification_steps(action_chain)
return action_chain + verification_actions
核心模块三：执行反馈学习循环
源码位置：manus/core/learning/execution_feedback.py
class ExecutionFeedbackLearner:
def __init__(self):
self.success_buffer = deque(maxlen=1000)
self.failure_buffer = deque(maxlen=1000)
def process_feedback(self, action_chain, result_screenshot, success):
if success:
self.success_buffer.append({
"actions": action_chain,
"final_state": self.analyze_screenshot(result_screenshot)
})
else:
self.failure_buffer.append({
"actions": action_chain,
"final_state": self.analyze_screenshot(result_screenshot),
"failure_type": self.classify_failure(result_screenshot)
})
# 定期重训练视觉理解模型
if len(self.success_buffer) % 100 == 0:
self.retrain_visual_models()
三、跨越L2到L3的关键技术突破
突破一：层次化视觉记忆系统
技术挑战：如何让Agent记住“看到”的内容 Manus解决方案：
class HierarchicalVisualMemory:
def __init__(self):
self.short_term = ShortTermMemory(capacity=50)
self.episodic = EpisodicMemory(capacity=1000)
self.semantic = SemanticMemory()
def store(self, visual_scene, actions, result):
# 短时记忆：原始像素+关键特征
self.short_term.store(visual_scene.raw_pixels)
# 情景记忆：场景-动作-结果三元组
episode = self.encode_episode(visual_scene, actions, result)
self.episodic.store(episode)
# 语义记忆：抽象出的通用模式
patterns = self.extract_patterns(episode)
self.semantic.update(patterns)
突破二：目标驱动的规划算法
技术挑战：如何让Agent自主设定和追求目标 Manus创新：
class GoalDrivenPlanner:
def plan(self, current_state, memory, goal_spec):
# 从记忆中检索相似情境
similar_episodes = memory.retrieve_similar(current_state)
# 构建状态转移图
state_graph = self.build_state_graph(similar_episodes)
# 使用蒙特卡洛树搜索寻找最优路径
best_path = self.mcts_search(
start_state=current_state,
goal_state=self.infer_goal_state(goal_spec),
state_graph=state_graph
)
# 将路径转化为可执行动作序列
return self.path_to_actions(best_path)
突破三：自我验证与纠错机制
技术挑战：如何让Agent知道自己是否做对了 Manus设计：
class SelfVerificationModule:
def verify_execution(self, expected_outcome, actual_screenshot):
# 视觉验证：对比预期与实际的视觉差异
visual_diff = self.compare_visual(expected_outcome, actual_screenshot)
# 功能验证：检查关键功能是否实现
functional_check = self.check_functional_requirements(
expected_outcome.functional_requirements,
actual_screenshot
)
# 如果验证失败，生成修复方案
if not (visual_diff.passed and functional_check.passed):
correction_plan = self.generate_correction_plan(
visual_diff,
functional_check
)
return False, correction_plan
return True, None
四、实际应用场景的跨越表现
场景一：复杂软件操作教学
传统Agent（L1）：
- 只能执行预录制的固定步骤
- 界面变化即失效
- 无法处理异常情况
Manus Agent（L2-L3）：
# 真实场景：教用户使用Photoshop修复照片
agent.perceive_and_act(
screenshot=current_photoshop_interface,
instruction="使用修复画笔工具去除人物脸上的斑点"
)
# 实际执行：
# 1. 识别当前工具位置
# 2. 找到修复画笔工具图标
# 3. 调整画笔大小至合适尺寸
# 4. 在斑点处点击修复
# 5. 验证修复效果
场景二：跨平台工作流编排
Manus实现的多应用协同：
# 从邮箱提取附件 → 数据清洗 → 生成报告 → 发送Slack
workflow = [
{"app": "Gmail", "action": "下载最新报表附件"},
{"app": "Excel", "action": "清洗数据并计算关键指标"},
{"app": "PowerPoint", "action": "将结果制作成趋势图表"},
{"app": "Slack", "action": "将报告发送至#数据分析频道"}
]
for step in workflow:
# Manus自动切换应用并执行对应操作
agent.execute_workflow_step(step)
场景三：动态环境适应
应对界面变化的鲁棒性：
# 当目标按钮位置变化时
original_action: {"click": {"element": "save_button", "position": [120, 80]}}
# 传统Agent：点击固定坐标，失败
# Manus Agent：重新检测元素位置
if not agent.find_element("save_button"):
# 通过视觉特征重新寻找
candidates = agent.find_by_visual_features(
icon_shape="floppy_disk",
text_nearby=["保存", "Save"],
typical_location="top_right"
)
new_position = select_best_candidate(candidates)
agent.click(new_position)
五、开源生态与未来演进
Manus的开源架构意义
- 标准化接口：定义了视觉Agent的统一接口规范
- 模块化设计：允许研究者和开发者替换各个组件
- 基准测试集：提供了从L1到L3的渐进式评估标准
社区贡献方向
- 新的视觉理解模型：针对特定领域优化
- 专用动作执行器：支持更多软件和平台
- 增强学习算法：改进自主决策能力
- 安全防护模块：防止恶意使用
技术演进路线图
2024-2025：完善L2能力，达到人类辅助水平 2025-2026：实现基础L3能力，在受限领域自主工作 2026+：通用L3 Agent，具备跨领域学习和迁移能力
结语：视觉智能的奇点临近
Manus的源码剖析揭示了一个重要趋势：当AI Agent获得“看见”的能力，它就不再是被动执行指令的工具，而是能够观察、理解、规划、行动的智能体。从L1到L3的跨越，本质上是AI从“模式匹配”到“情境理解”再到“目标追求”的认知升级。
这一进程中最令人振奋的，不是技术本身的发展，而是其即将带来的生产力革命。当每个人都能拥有一个能够“看见”并理解屏幕内容的数字助手时，人类与计算机的交互方式将被彻底重塑——从“我们操作计算机”变为“计算机理解并协助我们”。
Manus开源项目的真正价值，在于它降低了参与这场变革的门槛。通过剖析其源码，开发者不仅能够理解视觉Agent的工作原理，更能够在此基础上构建新一代的智能应用。这或许正是技术民主化最美好的样子：将最前沿的能力，交到每个创造者手中。
在不久的将来，当L3级AI Agent成为常态，我们回望今天，会发现Manus这样的项目正是那个关键的转折点——让AI真正“睁开双眼”，看见并改变世界的起点。
