从 H3 Max Director 到 World Model,AI 为什么开始学习模拟世界?
项目要交付,AI 也想跟上?
在「花椒技术部」,看一线团队怎样用 AI 写代码、做 Agent、推进真实项目。技术群还会分享工作日精选 AI 日报,也欢迎带着工具选型和工程实现中的问题来交流。
关注公众号「花椒技术部」,回复「技术群」获取入群入口。
从 H3 Max Director 到 World Model,AI 为什么开始学习模拟世界?
一、当视频能够实时生成,下一个问题是什么?
过去一年,AI 视频生成技术的发展速度令人惊讶。从最初只能生成几秒钟、人物动作和画面细节经常出现异常的视频,到如今可以生成具有较高视觉质量、自然运动和同步声音的内容,视频生成模型正在快速跨越从技术演示到实际应用的门槛。
在上一篇文章中,我们讨论了 H3 Max 以及 H3 Max Director 带来的变化。H3 Max 将高质量视频生成推进到快于实时播放的速度,而 H3 Max Director 更进一步:它不再只接受一次 Prompt、返回一段完整视频,而是建立持续的生成 Session,通过 WebRTC 输出音视频流,并允许用户在播放过程中不断发送新的导演指令。虽然其内部仍采用分段生成机制,但对于观看者而言,视频可以作为一条连续的流播放,人物、场景和故事也能在不同片段之间保持一定的连续性。
视频生成的基本单位,开始从一段 Clip 转变为持续运行的 Session。这意味着 AI 不仅能够生成视频,还开始具备持续生成、接受实时指令并改变后续内容的能力。
但一个新的问题也随之出现。
假设 AI 正在生成一个人物在房间里活动的场景。用户可以要求人物走到窗边、改变房间的灯光,或者让人物离开房间。只要人物和场景在视觉上保持连续,这段视频就可能看起来非常自然。但如果人物离开房间,过了一段时间再回来,此前移动的椅子是否还在原来的新位置?已经打开的抽屉是否仍然打开?桌上摔碎的杯子是否会保持破碎,而不是重新完整地出现?
这些问题已经不只是视频画质或时间连续性的问题。对于普通视频生成,模型主要需要让接下来的画面看起来合理;而对于一个可交互的虚拟世界,模型还需要处理环境中哪些事物发生了改变、哪些状态应该持续保留,以及用户的动作会对未来产生什么影响。
连续生成画面,与维持一个持续存在、能够被交互和改变的世界,是两种不同层次的能力。
2026 年 10 月 27 日,Google DeepMind 发布了新一代世界模型 Genie 4。它不仅能够实时生成可交互的视觉环境,还进一步引入原生音频、自然语言修改,以及 Gemini 辅助的复杂事件规划。这让我们有必要重新审视一个正在受到越来越多关注的技术方向:World Model,世界模型。
二、世界模型是什么?它并不是从视频生成开始的
虽然世界模型最近频繁与 AI 视频生成一起出现,但它并不是一个新概念,也不是视频生成模型发展到一定程度后才被提出的。事实上,世界模型的研究历史比今天的生成式 AI 要早得多,它最初关注的并不是如何生成逼真的画面,而是智能系统能否理解环境变化,并预测自己采取某个动作之后可能发生什么。
我们可以从一个简单的生活场景理解它。假设一个人准备从桌上拿起一杯水,他需要根据杯子的位置判断手应该向哪里移动,也知道如果不小心碰倒杯子,水可能洒在桌面上。如果杯子已经被移到了桌子的另一边,那么下一次拿水时,他就需要根据新的位置调整动作。这个过程包含了对当前环境的理解、对动作结果的预测,以及根据环境变化调整后续行为。世界模型(World Model)研究的核心,就是尝试让 AI 具备类似的环境预测能力。
这种思想并不新鲜。早在 1943 年,心理学家 Kenneth Craik 就提出,人类能够在头脑中建立外部世界的小规模模型,并利用它预测事件的发展。后来,类似的思想逐渐进入人工智能和控制理论研究,并在强化学习(Reinforcement Learning)领域得到广泛应用。
在传统强化学习中,智能体需要不断与环境交互,通过采取动作、观察结果来学习如何完成任务。例如,研究人员可以让 AI 操作一个赛车游戏:控制方向盘和油门,根据游戏画面判断车辆位置,再学习如何沿着赛道行驶。如果每次都必须依靠实际操作才能知道结果,训练就需要大量试错。世界模型提供了另一种思路:先让 AI 学习车辆和环境如何随动作变化,再利用学到的模型预测未来状态,辅助选择下一步动作。这类利用环境模型进行学习和规划的方法,通常被称为基于模型的强化学习(Model-Based Reinforcement Learning)。
2018 年,David Ha 和 Jürgen Schmidhuber 在《World Models》中将这一思想与深度学习结合。模型的分工见下图:VAE(Variational Autoencoder,变分自编码器)把游戏画面压缩为潜在特征,循环神经网络学习环境随时间和动作变化的规律,控制器选择下一步动作。VAE 的作用,是让后续模型在紧凑的特征空间中预测,不必直接处理完整图像。
在类似《Doom》的第一人称游戏实验中,控制器需要躲避火球、延长生存时间。它先在学到的“梦境环境”(Dream Environment)中训练,再回原游戏模拟器测试。图中展示的是利用环境模型辅助训练、减少原环境试错依赖的过程;这里的“原环境”仍是有固定规则的游戏模拟器,并非现实物理世界。
此后,PlaNet、Dreamer、MuZero 等研究从不同角度进一步发展了环境建模、内部预测与规划决策能力。它们的技术方案并不完全相同,但共同体现出一个重要方向:让智能体不仅能够观察当前环境,还能利用学到的模型预测未来,并据此改进行动。
值得注意的是,这一时期的世界模型并不需要生成电影级的画面,甚至不一定需要输出供人观看的视频。只要内部状态能够有效表达环境信息,并帮助智能体预测行动后果、完成任务,就已经具备实际价值。也正因为如此,世界模型最初与强化学习、规划和机器人研究联系得更加紧密,而不是今天我们熟悉的文生视频。
理解这段历史非常重要,因为它说明世界模型的核心目标一直不是生成漂亮的画面,而是学习环境如何变化。当大规模视频生成模型开始具备更强的时序建模和实时交互能力时,这两条原本不同的技术路线,才逐渐出现了新的交汇点。
三、从强化学习到视频生成:两条技术路线为什么开始汇合?
如果世界模型早已存在于强化学习研究中,为什么直到最近,它才开始与视频生成频繁联系在一起?原因在于,两条原本侧重点不同的技术路线,正在逐渐走向相似的目标。
第一条路线来自生成式 AI:从学习图像分布,到处理视频中的人物动作、镜头移动和前后帧一致性。为了生成合理的运动与空间变化,模型需要从大量视频中学习这些现象的统计关系,例如车辆转弯时的位置变化。
但这并不意味着视频生成模型已经真正掌握了物理定律。它可能只是学会了大量场景中视觉变化的统计规律,并能够生成符合人类直觉的结果。对于传统视频生成任务,模型主要需要保证画面质量、提示词符合程度和时间连续性,并不一定要求用户能够在过程中持续采取动作,或者让此前的行为对未来产生长期影响。
第二条路线来自强化学习与智能体研究:根据环境状态和动作预测后果,再辅助规划和决策。它首先关注预测是否足以帮助智能体完成任务,画面逼真并非首要目标。
但随着视频生成技术发展,这种差别开始缩小。一方面,Video Transformer、Diffusion 等技术推动了视频生成质量和时序建模能力的进步;另一方面,分块自回归生成、少步采样、模型蒸馏和推理系统优化,又让持续生成和交互式生成逐渐具备可行性。当模型能够一边输出画面,一边接收新的动作条件,并根据这些动作继续预测环境变化时,它就有机会从单纯的视频生成器,进一步发展成可交互的环境模拟器。
Google DeepMind 的 Genie 系列正是这条路线的重要代表。2024 年的 Genie 1 探索了从视频中学习动作控制与生成可交互环境的能力,Genie 2 进一步面向可操作的三维场景。2025 年 8 月发布的 Genie 3,已经能够以 720p、24fps 生成可实时导航的环境,并在数分钟范围内维持一定的视觉一致性。用户不再只是描述希望看到什么场景,还能够在生成的环境中移动,并让后续画面随着操作发生变化。
与此同时,研究者也在尝试把已有的视频生成模型改造成世界模型。例如,2026 年 9 月发布的 SolarWM-H3 基于 MiniMax-H3 视频生成骨干模型,通过引入相机控制、分块自回归生成和少步推理等技术,使模型能够在生成过程中接受交互输入。随后推出的实时版本进一步优化了交互延迟,11 月发布的 Memory 版本则针对长期场景一致性和重新访问场景时的细节保持进行了改进。
这说明世界模型与视频生成模型并不是两套完全独立、互不相关的技术体系。已有视频生成模型可以成为构建视觉世界模型的基础,但要跨越到真正的环境模拟,还必须解决动作控制、状态保持和因果一致性等问题。实时生成能力则使这些研究成果有机会从离线预测系统,转变为人和 Agent 可以持续交互的环境。
需要强调的是,实时推理是交互式视觉世界模型的重要推动因素,却不是世界模型本身的定义。一个只能离线预测未来状态的模型,也可能是有价值的世界模型。实时能力改变的,是这类模型能够以什么方式被人和智能体使用。
四、Genie 4:从生成画面,到模拟一个可以交互的世界
如果说 Genie 3 证明了实时生成可导航环境的可行性,那么 Genie 4 进一步展示了高质量视觉生成、实时交互、原生音频和复杂事件规划结合之后的可能性。
2026 年 10 月 27 日,Google DeepMind 正式发布 Genie 4,将其定位为新一代世界模拟模型。目前 Genie 4 仍处于研究预览阶段,主要向受信任的测试者开放,后续计划逐步扩展到 Project Genie 用户及开发者。从官方公布的能力来看,它在实时环境控制、物理与人物行为模拟、原生音频,以及与 Gemini 的协同推理方面都有值得关注的进展。
首先是生成过程中的实时控制。用户可以通过键盘控制视角和导航,也可以通过自然语言在运行过程中改变场景,例如调整天气、加入新的人物或物体,或者改变环境中的事件。与传统视频生成相比,最大的变化是用户不再需要在开始时确定全部内容,而是可以在环境持续运行的过程中不断介入,让后续画面根据新的控制条件继续变化。
如果只看持续生成和实时接受指令,这似乎与 H3 Max Director 非常相似。但两者的主要控制目标存在区别。H3 Max Director 更接近持续运行的生成式导演系统,它通过 WebRTC 输出音视频流,使用连续片段和历史上下文维持人物、场景和叙事的一致性,新的导演指令主要作用于后续待生成的视频片段。而 Genie 4 更加明确地面向可交互环境,用户可以在场景中持续导航、改变环境,让系统根据动作和指令模拟后续变化。前者重点解决持续内容生成和导演控制,后者则进一步强调环境交互与状态演化。
这种区别并不意味着 Director 完全没有世界建模能力,也不意味着 Genie 4 已经拥有完整、准确的世界状态表示。它们更适合被理解为两条正在靠近的技术路线,而不是简单的前后代产品关系。
Genie 4 的第二项进展,是对物理现象和人物行为的模拟。官方展示了物体碰撞、水流、风吹动环境,以及人物在不同场景中的移动和交互。这些演示的重要性,并不只是画面更加逼真,而是模型开始尝试让环境根据用户动作产生相应变化。例如,人物接近某个物体、改变位置或触发事件后,后续画面需要表现出与之前行为相符的结果。不过,这里仍然需要区分“物理真实感”和“物理模拟准确性”。生成一个看起来符合真实物理规律的碰撞过程,并不代表模型可以精确预测物体的速度、受力和碰撞结果。对于娱乐内容,视觉合理可能已经足够;但对于机器人训练、工程仿真等应用,物理准确性和结果可重复性就变得非常重要。
第三项进展,是原生音频进入实时世界模拟。Genie 4 能够在生成视觉环境的同时生成环境音、背景声音和交互对话,让声音随着场景变化而改变。例如,人物从室内走到室外,环境声音应该随之变化;虚拟角色与用户交流时,对话内容也需要与正在发生的事件保持一致。这一点与此前讨论的生成式数字人有一定联系:数字人不再只是具有形象、语音和表情表达能力的虚拟人物,还可能进一步成为能够感知环境变化、参与环境交互的虚拟角色。
不过,我认为 Genie 4 最值得关注的技术变化,是它与 Gemini 系列模型的协同。根据 Google DeepMind 的官方介绍,Gemini 3.8 Flash 可以作为引导 Agent,在 Genie 4 实时生成环境的同时持续观察画面,把复杂目标拆分成多个步骤,并根据不断收到的画面检查任务进展。如果环境发生变化,或者用户中途介入,Gemini 还可以调整后续计划。Google DeepMind 另外展示了 Gemini 4 Argon 与 Genie 4 结合,模拟人形机器人完成多步骤任务的实验。
例如,如果用户希望一个虚拟角色走到棋盘旁,与另一个角色完成一局棋类游戏,系统需要处理的不再只是一句场景描述,而是包含多个动作和状态变化的连续过程。角色应该走到什么位置、何时开始游戏、轮到谁行动、某一步是否已经完成,这些信息都会影响后续生成的内容。对于这样的任务,仅仅让下一段画面看起来合理是不够的,还需要对事件过程进行规划、观察和调整。
这背后出现了一个值得思考的技术问题:未来复杂的世界模拟,是否一定需要一个视频模型同时完成视觉生成、物理预测、长期记忆、逻辑推理和任务规划?
Genie 4 展示了另一种可能性:让不同模型承担不同职责。生成模型负责视觉、声音与环境响应,推理模型负责目标理解、事件规划与过程检查。Google DeepMind 也将结合结构化推理与像素级生成模拟的方向称为 Hybrid World Models,即混合世界模型。
当然,公开资料还不足以确认 Genie 4 内部是否使用了独立的状态数据库、显式三维场景结构或者传统物理引擎。因此,我们可以讨论它公开的系统级协同机制,但不能把对内部实现的推测写成已经确定的技术事实。
五、生成一个世界,与让世界真正持续存在,还有多远?
Genie 4 的演示已经让人看到一种新的交互形式:用户不再只是观看 AI 生成的视频,而是能够进入一个由模型实时生成、并且可以持续改变的环境。但它距离可靠、长期运行的世界模拟系统,仍然存在明显的技术距离。
Google DeepMind 在官方介绍中也明确承认,Genie 4 仍处于早期研究阶段,目前只能支持数分钟级的持续交互。随着模拟时间增加、复杂指令反复修改,或者用户在场景中不断移动,视觉细节和物体持久性仍可能发生漂移。复杂物理交互、空间精度、音频准确性以及长期一致性,也仍然是需要继续解决的问题。
这些挑战可以归纳为四个层次。
首先是 Memory 和 Persistence,也就是记忆与状态持久性。对于普通视频生成,一段视频内部保持相对一致,通常就能满足基本要求。但如果生成的是一个可交互的世界,要求就会明显提高。一个人物离开房间,并不意味着房间里的状态可以被遗忘。即使某张桌子已经不在当前画面中,它的位置、上面的物品,以及此前发生的改变,仍然应该在后续交互中得到保留。当用户再次回到这个房间时,模型需要恢复的不只是相似的视觉外观,而是此前世界状态的延续。
这涉及一个根本问题:模型应该如何表示和存储持续存在的世界?今天的生成式视频模型通常依赖历史画面、压缩后的特征和其他上下文信息来保持连续性,但随着时间增长,需要维护的信息也越来越多。单纯延长视频上下文,不仅可能增加计算和存储成本,也未必能避免历史信息丢失或预测误差逐渐累积。是否需要引入更加结构化的环境状态、对象关系或者分层记忆机制,将成为值得持续关注的研究方向。
其次是 Physics 和 Causality,也就是物理与因果一致性。如果用户推倒一个杯子,模型不仅需要生成杯子倒下的画面,还应该让这个动作对未来环境产生持续影响。杯子可能滚动、摔碎,里面的水可能流到桌面,而这些变化又可能影响后续发生的事情。对于简单的视觉交互,模型可以通过学习到的统计规律生成看起来合理的结果;但当动作越来越复杂、事件链越来越长,仅靠画面合理并不能保证因果正确。特别是在机器人训练等领域,模拟环境必须能够较为准确地预测动作后果,否则智能体在模拟环境中学到的策略,可能无法可靠地迁移到现实世界。
第三是 Control,也就是可控性。今天的许多视频生成模型已经支持自然语言、相机运动、关键帧或其他条件控制,但控制的精度、稳定性和可重复性,与传统游戏引擎中的确定性操作仍然存在差距。用户要求故事接下来发生一场暴雨,与要求人物准确地向左移动一步,对控制精度的要求完全不同。未来的交互式世界模型可能需要同时支持高层语义控制和低层动作控制:既能理解“走到门口并打开门”这样的任务目标,也能处理持续的移动、碰撞和环境反馈。
最后是 Latency、Streaming 与长期运行成本。在上一篇 H3 Max 文章中,我们已经讨论过视频生成速度跨越实时播放临界点的重要性。但生成得比播放快,并不意味着交互响应一定足够快。例如,一个模型可以在 3 秒内生成 5 秒视频,说明它的平均生成吞吐量已经超过实时播放需求;但如果用户操作之后仍需要等待数秒才能看到画面变化,那么这种延迟就可能无法满足实时游戏的要求。
因此,对交互式世界模型而言,至少需要分别关注三个指标:模型每秒能够生成多少视频内容,用户动作到可见画面变化需要多长时间,以及模型能够在质量和成本可接受的情况下持续运行多久。这三个指标相互关联,却不能简单混为一谈。能够连续生成数分钟的视频,与维持一个数小时甚至数天都保持状态一致的世界,面临的是完全不同的系统挑战。
综合来看,今天世界模型面临的最大挑战,已经不只是生成一个逼真的场景,而是让这个场景能够长期保持状态,并在持续交互中产生可信的结果。未来的技术突破,可能既来自生成模型本身更强的时序建模能力,也来自环境状态表示、记忆管理、物理约束和推理系统的协同优化。
六、从生成视频到模拟世界,未来将走向何方?
随着世界模型的发展,AI 视频生成可能不再局限于生产供人观看的内容,而是逐渐形成能够持续交互的虚拟环境。例如,可交互电影让观众通过选择影响故事发展,AI 游戏让玩家通过自然语言创造和改变场景,生成式数字人也可能从单纯的语言和表情交互,扩展到能够感知环境、操作物体并参与复杂事件的虚拟角色。此外,Generative Live(生成式实时内容)也值得关注:观众不再只是观看和评论,而是能够通过互动影响正在生成的内容和后续事件。
世界模型的价值也不局限于虚拟内容。在机器人和 Agent 领域,它还可能提供可以反复试验的模拟环境,让智能体在进入真实世界之前,先学习动作可能带来的结果。不过,这些应用对世界状态、物理准确性、交互延迟和长期一致性提出了不同程度的要求,距离大规模成熟应用仍有不少技术问题需要解决。
回顾从 H3 Max Director 到 Genie 4 的技术进展,可以看到 AI 视频生成正在从追求画质、速度和连续性,进一步走向环境模拟与实时交互。未来的世界模型可能不仅依赖单一的视频生成模型,而是通过生成模型、状态管理与推理 Agent 的协同,建立更加稳定、可控的交互环境。如果说过去几年 AI 解决的是如何生成逼真的视频,那么下一阶段的重要课题,就是如何让生成的世界能够持续存在,并对用户的行动作出可信的响应。
如果让观众共同决定剧情,你最想先验证什么?
指令发出后多久能看到变化,观众改变过的场景能否一直保留?欢迎带着直播互动、AI 视频或世界模型的体验与问题来交流。
关注公众号 「花椒技术部」,回复 「技术群」 获取入群入口。