最近我发现了一个很有趣的工具:Mugen Morph。输入台词文本和语音,就可以驱动图片角色、Mesh 3D 数字人或 3DGS 数字人,让角色的口型与语音同步,并呈现相应的情绪和表情。
正好最近 DeepSeek 开放了更多对话应用 API 能力,也开源了一个前端 Demo。我就想到,可以把它和 Mugen Morph 结合起来,试着做一个能聊天、也能让 3DGS 数字人开口回应的 AI 网页。这个应用里,我想重点展示的是 Mugen Morph 如何根据语音驱动角色的口型和表情。
Mugen Morph:让角色的口型与表情跟随语音变化
从一段语音到角色表演
使用 Mugen Morph 时,用户可以输入角色图片和音频,并选择希望呈现的情绪。Mugen Morph 根据语音生成对应的口型和面部动作,再驱动角色呈现出来。
这类能力可以用于角色对白、数字人讲解,也可以作为互动角色的面部表演环节。它关注的不只是让角色“嘴巴动起来”,还包括口型与语音的同步,以及不同情绪下的面部表现。
同一句台词不同情绪下的面部表现
从输入语音与角色素材,到生成角色面部表演
一个应用设想:让 3DGS 数字人开口回应
以 AI 聊天网页为例,用户输入问题后,对话系统生成回答,语音模块将回答转换为音频,再由 Mugen Morph 根据语音驱动 3DGS 数字人的口型和表情。DeepSeek 可以作为对话能力的来源之一;Mugen Morph 负责的是角色面部表演,并不负责生成聊天内容。
这样,AI 的回复就不只显示在聊天框里,也可以通过一个有口型和表情的数字人呈现。对于实时互动应用,Mugen Morph 可以与对话系统、语音模块和 3D 角色共同组成完整工作流。
从 AI 回复到数字人回应:对话、语音与面部表演的组合工作流
长时段生成:减少分段拼接
许多视频生成工作流需要先生成多段短视频,再把片段拼接成较长内容。分段制作可能带来角色外观变化、表情衔接不自然等问题。
Mugen Morph 使用自回归(AR)结构持续推理音频,再将生成的动作表达解码为视频画面。它不依赖固定的 15 秒或 30 秒短片段生成方式,因此可以用于更长时段的角色内容。
由于视频画面以用户输入的角色图片为外观依据,角色身份也更容易保持稳定。对于长对白、课程讲解或角色叙事内容,这种连续生成方式可以减少多段素材拼接带来的衔接问题。
长时段输出示例|观察角色外观与面部表演的连续性
成本与推理效率
对于长内容制作,生成成本和所需时间都会影响工作流选择。根据我们目前的内部测试与测算,Mugen Morph 的视频生成成本可低至部分视频生成工作流的约 1/7;随着内容时长增加,相对成本优势也会更加明显。
我们当前记录的生成时间参考如下:
| 方案 | 生成 10 秒视频的时间参考 |
|---|---|
| Mugen Morph | 约 42 秒 |
| Seedance | 通常约 5 分钟 |
| H3 | 约 5–20 分钟 |
在模型结构方面,Mugen Morph 的“动作生成 + 视频解码”网络参数量合计小于 0.9B;H3 的参数量约为 33B,Seedance 参数量未公开。Mugen Morph 的动作生成部分负责将音频转换为动作表达,后续再根据视频或 3D 角色的工作流进行呈现。以 30 秒音频为例,动作生成部分可在 3 秒内完成;视频解码则是整体视频生成流程中的另一部分。
一套动作能力,多种呈现方式
Mugen Morph 的动作表达可以用于不同的角色与内容工作流:
-
**图片角色与视频:**根据输入图片和语音生成角色口播画面。
-
**3DGS 数字人:**用语音驱动角色的口型和面部表情。
-
**Mesh 3D 数字人:**将语音驱动的面部表现用于 3D 角色。
-
**ARKit 工作流:**用于面部动画数据及相关角色驱动流程。
视频适合预先制作和发布内容;3DGS、Mesh 3D 数字人及 ARKit 工作流则可以用于不同的角色制作或交互项目。实时互动场景中,Mugen Morph 负责把语音转换为角色面部表现,通常还需要与对话系统和语音模块配合。如果还需要进一步打磨角色表演,Mugen Morph 生成的面部动画数据可以导入 Maya、Blender 等 DCC 软件继续调整和精修,方便动画师结合角色设定和镜头需要完善细节。
Mugen Morph 在视频、3DGS 与 ARKit 等工作流中的呈现
适用人群与应用场景 当语音驱动的角色表演可以应用于图片、视频和 3D 角色时,受众就不只限于开发者。
-
自媒体创作者和独立内容团队 用口播音频驱动固定的数字人形象,制作讲解视频、教程、知识分享或画中画内容,减少真人出镜和重复录制的工作。
-
插画师、角色原画和角色美术 让已有的原创角色立绘开口说话,为作品展示、角色对白、预告片或短篇内容增加口型与表情表现。
-
游戏和数字人开发者 将语音驱动的口型与表情用于 NPC、虚拟角色或互动数字人,并结合对话系统、语音模块和 3D 角色工作流,构建角色回应场景。
-
动画师和 3D 美术
将生成的口型与表情作为动画初稿,导入 Maya、Blender 等软件继续调整和精修,减少从零开始制作对白面部动画的工作量。
我的体验总结
我认为 Mugen Morph 值得开发者关注的地方,是它把口型同步、多种情绪、长时段生成、多种角色呈现方式,以及面向长内容的成本优势放进了同一套语音驱动工作流中。
如果你的项目需要角色口播内容,可以测试长时段输出的连续性和生成成本;如果需要互动数字人,则可以将 Mugen Morph 与对话系统、语音模块和 3D 角色结合,探索实时角色回应的实现方式。
注:文中生成时间、模型参数量和成本数据为当前内部测试与测算参考,实际表现会因硬件、分辨率、服务配置和计费方式而变化。DeepSeek 对话应用 API 与开源前端 Demo 的详情可参考官方更新说明。DeepSeek 官方更新说明