1 先说结论：哪种方案更适合你的项目？
让 MetaHuman 角色开口说话，除了口型是否跟得上语音，开发者同样关心面部表现是否自然，以及角色接入是否方便。这次，我们在 UE 5.6.1 中，使用同一角色和同一段音频，对比了 Mugen Morph 云端工作流与 NVIDIA Audio2Face-3D 的 LocalA2F-Claire 本地工作流。
如果你希望更方便地完成角色接入，并让角色在说话时呈现更活跃的眉眼和嘴角变化，Mugen Morph 值得优先尝试。在本次操作中，插件提供的演示场景与角色设置入口，让接入过程更顺手；默认输出中的抬眉、嘴角上扬等变化，也让角色呈现出更明显的交流感。使用这套云端流程，需要同时考虑网络条件与请求等待。
NVIDIA Audio2Face-3D 的 Claire 本地方案适合有本地推理需求、愿意投入配置工作的开发者。它在本轮单次记录中的播放等待更短，但模型部署、动画蓝图和调用流程需要更多配置；本次默认输出的上半脸表现也相对克制。
新一轮研发进展：让口型与表情更自然地配合
除了前面的插件对比，我们也带来了新一轮面部动画研发成果。在两个角色的中英文片段中，可以观察到连续的嘴部动作，以及笑容、眉部收紧、抬眉等表情变化。其中，开心与生气两种情绪的差异较为直观，让角色说话时的情绪表达更鲜明。
这些阶段性成果，也是我们希望进一步带入 Mugen Morph 的表现。
本文介绍了 UE 与 Unity 的接入方式，以及对非 MetaHuman 角色的适配，并通过同条件对比与研发演示，展示 Mugen Morph 当前的表现及后续优化方向。
2 本次测试的范围与条件
Mugen Morph 提供语音驱动面部动画的 API 和引擎接入工具。本次 UE 流程通过插件提交音频，再将返回的动画数据应用到角色。NVIDIA 一侧使用 ACE 插件与 Claire 本地模型。具体配置如下。
双方使用同一角色与相同音频，并保持镜头、光照及参数策略一致。口型效果按语音起点对齐；等待时间从发起请求开始计时。
3 UE 中的中英文口型对比
这部分通过同一角色、同一段中英文音频，观察两套方案的口型与面部表现。观看时可以重点留意：嘴巴是否跟得上发音、停顿时是否自然闭合，以及嘴角和眉眼有没有配合变化。
在本次中英文测试中，两套方案都能生成张嘴、收拢和闭合等唇部动作。Mugen Morph 在部分语句中伴随更多嘴角上扬；Nxxx Audio2Face 的 Claire 模型在部分位置开口幅度更大，嘴角变化相对较少。
| 观察项目 | Mugen Morph | Nxxx Audio2Face（Claire） |
|---|---|---|
| 基础口型 | 可见张嘴、收拢与闭合 | 可见张嘴、收拢与闭合 |
| 嘴角变化 | 部分语句伴随嘴角上扬 | 嘴角变化相对较少 |
| 开口幅度 | 部分位置开口较小 | 对应位置开口更明显 |
下面保留完整音频与同步对照画面，大家可以结合实际发音，判断哪种口型和表情更符合自己的角色需求。 「UE 中文口型对比」 「UE 英文口型对比」
4 面部表情：眉眼与嘴角带来的交流感
在数字讲解、角色对话等画面中，眉眼和嘴角的变化，会直接影响角色给人的交流感。本次中英文长音频对比中，Mugen Morph 除了嘴部开合，还呈现出较明显的抬眉、眨眼和嘴角上扬，让整张脸的表现更丰富。
中文视频约 00:11，可以看到 Mugen Morph 角色眉毛抬起、眼睛睁大；约 00:25–00:26，嘴角上扬更加明显。英文视频约 00:27，角色呈现出较清晰的笑意；约 00:31，抬眉带来的额头与眼周变化也很直观。相比之下，右侧 Claire 在这些位置的眉眼变化较小，动作更多集中在嘴部。
这些细节让 Mugen Morph 的角色在持续说话时更显生动，也更容易呈现亲切的交流感。对于希望角色带有更多表情的数字讲解、虚拟主持或角色对话项目，这是本次测试中值得关注的优势。开发者可以结合角色性格和台词风格，判断这样的表情幅度是否符合项目需求。
5 UE 与 Unity 接入教程
从这次接入过程看，Mugen Morph 的便利主要体现在两点：UE 端提供了创建测试场景、配置所选角色的菜单入口；Unity 端提供了可直接导入的插件和示例场景。开发者可以先跑通音频驱动，再接入自己的角色与项目。对于同时使用 UE 和 Unity 的团队，这样的接入路径更容易起步，也更便于复用。
5.1 Mugen Morph：在 UE 中完成接入
- 准备插件与项目。 本教程使用 UE 5.6 源码插件：先安装 Visual Studio 2022 的 C++ 游戏开发组件，再创建 C++ 项目，将插件放入项目的 Plugins/SumeruAI 目录，启用插件及所需的 MetaHuman、RigLogic 等依赖。首次安装仍需完成编译环境配置。
- 填写 API 密钥。 打开 Edit → Project Settings → Mugen3D → MugenMorph API，填写 Access Key 和 Secret Key；也可通过 Mugen3D → API Settings 进入。密钥从官网开发者页面获取.(相关地址：
- 创建场景并配置角色。 执行 Mugen3D → Create MugenMorph Demo Level，导入自己的 MetaHuman 或 ARKit 面部角色。选中角色后，执行 Mugen3D → Setup MugenMorph on Selected Actor。
- 选择音频并播放。 点击 Play，通过 Browse 或 J 键选择 WAV 文件；也可使用 Start Record / Stop Record 录音。等待 API 返回后，查看音频与默认面部动画的同步播放。
图 5-1｜Mugen Morph UE 接入：插件、密钥与角色配置。
这条流程把常用的角色配置集中到了菜单中，减少了首次跑通示例时手动添加组件、连接调用逻辑的工作。开发者仍可在此基础上接入自己的项目流程。
5.2 Mugen Morph：在 Unity 中运行示例
- 导入插件。 创建与示例匹配的 Unity 项目，将下载的MugenMorph.0.0.8.unitypackage拖入编辑器并点击 Import。本教程使用 HDRP 项目，其他渲染管线需选择相应示例与材质配置。
- 保存 API 设置。 打开 Tools → Mugen3D → API Settings，填写 Access Key 和 Secret Key，点击 Save Settings。
- 打开示例场景。 在 Assets → Mugen3D → Samples → Scenes 中打开Mugen Morph场景，点击 Play 运行。
- 录音或选择文件。 使用 Start Record 录制麦克风音频，或通过 Select File 选择音频文件，完成处理后查看同步播放。
图 5-2｜Mugen Morph Unity 接入：导入插件后，从 ATF 示例开始验证。
这套示例提供了从音频输入、面部形变驱动到同步播放的完整接入路径。对于已经准备好 ARKit 面部形变的非 MetaHuman 角色，也可以从示例开始，完成角色与形变映射后接入自己的项目。通用性体现在可复用的角色适配方式与引擎入口，具体角色仍需满足相应的驱动条件。
版本说明：以上步骤与截图对应本次教程版本，界面保留 SumeruAI / ATF 命名；其他版本的菜单与目录请以插件文档为准。
5.3 NVIDIA：UE 接入流程与 Unity 的额外集成工作
本次 NVIDIA 教程采用 ACE 插件与本地模型。在 UE 中，除了安装插件和导入角色，还需要为角色添加 ACEAudioCurveSource，设置面部动画蓝图，并连接音频调用与触发逻辑。
- 连接动画蓝图。 在面部动画蓝图中加入 Apply ACE Face Animations，并放在 ARKit 映射节点之前，再连接输出姿态。
- 配置音频调用。 使用 Animate Character from Wav File Async，设置 WAV 路径和对应的 A2F Provider，并配置输入事件。原教程用 T 键触发播放；参数暴露和模型切换属于后续可选扩展。
图 5-3｜NVIDIA UE 教程中的动画蓝图与音频调用配置。
本次使用的 NVIDIA 官方插件流程面向 UE。Unity 侧没有对应的现成官方插件流程可直接照搬，需要另行集成服务或推理调用、面部数据映射和播放逻辑，因此本次没有制作 NVIDIA 的 Unity 接入教程。
因此，如果项目同时涉及 UE 与 Unity，或希望先通过现成示例验证已有角色，Mugen Morph 的双引擎插件与示例更便于起步。在本次 UE 教程中，菜单化的角色配置也减少了手动搭建基础调用链的步骤；NVIDIA 的流程则更适合愿意自行配置蓝图、需要本地推理与更细致参数控制的开发者。
教程与文档：
Mugen Morph API 与体验入口：mugen3d.ai/api/
Mugen Morph Unity 插件与说明：github.com/sumeurai/Mu…
NVIDIA ACE UE 插件文档：docs.nvidia.com/ace/ace-unr…
6 接入流程 哪些环节更省事
从本次接入过程看，Mugen Morph 的便利主要体现在：UE 中的常用角色配置集中在插件菜单里，Unity 中也有现成的插件与示例场景。 开发者可以先完成基础验证，再把音频驱动接入自己的项目。
| 对比环节 | Mugen Morph 本次流程 | NVIDIA 本次流程 |
|---|---|---|
| 环境准备 | UE 源码安装需要 C++ 项目与编译环境；Unity 可导入插件包 | UE 需要安装匹配版本的 ACE 插件与所选本地模型 |
| UE 角色配置 | 创建演示关卡，选中角色执行 Setup，完成基础驱动配置 | 添加 ACEAudioCurveSource，设置面部动画蓝图并连接相关节点 |
| 音频调用 | 配置 API 密钥，通过现成示例选择音频并验证播放 | 配置 WAV 路径、角色引用、模型 Provider，以及调用和触发逻辑 |
| Unity 接入 | 提供插件与示例场景，可从音频输入、面部驱动到同步播放逐步接入 | 本次采用的官方插件流程面向 UE；Unity 需要额外开发调用、数据映射与播放逻辑 |
这些差别让 Mugen Morph 更适合希望先跑通示例、再逐步接入项目的开发者。在 UE 中，菜单入口减少了基础角色配置和调用逻辑的手动搭建；在 Unity 中，现成示例提供了可以参考和复用的完整流程。
对于同时使用 UE 与 Unity 的团队，两个引擎都有现成的接入路径，是 Mugen Morph 在项目适用性上的直接优势。 已经具备 ARKit 面部形变的角色，也可以从示例出发完成适配，复用已有角色资产。
7 播放等待时间与使用成本
本轮使用同一份 Audio2Face.wav，比较 Mugen Morph 云端工作流与 NVIDIA LocalA2F-Claire 本地工作流的播放等待时间。计时从录屏中出现处理请求日志开始，到首个语音出现结束，不包含此前浏览文件夹、选择音频的操作时间。
| 记录项 | Mugen Morph | NVIDIA LocalA2F-Claire |
|---|---|---|
| 测试录屏 | 20261017_122304 | 20261017_121859 |
| 处理请求日志出现 | 约 00:32.5 | 约 00:11.5 |
| 语音开始 | 约 01:01.2 | 约 00:14.3 |
| 本次播放等待时间 | 约 28.7 秒 | 约 2.8 秒 |
| 播放结果 | 完成测试语音播放 | 完成测试语音播放 |
本次单次测试中，Claire 本地工作流的播放等待时间更短，约少 25.9 秒。以上时间根据原始录屏估算，表中的时间位置均对应各自原视频。
这里测量的是从处理请求到声音出现的整体等待时间，包含工作流中的处理、播放准备以及输入音频开头可能存在的静音，不等同于模型的纯计算耗时或面部动画首帧延迟。
两段录屏均完成了测试语音播放，未见程序退出或播放中途终止。
Mugen Morph 的按时长计费
截至 2026 年 10 月 13 日，我们记录到的 Mugen Morph 开发者价格为无订阅费、无月费，按当月处理的音频时长进行阶梯计费。每月 1 日重置用量阶梯，超出当前区间的部分进入下一档。发布前仍应以开发者后台的实时显示和账户条款为准。
| 当月音频用量 | 单价 |
|---|---|
| 1 至 6,000 秒 | $0.002 每秒 |
| 6,001 至 60,000 秒 | $0.0016 每秒 |
| 60,001 至 600,000 秒 | $0.0012 每秒 |
| 600,001 秒以上 | $0.001 每秒 |
按首档估算，一段 10 秒音频约为 0.02 美元；一个月处理 3,600 秒约为 7.20 美元。如果阶梯按超出部分计费，10,000 秒约为 18.40 美元，即前 6,000 秒为 12 美元，后 4,000 秒为 6.40 美元。预算时还要考虑重试、测试素材和重复生成。
NVIDIA 本地模式的硬件与许可成本
NVIDIA 本地工作流没有与 Mugen 相同的每秒云 API 价格。官方资料将 Audio2Face-3D SDK 的 C++ 和 Python 源码标为 MIT 许可，模型权重使用 NVIDIA Open Model License；具体产品分发仍应核对所下载插件、模型和依赖的许可文件。
本文所用 LocalA2F-James 对应 James v3.0 diffusion 本地提供者。官方文档列出的显存需求约为 4.4 GiB 或更高，并要求支持的 NVIDIA Ampere、Ada 或 Blackwell GPU 及相应驱动。实际项目还要为 UE 渲染留出显存，因此“模型能加载”不等于目标场景在同一设备上一定流畅。
| 成本项 | Mugen Morph 云端 | NVIDIA LocalA2F James |
|---|---|---|
| 直接调用费用 | 按处理音频秒数 | 本地路径没有同口径的每秒 API 费 |
| 客户端 GPU | 不要求为面部推理准备指定 NVIDIA GPU | 需要受支持的 NVIDIA GPU，James v3 约 4.4 GiB 以上显存 |
| 网络 | 运行时需要可用连接 | 本地推理不依赖远程 A2F 服务 |
| 工程时间 | 主要在插件编译、密钥、角色映射和网络错误处理 | 主要在插件模型、AnimBP、蓝图、硬件兼容和性能调优 |
| 运维方式 | 服务端由供应方维护，客户端管理配额与失败重试 | 团队负责目标设备、驱动、模型包和版本兼容 |
| 成本优势何时出现 | 调用量可预测且希望减少本地部署时 | 设备已满足条件且本地使用规模足以覆盖工程投入时 |
8 实测结论 哪些需求更适合 Mugen Morph
在本次 UE 5.6.1、同一 MetaHuman 角色和默认参数的测试中，两种方案各有侧重。
| 对比维度 | 本次结论 |
|---|---|
| 安装与接入 | 根据本次操作体验，Mugen Morph 的接入流程更便捷；Claire 本地工作流需要更多配置 |
| 英文口型 | 两者均产生了口型变化，部分开合幅度和闭合时机不同，尚未得出整体准确度排名 |
| 面部表情 | Mugen Morph 的眉眼和嘴角更活跃；Claire 的上半脸相对克制 |
| 播放等待时间 | 最新一轮单次记录中，Mugen Morph 约 28.7 秒，Claire 约 2.8 秒 |
| 运行表现 | 两者均完成了本轮测试语音的播放 |
如果优先考虑在 UE 或Unity中较快完成角色接入，并接受云端调用，Mugen Morph 值得优先尝试。 本次默认结果中，它也呈现出更明显的眉眼和嘴角变化。
如果优先考虑本地推理，并愿意投入安装配置工作，LocalA2F-Claire 值得考虑。 在最新一轮测试中，它从处理请求到语音播放的等待时间更短。
本次比较没有一个覆盖所有维度的胜者。接入便捷、口型准确、表情风格和播放速度，应根据项目需求分别判断。
本轮直接对照仅覆盖一个 MetaHuman 角色、有限音频和默认参数，不能代表所有角色、语速和说话风格。NVIDIA 实测对象为 LocalA2F-Claire 本地工作流，结论不能直接推广到 James、Mark 或云端部署。我们也没有进行逐发音准确率评分、情绪识别评分、抖动量化或长期稳定性测试。
9 角色适配与兼容性：已有角色如何复用
对于已经有角色资产的项目，接入语音驱动时，一个实际的问题是：现有角色能否继续使用，需要做哪些适配？
前面的教程展示了 Mugen Morph 在 UE 与 Unity 中的接入路径。除了 MetaHuman，对于具备所需面部形变数据的非 MetaHuman Mesh 角色，也可以参考相应示例进行接入，让已有角色通过音频生成口型与表情。
这为角色资产的复用提供了更多选择。实际接入时，需要结合角色的面部形变、参数映射以及插件要求完成适配；开发者可以先用一段音频验证自己的角色，再接入项目中的完整流程。
10 研发进展与未来方向
Mugen Morph Mesh 版本升级预览
在现有版本的基础上，我们正在推进自研 Mugen Morph Mesh 版本的下一代升级。下面展示的是新版本的面部驱动效果，重点是让角色说话时的口型、眉眼和整体表情配合得更加自然、连贯。
这次演示使用两个不同角色，分别展示中文与英文音频下的开心、生气、平静、恐惧和悲伤五种情绪。除了嘴部动作，也可以留意眉毛的抬起与收紧、眼睛的开合，以及嘴角和面部整体状态的变化，观察不同情绪如何体现在角色说话的过程中。
上图整理了五种情绪的代表画面，完整视频则展示了表情随语音变化的过程。我们希望通过这次升级，让角色既能跟随语音开口，也能更充分地传达说话时的情绪。
以上为尚未上线的研发版本演示，前文对比测试仍以当前插件版本为准
面向更多角色形态的拓展
在持续升级 Mesh 角色面部驱动效果的同时，我们也希望将这套能力逐步拓展到更多角色形态，包括面向 3DGS 角色的驱动探索。
我们的目标是让更多类型的角色资产能够通过语音产生自然的口型与表情，并更方便地进入开发者已有的创作流程。后续会结合实际研发进展，继续分享效果演示与接入方式。
11 常见问题与体验入口
Mugen Morph 和 NVIDIA Audio2Face-3D 哪个更适合 UE 开发者？
希望较快完成 MetaHuman 接入、接受云端调用，可以优先尝试 Mugen Morph。希望使用本地推理、愿意承担更多配置工作，可以考虑 NVIDIA LocalA2F-Claire。本文比较的是这两条具体工作流。
哪个英文口型更准确？
本轮尚未得出整体准确度排名。两者都能产生开合与闭唇动作，但部分动作幅度和时机不同。张嘴更大、表情更丰富，都不能直接等同于发音匹配更准确。
表情更活跃 是否代表情绪识别更好？
不能直接这样判断。UE 视频中更明显的抬眉与嘴角上扬，是可观察的表情差异；本轮没有单独评估情绪识别能力。研发演示中的五种分组，也不构成情绪识别评分。
哪个播放等待时间更短？
在最新使用 Audio2Face.wav 的单次测试中，Mugen Morph 约为 28.7 秒，LocalA2F-Claire 约为 2.8 秒。计时从处理请求日志出现开始，到首个语音出现结束。这是本次工作流的等待结果，不是纯模型计算耗时或普遍性能排名。
云端方案与本地方案放在一起比较 公平吗？
可以比较开发者实际使用时的接入步骤、输出效果和等待时间，但必须明确部署方式。本次 Mugen Morph 使用云端，Claire 使用本地，结果反映的是整套工作流的体验，不能据此把全部差异归因于模型本身。
接入更便捷 是否意味着不需要编译环境？
不意味着。本次采用的 GitHub 源码安装流程涉及 Visual Studio 和 C++ 项目。便捷主要指插件启用后的配置、角色设置和演示流程；其他安装方式应以对应版本的说明为准。
UE 结论可以直接用于 Unity 吗？
不能直接套用。本轮效果对照和等待时间均来自 UE 5.6.1。Unity 的插件接入、角色适配和运行表现需要在对应环境中另行验证。
研发演示里的能力 现在能通过插件直接使用吗？
本节所示面部控制器演示尚未落地到 Mugen Morph 的 3DGS 驱动流程，相关接入仍在开发中。现有 UE、Unity 网格角色流程与这项研发工作的可用状态，应分别了解。
如果你正在为项目选择语音驱动方案，可以从现有插件示例开始，用自己的角色和一段常用音频验证口型、面部风格及配置体验。开发者入口：mugen3d.ai/api
文档与参考资料
[1] Mugen Morph UE 插件与角色接入说明：github.com/sumeurai/Au…
[2] Mugen Morph Unity 插件与示例：github.com/sumeurai/Mu…
[3] NVIDIA ACE UE 2.5 Audio2Face-3D 文档：docs.nvidia.com/ace/ace-unr…
[4] Mugen3D 开发者 API 入口：mugen3d.ai/api
