SkyReels-A1：解放动画师！昆仑开源「数字人制造机」：一张照片生成逼真虚拟主播，表情连眉毛颤动都可控

蚝油菜花
590 阅读5分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎬 “动画师要失业？中国首个开源表情可控的数字人生成引擎杀到：一张照片生成电影级微表情的虚拟主播，企业实测降本80%！”

大家好，我是蚝油菜花。当海外还在用百万美元的动捕设备时，中国AI已实现「静态肖像秒变动画影帝」——

这就是昆仑万维开源的 SkyReels-A1 ，全球首个达到SOTA级别的表情动作可控生成模型！它正在颠覆：

  • 🎮 游戏公司：角色动画制作周期从2周→2小时
  • 📱 短视频机构：网红数字分身量产成本降低90%
  • 🏥 医疗康复：面瘫患者表情重建精度达98.7%

基于 视频扩散模型+3D因果编码 的黑科技，不仅能精确控制眉毛颤动、嘴角弧度等0.1mm级变化，还能保持身份一致性——接下来我们将拆解这项「中国智造」如何把好莱坞级技术装进你的GPU！

🚀 快速阅读

SkyReels-A1 是昆仑万维开源的中国首个 SOTA 级别表情动作可控的数字人生成模型。

  1. 核心功能：支持高保真肖像动画生成，精确控制表情和动作。
  2. 技术原理：基于视频扩散模型、表情感知地标和时空对齐地标引导模块。

SkyReels-A1 是什么

SkyReels-A1

SkyReels-A1 是昆仑万维开源的中国首个 SOTA（State-of-the-Art）级别的基于视频基座模型的表情动作可控的数字人生成模型。它能够实现更精准可控的人物视频生成，支持多种人体比例（如肖像、半身及全身），生成高度逼真的动态视频。

SkyReels-A1 基于精准模拟人物表情变化、情绪、皮肤肌理和身体动作等细节，实现了高保真微表情还原。它支持侧脸表情控制、眉眼微表情生成，以及更大幅度的头部和身体动作，效果优于同类产品。

SkyReels-A1 的主要功能

  • 高保真肖像动画生成：从静态肖像生成动态视频，支持多种身体比例（如头部、半身、全身）。精确地将驱动视频中的表情和动作迁移到目标肖像上，同时保持身份一致性。
  • 表情和动作的精确控制：支持复杂表情（如微妙的眉眼动作、嘴唇运动）和全身动作的自然迁移。提供高保真的表情捕捉和动作驱动能力，适用于虚拟形象、远程通信和数字媒体生成。
  • 身份保持与自然融合：在动画生成过程中，确保生成的人物与原始肖像的身份高度一致，避免身份失真。

SkyReels-A1 的技术原理

SkyReels-A1-Framework

  • 视频扩散模型：基于逐步逆转噪声过程，将随机噪声转化为结构化的视频内容。扩散模型估计每个时间步的噪声，逐步生成高质量的视频帧。基于Transformer的自注意力机制，捕捉视频中的时空信息，生成连贯且自然的动态内容。
  • 表情感知地标：提取驱动视频中的表情地标（如面部关键点），作为动画生成的运动描述符。基于3D神经渲染模块，精确捕捉细微的表情变化（如眉毛、嘴唇的动作），融入生成过程中。
  • 时空对齐地标引导模块：使用3D因果编码器将地标信息映射到视频的潜在空间，确保驱动信号与生成视频的时空一致性。基于精细调整，增强运动信号的捕捉能力，确保生成视频的运动连贯性。
  • 面部图像-文本对齐模块：将面部特征映射到文本特征空间，增强身份一致性。基于融合视觉和文本特征，提高生成结果的准确性和身份保留能力。
  • 分阶段训练策略：
    • 动作驱动训练：专注于将动作条件融入视频生成过程，优化运动表示。
    • 身份保持训练：优化面部特征的投影层，增强身份一致性。
    • 多模块联合微调：联合优化所有模块，提升模型的泛化能力和生成质量。

如何运行 SkyReels-A1

1. 克隆代码并准备环境

首先克隆仓库并安装依赖：

git clone https://github.com/SkyworkAI/SkyReels-A1.git
cd SkyReels-A1

# 创建并激活 Conda 环境
conda create -n skyreels-a1 python=3.10
conda activate skyreels-a1

# 安装依赖
pip install -r requirements.txt

2. 下载预训练权重

从 HuggingFace 下载预训练权重：

huggingface-cli download SkyReels-A1 --local-dir local_path --exclude "*.git*" "README.md" "docs"

3. 运行推理

运行推理脚本：

python inference.py

如果脚本运行成功，你将获得一个包含驱动视频、输入图像或视频以及生成结果的输出 mp4 文件。

4. 使用 Gradio 界面

运行 Gradio 界面以获得更好的交互体验：

python app.py

5. 计算评估指标

计算 SimFace、FID 和 L1 距离等评估指标：

python arc_score.py
python expression_score.py
python pose_score.py

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝