AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性

蚝油菜花
334 阅读3分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

  1. 功能：自动将草图序列转换为彩色动画，减少手动上色工作量。
  2. 技术：基于视频扩散模型，捕捉时间动态和视觉连贯性。
  3. 应用：适用于动画制作、游戏开发和数字艺术创作等多个领域。

正文（附运行示例）

AniDoc 是什么

公众号: 蚝油菜花 - AniDoc

AniDoc 是由香港科技大学、蚂蚁集团、南京大学、浙江大学和香港大学共同推出的 2D 动画上色 AI 模型。该模型基于视频扩散模型，能够自动将草图序列转换为彩色动画，并遵循参考角色设计。AniDoc 通过对应匹配技术处理角色设计与草图之间的差异，确保色彩和风格的准确传递。

AniDoc 支持二值化草图输入，并通过背景增强策略提高模型的鲁棒性。此外，稀疏草图训练策略减少了人工绘制中间帧的需求，提升了色彩化精度和帧间一致性，降低了动画制作的劳动成本，加速了内容创作流程。

AniDoc 的主要功能

  • 自动上色：自动将草图序列转换为彩色动画，减少手动上色的工作量。
  • 对应匹配：处理参考角色设计与草图之间的不一致性，如角度、比例和姿态的差异。
  • 背景增强：提高模型对前景和背景区分的能力，改善上色质量。
  • 稀疏草图训练：减少中间帧的绘制工作，关键帧插值生成平滑的动画。
  • 多风格适应：适应不同风格的参考图像，为同一角色的不同草图提供一致的上色效果。

AniDoc 的技术原理

  • 视频扩散模型：捕捉时间动态和视觉连贯性，确保动画的连贯性。
  • 对应引导上色：通过显式的对应机制，将参考角色设计中的色彩和风格信息整合到草图中。
  • 二值化和背景增强：对条件草图进行二值化处理，并通过背景增强策略提高模型的鲁棒性。
  • 稀疏草图训练：采用两阶段训练策略，减少对密集草图的依赖。
  • 3D U-Net 架构：为视频生成设计的去噪 3D U-Net，整合参考图像信息到上色过程中。

如何运行 AniDoc

环境配置

首先，克隆 AniDoc 的 GitHub 仓库并设置环境：

git clone https://github.com/yihao-meng/AniDoc.git
cd AniDoc
conda create -n anidoc python=3.8 -y
conda activate anidoc
bash install.sh

下载预训练模型

下载预训练的 Stable Video Diffusion (SVD) 模型和其他必要的检查点：

# 下载 SVD 模型
wget https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/resolve/main/stable-video-diffusion-img2vid-xt.pth -P pretrained_weights/

# 下载 AniDoc 的 Unet 和 ControlNet 模型
wget https://huggingface.co/Yhmeng1106/anidoc/resolve/main/anidoc.pth -P pretrained_weights/

# 下载 co_tracker 模型
wget https://huggingface.co/facebook/cotracker/resolve/main/cotracker2.pth -P pretrained_weights/

运行推理

使用以下命令生成动画：

bash scripts_infer/anidoc_inference.sh

自定义输入

你可以通过修改 anidoc_inference.sh 脚本中的 --control_image 和 --ref_image 参数，使用自己的草图序列和参考角色设计。

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝