在视频创作领域，如何实现一致且可控的动画效果一直是研究者们关注的重点。近日，研究团队推出了名为 “AnimateAnything” 的新方法，旨在通过精准的视频操作，使动画创作更加灵活和高效。该技术可以在不同的条件下，如摄像机轨迹、文本提示和用户动作注释等，进行精确的视频处理。
“AnimateAnything” 通过设计一种多尺度控制特征融合网络，构建了一个统一的运动表示。这一网络能够将所有控制信息转化为逐帧的光流，从而指导视频的生成。在这个过程中，光流作为运动先验，帮助提升动画的一致性和稳定性。
为了解决大规模运动带来的闪烁问题，研究团队还引入了一种基于频率的稳定模块。这个模块通过确保视频频域的一致性，增强了视频的时间连贯性，使得动画效果更加自然。
在一系列实验中，“AnimateAnything” 展现出优于现有技术的卓越性能。例如，在人脸动画的生成中，该方法能够实现更高的真实感和细腻度。此外，在与其他技术如 CameraCtrl 和 MotionCtrl 的对比中，AnimateAnything 均表现出色，展示了其在多种应用场景下的适用性和灵活性。
快速开始
安装依赖
git clone https://github.com/alibaba/animate-anything
cd animate-anything
conda create -n animation python=3.10
conda activate animation
pip install -r requirements.txt
下载模型，并解压
wget https://cloudbook-public-production.oss-cn-shanghai.aliyuncs.com/animation/animate_anything_512_v1.02.tar
mkdir -p /content/animate-anything/output/latent/
tar -xf animate_anything_512_v1.02.tar -C /content/animate-anything/output/latent/
推理
python train.py --config output/latent/animate_anything_512_v1.02/config.yaml --eval validation_data.prompt_image=example/barbie2.jpg validation_data.prompt='A cartoon girl is talking.'
Github：github.com/alibaba/ani…
感谢大家花时间阅读我的文章，你们的支持是我不断前进的动力。点赞并关注，获取最新科技动态，不落伍！🤗🤗🤗
