VideoGrain：零样本多粒度视频编辑神器，用AI完成换装改场景，精准控制每一帧！

蚝油菜花
172 阅读4分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎥 “视频编辑革命！悉尼科技大学联手浙大推出VideoGrain：零样本多粒度编辑，精准控制每一帧！”

大家好，我是蚝油菜花。你是否也遇到过——

  • 👉 视频后期制作繁琐，修改一个角色需要逐帧调整
  • 👉 特效添加不自然，帧间过渡生硬，影响观感
  • 👉 想要快速替换场景或角色，却受限于现有工具的功能

今天揭秘的 VideoGrain ，用AI彻底颠覆视频编辑方式！这个由悉尼科技大学和浙江大学联合推出的框架，基于调节时空交叉注意力和自注意力机制，能实现类别级、实例级和部件级的精细视频修改，保持时间一致性，无需额外参数调整。——你的视频编辑方式准备好迎接革命了吗？

🚀 快速阅读

VideoGrain 是悉尼科技大学和浙江大学推出的零样本多粒度视频编辑框架。

  1. 核心功能：实现类别级、实例级和部件级的精细视频修改，保持时间一致性。
  2. 技术原理：基于调节时空交叉注意力和自注意力机制，增强文本提示对目标区域的控制能力。

VideoGrain 是什么

VideoGrain

VideoGrain 是悉尼科技大学和浙江大学推出的零样本多粒度视频编辑框架，能够实现类别级、实例级和部件级的精细视频修改。该框架基于调节时空交叉注意力和自注意力机制，增强文本提示对目标区域的控制能力，保持区域间的特征分离，解决现有扩散模型中语义错位和特征耦合的问题。

VideoGrain 不依赖于额外的参数调整，能在真实世界场景中实现高质量的视频编辑，保持时间一致性。在多粒度编辑任务中表现出色，显著优于现有的 T2I 和 T2V 方法，为视频内容创作提供更灵活和精准的工具。

VideoGrain 的主要功能

VideoGrain-editing

  • 多粒度视频编辑：将视频中的多个对象分别编辑为不同类别（如将一个人编辑为“蜘蛛侠”，另一个人编辑为“北极熊”），或对对象的局部进行修改（如改变衣服颜色或添加配饰）。
  • 文本驱动的区域控制：基于自然语言提示精确控制视频中的特定区域，实现精准的编辑效果。
  • 时间一致性：在编辑过程中，保持视频的时间连贯性，避免因编辑导致的帧间闪烁或不自然的过渡。
  • 无需参数调整：作为零样本方法，VideoGrain 不需对模型进行额外的训练或参数调整。
  • 高效计算性能：在实验中表现出较低的内存占用和较快的编辑速度，适合实时视频编辑应用。

VideoGrain 的技术原理

VideoGrain-pipeline

  • 交叉注意力调节：基于调节交叉注意力层，增强文本提示对目标区域的聚焦能力，同时抑制对无关区域的注意力。将文本提示与视频帧的空间区域进行绑定，基于调整查询-键对的注意力权重，使文本特征集中在对应的区域，实现文本到区域的精准控制。
  • 自注意力调节：在自注意力层中，增强区域内特征的自注意力，减少区域间的干扰。模型能避免因类别特征耦合导致的编辑错误（例如将不同实例视为同一类别）。确保每个查询只关注其目标区域，保持了特征的分离和编辑的独立性。

如何运行 VideoGrain

设置环境

这里的方法在单个 L40 上使用 cuda12.1、fp16 加速器和 xformers 进行测试。

# 第一步：创建并激活 Conda 环境
conda create -n videograin python==3.10 
conda activate videograin

# 第二步：安装 PyTorch、CUDA 和 Xformers
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia
pip install --pre -U xformers==0.0.27

# 第三步：使用 pip 安装其他依赖项
pip install -r requirements.txt

xformers 推荐用于节省内存和运行时间。

🔛 准备所有数据

gdown https://drive.google.com/file/d/1dzdvLnXWeMFR3CE2Ew0Bs06vyFSvnGXA/view?usp=drive_link
tar -zxvf videograin_data.tar.gz

🔥 VideoGrain 编辑

你可以通过运行以下命令重现这里的多粒度编辑结果：

bash test.sh 
# 或者 accelerate launch test.py --config config/instance_level/running_two_man/running_3cls_polar_spider_vis_weight.yaml

结果保存在 ./result 目录下。

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝