Open-Sora 2.0：零门槛吊打闭源！20万训练成本开源视频模型生成720p大片

蚝油菜花
334 阅读5分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎬 "百万特效团队慌了！中国团队开源视频核弹：20万训练成本碾压闭源模型，小白秒出好莱坞大片"

大家好，我是蚝油菜花。当好莱坞还在为单支CG视频烧掉百万美元时，中国开发者用开源力量炸翻了整个行业——

你是否经历过这些创作噩梦：

  • 👉 想拍科幻短片，光渲染一帧就要吃掉整夜电费
  • 👉 人物动作僵硬得像木偶，关键帧调整逼疯动画师
  • 👉 想试水短视频，却被动辄百万参数的模型吓退...

今天要揭秘的 Open-Sora 2.0 ，用三大黑科技重新定义视频生成：

  • ✅ 成本屠夫：仅需224张GPU完成训练，成本直降90%
  • ✅ 性能怪兽：11B参数模型吊打30B级闭源对手，VBench评分屠榜
  • ✅ 细节控场：从发丝飘动到光影渐变，720p/24帧流畅度堪比实拍

更疯狂的是，它把3D自编码器、MMDiT架构这些尖端技术全部开源！接下来我将手把手教你在Colab上免费体验这个AI制片厂，准备好见证属于开发者的视觉革命了吗？

🚀 快速阅读

Open-Sora 2.0 是一款开源AI视频生成模型，性能媲美主流闭源模型。

  1. 核心功能：支持720p高清视频生成、文本到视频、图像到视频等多种生成方式。
  2. 技术原理：基于3D自编码器、全注意力机制和MMDiT架构，显著提升训练效率和推理速度。

Open-Sora 2.0 是什么

Open-Sora-cover

Open-Sora 2.0 是潞晨科技推出的全新开源SOTA（State-of-the-Art）视频生成模型。它仅需20万美元（224张GPU）的训练成本，成功训练出11B参数的商业级模型，相比传统高性能视频生成模型大幅降低了训练成本。

Open-Sora 2.0 在 VBench 和用户偏好测试中表现卓越，性能媲美甚至超越 HunyuanVideo 和 30B 参数的 Step-Video 等主流闭源模型。它基于 3D 自编码器、3D 全注意力机制和 MMDiT 架构，结合高效的并行训练方案和高压缩比自编码器，显著提升训练效率和推理速度。

Open-Sora 2.0 的主要功能

5s 1024×5765s 576×10245s 576×1024
  • 高质量视频生成：生成 720p 分辨率、24 FPS 的流畅视频，支持多种场景和风格，从自然风光到复杂动态场景都能表现出色。
  • 动作幅度可控：根据用户需求调整视频中人物或物体的动作幅度，实现更细腻、精准的动态表现。
  • 文本到视频（T2V）生成：支持用文本描述直接生成对应的视频内容，满足创意视频制作和内容生成的需求。
  • 图像到视频（I2V）生成：结合开源图像模型，基于图像生成视频，进一步提升生成效果和多样性。

Open-Sora 2.0 的技术原理

  • 模型架构：基于三维自编码器高效处理视频数据，捕捉时间维度上的动态信息。引入全注意力机制，提升视频生成的时空一致性。结合多模态扩散（MMDiT）架构，更精准地捕捉文本与视频内容的关联。
  • 高压缩比自编码器：基于 4×32×32 的高压缩比自编码器，显著降低推理成本。
  • 高效训练方法：基于多阶段、多层次的数据筛选机制，确保高质量数据输入，提升训练效率。优先在低分辨率下训练，学习关键动态特征，逐步提升分辨率，大幅降低计算开销。优先训练图生视频任务，用图像特征引导视频生成，加速模型收敛。
  • 并行训练与优化：结合 ColossalAI 和系统级优化，提升计算资源利用率。关键技术优化包括序列并行、ZeroDP、细粒度 Gradient Checkpointing、自动恢复机制、高效数据加载与内存管理等，确保训练效率最大化。
  • 模型初始化与蒸馏：借助开源图生视频模型 FLUX 进行初始化，降低训练成本。基于蒸馏的优化策略提升自编码器特征空间的表达能力，减少训练所需数据量和时间。

如何运行 Open-Sora 2.0

从源代码安装

1. 创建虚拟环境（推荐使用 Conda）

conda create -n opensora python=3.9
conda activate opensora

2. 克隆仓库

git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora

3. 安装依赖

根据你的 CUDA 版本（例如 CUDA 12.1），安装基础依赖：

pip install -r requirements/requirements-cu121.txt

4. 安装项目

pip install -v .
# 或使用开发模式：pip install -v -e .

5. 安装加速相关的依赖（可选，但推荐）

pip install git+https://github.com/hpcaitech/TensorNVMe.git
pip install git+https://github.com/hpcaitech/ColossalAI.git
pip install packaging ninja
pip install flash-attn --no-build-isolation
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" git+https://github.com/NVIDIA/apex.git

使用 Docker 安装

1. 构建 Docker 镜像

docker build -t opensora .

2. 运行 Docker 容器（确保挂载 GPU 和工作目录）

docker run -ti --gpus all -v .:/workspace/Open-Sora opensora

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝