简介
近期，Open-Sora 2.0 在视频生成领域又掀起了一场风波。这款全新的开源视频生成模型，以 20 万美元的训练成本（仅需 224 张 GPU），实现了媲美 OpenAI Sora 的生成效果。
开源项目地址: github.com/hpcaitech/O…
从 Open-Sora 1.2 升级到 2.0 版本后，与行业领先的 OpenAI Sora 闭源模型之间的性能差距大幅缩小，从之前的 4.52% 缩减至仅 0.69%，几乎实现了性能的全面追平。
接下来我们一起来快速体验下 Open-Sora 2.0 大模型吧！
安装
1. 使用 conda 创建一个虚拟环境并激活
终端执行以下命令，使用 conda 创建一个虚拟环境，然后激活：
conda create -n opensora python=3.10
conda activate opensora
2. 克隆 Git 仓库代码
克隆 Open-Sora 项目到本地，并进入 Open-Sora 目录:
git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora
3. 安装依赖
执行以下命令安装项目依赖包:
# 安装 torch和torchvision
pip install torch torchvision
# 安装 Open-Sora
pip install -v .
# 安装 xformers
pip install xformers==0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121
# 安装 flash attention(可选)
pip install flash-attn --no-build-isolation
4. 模型下载
由于国内huggingface.co无法直接访问，以下通过替换为本站域名hf-mirror.com来解决 Huggingface无法访问问题：
#安装 huggingface_hub
pip install -U huggingface_hub
#设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
#下载 hpcai-tech/Open-Sora-v2 模型
huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts
使用
执行以下命令实现一个文生图的例子：
torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt "raining, sea"
效果如下：
结语
小伙伴们一起来体验下开源的Open-Sora 2.0吧！
感谢阅读，如果本文对你有帮助，欢迎点赞、转发、关注。如果有什么问题，欢迎评论区一起讨论分享。
