仓库地址
github.com/hpcaitech/O…
github.com/NVIDIA/apex
尝试部署
- 创建Conda环境
conda create -n opensora python=3.10 -y
conda activate opensora
- 安装相关依赖
- 根据自己的CUDA版本来选择合适版本的pytorch，我的CUDA是11.7
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
pip3 install packaging ninja
pip3 install flash-attn --no-build-isolation
pip3 install xformers==0.0.20
- 安装apex
- 官方代码还有一些小问题没修复，使用前一个版本的就可以顺利编译通过，需要提前安装好ninja命令
cd apex
git checkout 2386a912164b0c5cfcd8be7a2b890fbac5607c82
pip3 install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" ./
- 安装OpenSora
cd Open-Sora
pip3 install -v .
- 下载模型文件
- 下载T5模型，链接可以参考文章加速下载，下载到pretrained_models/t5_ckpts/t5-v1_1-xxl路径当中即可
- 下载权重文件到相同路径当中
- 指定GPU运行
- 视频生成的提示词在这个路径当中，可以自行修改
- 查看哪个显卡比较空闲，比如1,2,5三张显卡较为空闲，可以指定显卡来运行
CUDA_VISIBLE_DEVICES=1,2,5 torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x256x256.py --ckpt-path ./pretrained_models/t5_ckpts/t5-v1_1-xxl/OpenSora-v1-16x256x256.pth
- 查看效果
- 在路径 outputs/samples 中，就有生成的结果了，视频链接
