1. 项目简介:
爆火「视频版ControlNet」开源了!靠提示词精准换画风。 项目地址: CoDeF
2. 环境设置:
首先,您需要确保您的计算机上安装了以下环境和工具:
-
操作系统:在Ubuntu 20.04测试通过。
-
Python:您需要 Python 3.10。可以在这里下载并安装。
conda create -n CoDeF python=3.10 conda activate CoDeF
-
PyTorch 和 PyTorch Lightning:打开终端,输入以下命令来安装:
pip install torch==2.0.0 pytorch-lightning==2.0.2
-
GPU:确保安装了 CUDA 11.7 版本。建议使用 Nvidia GPU,例如 RTX A6000 48GB。但如果您有其他 GPU,只要有10GB的内存,也是可以的。
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
-
ffmpeg:这是一个用于处理视频的工具。您可以通过打开终端并输入以下命令来安装它:
sudo apt-get install ffmpeg
-
Python 库:项目还需要一些其他的 Python 库。您可以通过以下命令安装它们:
pip install -r requirements.txt
3. 数据准备:
- 从项目的 GitHub 页面提供的 URL 下载数据。
- 下载后,您需要解压这些文件。
- 然后,确保您的文件夹结构看起来像这样:
CoDeF │ └─── all_sequences │ └─── NAME1 └─ NAME1 └─ NAME1_masks_0 (如果有的话) └─ NAME1_masks_1 (如果有的话) ...
4. 预训练模型:
- 项目提供了一些预训练的模型,您可以从给定的链接(例如 Google Drive 链接)下载它们。
- 下载并解压这些文件后,确保您的文件夹结构如下:
CoDeF │ └─── ckpts/all_sequences │ └─── NAME1 │ └─── EXP_NAME (例如 base) │ └─── NAME1.ckpt ...
5. 开始训练:
- 打开终端,导航到项目的根目录。
- 输入以下命令来开始训练:
./scripts/train_multi.sh
- 该命令有一些参数,例如选择 GPU、设置视频序列的名称等。您可能需要根据您的需求和环境进行调整。
6. 测试模型:
- 一旦模型训练完成,您可以使用以下命令进行测试:
./scripts/test_multi.sh
7. 视频转换:
- 使用以下命令进行视频转换:
./scripts/test_canonical.sh