CoDeF 项目部署教程

588 阅读2分钟

1. 项目简介:

爆火「视频版ControlNet」开源了!靠提示词精准换画风。 项目地址: CoDeF

2. 环境设置:

首先,您需要确保您的计算机上安装了以下环境和工具:

  • 操作系统:在Ubuntu 20.04测试通过。

  • Python:您需要 Python 3.10。可以在这里下载并安装。

    conda create -n CoDeF python=3.10
    conda activate CoDeF
    
  • PyTorch 和 PyTorch Lightning:打开终端,输入以下命令来安装:

    pip install torch==2.0.0 pytorch-lightning==2.0.2
    
  • GPU:确保安装了 CUDA 11.7 版本。建议使用 Nvidia GPU,例如 RTX A6000 48GB。但如果您有其他 GPU,只要有10GB的内存,也是可以的。

    conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
    
  • ffmpeg:这是一个用于处理视频的工具。您可以通过打开终端并输入以下命令来安装它:

    sudo apt-get install ffmpeg
    
  • Python 库:项目还需要一些其他的 Python 库。您可以通过以下命令安装它们:

    pip install -r requirements.txt
    

3. 数据准备:

  • 从项目的 GitHub 页面提供的 URL 下载数据。
  • 下载后,您需要解压这些文件。
  • 然后,确保您的文件夹结构看起来像这样:
    CoDeF
    │
    └─── all_sequences
     │
     └─── NAME1
     └─ NAME1
     └─ NAME1_masks_0 (如果有的话)
     └─ NAME1_masks_1 (如果有的话)
     ...
    

4. 预训练模型:

  • 项目提供了一些预训练的模型,您可以从给定的链接(例如 Google Drive 链接)下载它们。
  • 下载并解压这些文件后,确保您的文件夹结构如下:
    CoDeF
    │
    └─── ckpts/all_sequences
     │
     └─── NAME1
     │
     └─── EXP_NAME (例如 base)
     │
     └─── NAME1.ckpt
     ...
    

5. 开始训练:

  • 打开终端,导航到项目的根目录。
  • 输入以下命令来开始训练:
    ./scripts/train_multi.sh
    
  • 该命令有一些参数,例如选择 GPU、设置视频序列的名称等。您可能需要根据您的需求和环境进行调整。

6. 测试模型:

  • 一旦模型训练完成,您可以使用以下命令进行测试:
    ./scripts/test_multi.sh
    

7. 视频转换:

  • 使用以下命令进行视频转换:
    ./scripts/test_canonical.sh