基于 PPDiffusers 训练 AIGC 趣味模型【中国美食与花】

Livingbody
887 阅读4分钟

​

  • 1. 准备工作

    • 1.1 环境安装 
    • 1.2 Hugging Face Space 注册和登录

  • 2. 如何训练

    • 2.1 上传图片 
    • 2.2 训练参数调整 
    • 2.3 可视化训练过程 
    • 2.4 挑选满意的权重上传至Huggingface 

1. 准备工作

1.1 环境安装

\ 在开始之前，我们需要准备我们所需的环境，运行下面的命令安装依赖。为了确保安装成功，安装完毕请重启内核！ （注意：这里只需要运行一次！） 

pip install "paddlenlp>=2.5.2" "ppdiffusers>=0.11.1" safetensors --user

# 请运行这里安装所需要的依赖环境！！
!pip install "paddlenlp>=2.5.2" safetensors "ppdiffusers>=0.11.1" --user
from IPython.display import clear_output
clear_output() # 清理很长的内容

1.2 Hugging Face Space 注册和登录

题目要求将模型上传到 Hugging Face，需要先注册、登录。

  • 注册和登录：huggingface.co/join 

    ​

    ​

  • 获取登录 Token

    ​

      

    ​

  • Aistudio 登录 Huggingface Hub

    ​

    ​

Tips：为了方便我们之后上传权重，我们需要登录 Huggingface Hub，想要了解更多的信息我们可以查阅 官方文档。

!git config --global credential.helper store
from huggingface_hub import login
login()

VBox(children=(HTML(value='<center> <img\nsrc=https://huggingface.co/front/assets/huggingface_logo-noborder.sv…
  • tips：如何检测是否登录成功？

打开日志控制控制台，查看日志。

登录成功时，日志如下：

2. 如何训练模型，并上传到HF

数据获取，免费图片一大堆 unsplash.com/s/photos/ch…

2.1 上传图片

  • 首先，我们需要将所需训练的图片上传到aistudio上的文件夹, 我们可以通过👉拖拽上传 的方式，将我们所需的图片上传至指定的文件夹。
  • 准备好的图片直接解压缩。

# 解压缩数据集
!unzip -qoa data/data198584/food.zip -d food

2.2 训练参数调整

在训练过程中，我们可以尝试修改训练的默认参数，下面将从三个方面介绍部分参数。

👉主要修改的参数：

  • pretrained_model_name_or_path ：想要训练的模型名称或者本地路径的模型，例如："runwayml/stable-diffusion-v1-5"，更多模型可参考 PaddleNLP 文档。
  • instance_data_dir：训练图片所在的文件夹目录，我们可以将图片上传至aistudio项目。
  • instance_prompt：训练所使用的 Prompt 文本。
  • resolution：训练时图像的分辨率，建议为 512。
  • output_dir：训练过程中，模型保存的目录。
  • checkpointing_steps：每隔多少步保存模型，默认为100步。
  • learning_rate：训练使用的学习率，当我使用 LoRA 训练模型的时候，我们需要使用更大的学习率，因此我们这里使用 1e-4 而不是 2e-6。
  • max_train_steps：最大训练的步数，默认为500步。

👉可选修改的参数：

  • train_batch_size：训练时候使用的 batch_size，当我们的GPU显存比较大的时候可以加大这个值，默认值为4。
  • gradient_accumulation_steps：梯度累积的步数，当我们GPU显存比较小的时候还想模拟大的训练批次，我们可以适当增加梯度累积的步数，默认值为1。
  • seed：随机种子，设置后可以复现训练结果。
  • lora_rank：LoRA 层的 rank 值，默认值为4，最终我们会得到 3.5MB 的模型，我们可以适当修改这个值，如：32、64、128、256 等。
  • lr_scheduler：学习率衰减策略，可以是"linear", "constant", "cosine"等。
  • lr_warmup_steps：学习率衰减前，warmup 到最大学习率所需要的步数。

👉训练过程中评估使用的参数：

  • num_validation_images：训练的过程中，我们希望返回多少张图片，默认值为4张图片。
  • validation_prompt：训练的过程中我们会评估训练的怎么样，因此我们需要设置评估使用的 prompt 文本。
  • validation_steps：每隔多少个 steps 评估模型，我们可以查看训练的进度条，知道当前到了第几个 steps。

🔥Tips: 训练过程中会每隔 validation_steps 将生成的图片保存到 {你指定的输出路径}/validation_images/{步数}.jpg

​

​

👉权重上传的参数：

  • push_to_hub: 是否将模型上传到 huggingface hub，默认值为 False。
  • hub_token: 上传到 huggingface hub 所需要使用的 token，如果我们已经登录了，那么我们就无需填写。
  • hub_model_id: 上传到 huggingface hub 的模型库名称， 如果为 None 的话表示我们将使用 output_dir 的名称作为模型库名称。

在下面的例子中，由于我们前面已经登录了，因此我们可以开启 push_to_hub 按钮，将最终训练好的模型同步上传到 huggingface.co 当我们开启push_to_hub后，等待程序运行完毕后会自动将权重上传到这个路径 huggingface.co/{你的用户名}/{你指定的输出路径} ，例如： huggingface.co/junnyu/lora… 

!python train_dreambooth_lora.py \
  --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5"  \
  --instance_data_dir="./dogs" \
  --output_dir="lora_outputs" \
  --instance_prompt="a photo of sks dog" \
  --resolution=512 \
  --train_batch_size=1 \
  --gradient_accumulation_steps=1 \
  --checkpointing_steps=100 \
  --learning_rate=1e-4 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --max_train_steps=500 \
  --seed=0 \
  --lora_rank=4 \
  --push_to_hub=False \
  --validation_prompt="a photo of sks dog in a bucket" \
  --validation_steps=100 \
  --num_validation_images=4

!python train_dreambooth_lora.py \
  --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5"  \
  --instance_data_dir="./food" \
  --output_dir="lora_outputs" \
  --instance_prompt="a photo of Chinese cuisine" \
  --resolution=512 \
  --train_batch_size=1 \
  --gradient_accumulation_steps=1 \
  --checkpointing_steps=100 \
  --learning_rate=1e-4 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --max_train_steps=500 \
  --seed=0 \
  --lora_rank=4 \
  --push_to_hub=False \
  --validation_prompt="a photo of Chinese cuisine in a bucket" \
  --validation_steps=100 \
  --num_validation_images=4

W0313 11:03:13.695348  1657 gpu_resources.cc:61] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.2, Runtime API Version: 11.2
W0313 11:03:13.699875  1657 gpu_resources.cc:91] device: 0, cuDNN Version: 8.2.
正在下载模型权重，请耐心等待。。。。。。。。。。
100%|███████████████████████████████████████████| 312/312 [00:00<00:00, 234kB/s]
100%|████████████████████████████████████████| 842k/842k [00:00<00:00, 14.6MB/s]
100%|████████████████████████████████████████| 512k/512k [00:00<00:00, 1.95MB/s]
100%|████████████████████████████████████████| 2.00/2.00 [00:00<00:00, 1.42kB/s]
100%|███████████████████████████████████████████| 478/478 [00:00<00:00, 400kB/s]
100%|███████████████████████████████████████████| 592/592 [00:00<00:00, 466kB/s]
•[33m[2023-03-13 11:03:16,946] [ WARNING]•[0m - You are using a model of type clip_text_model to instantiate a model of type . This is not supported for all configurations of models and can yield errors.•[0m
100%|███████████████████████████████████████████| 342/342 [00:00<00:00, 247kB/s]
100%|████████████████████████████████████████| 469M/469M [00:14<00:00, 33.9MB/s]
100%|████████████████████████████████████████| 319M/319M [00:15<00:00, 21.5MB/s]
100%|███████████████████████████████████████████| 610/610 [00:00<00:00, 534kB/s]
100%|██████████████████████████████████████| 3.20G/3.20G [01:58<00:00, 29.0MB/s]
100%|███████████████████████████████████████████| 807/807 [00:00<00:00, 636kB/s]
Train Steps:  20%|█▌      | 100/500 [00:50<03:14,  2.06it/s, epoch=0003, lr=0.0001, step_loss=0.313]
 Saved lora weights to lora_outputs/checkpoint-100
​
100%|███████████████████████████████████████████| 601/601 [00:00<00:00, 265kB/s]•[A
​
100%|███████████████████████████████████████████| 342/342 [00:00<00:00, 134kB/s]•[A
Train Steps:  40%|██▍   | 200/500 [02:02<02:22,  2.10it/s, epoch=0007, lr=0.0001, step_loss=0.00845]
 Saved lora weights to lora_outputs/checkpoint-200
Train Steps:  60%|████▊   | 300/500 [03:14<01:22,  2.44it/s, epoch=0011, lr=0.0001, step_loss=0.109]
 Saved lora weights to lora_outputs/checkpoint-300
Train Steps:  80%|██████▍ | 400/500 [04:26<00:44,  2.23it/s, epoch=0015, lr=0.0001, step_loss=0.136]
 Saved lora weights to lora_outputs/checkpoint-400
Train Steps: 100%|███████| 500/500 [05:39<00:00,  2.03it/s, epoch=0019, lr=0.0001, step_loss=0.0476]
 Saved lora weights to lora_outputs/checkpoint-500
Model weights saved in lora_outputs/paddle_lora_weights.pdparams
Train Steps: 100%|███████| 500/500 [06:31<00:00,  1.28it/s, epoch=0019, lr=0.0001, step_loss=0.0476]
•[0m

100.png

200.png

2.3 可视化训练过程

VisualDL使用参考：官方教程

我们可以参照如图所示的步骤，开启visualdl，然后查看训练过程中的指标变化。

​

​

2.4 挑选满意的权重上传至Huggingface

参数解释：

  • upload_dir：我们需要上传的文件夹目录。
  • repo_name：我们需要上传的repo名称，最终我们会上传到 huggingface.co/{你的用户名}/{你指定的repo名称}， 例如： huggingface.co/junnyu/lora….
  • pretrained_model_name_or_path：训练该模型所使用的基础模型。
  • prompt：搭配该权重需要使用的Prompt文本。

​

​

from utils import upload_lora_folder
upload_dir                    = "lora_outputs"                   # 我们需要上传的文件夹目录
repo_name                     = "lora_sks_dogs"                  # 我们需要上传的repo名称
pretrained_model_name_or_path = "runwayml/stable-diffusion-v1-5" # 训练该模型所使用的基础模型
prompt                        = "a photo of Chinese cuisine in a bucket" # 搭配该权重需要使用的Prompt文本

upload_lora_folder(
    upload_dir=upload_dir,
    repo_name=repo_name,
    pretrained_model_name_or_path=pretrained_model_name_or_path,
    prompt=prompt, 
)

本文正在参加「金石计划」

avatar
文章
阅读
粉丝