训练lora模型

498 阅读2分钟

Diffusion model的文生图模型非常强大,通过给定文本就能生成精致的图片。如果可以利用这种能力生成个人的写真,将是非常有意思的,毕竟海马体一张照片得几百大洋。本文就是讲解一步一步训练lora模型,按此方法只要有足够的照片(25-50张即可,越多越好),就能获得不错的效果。

最终效果

详细步骤如下:

  1. 收集图片40张左右,比如训练个人lora模型则收集各个角度的生活照,或者训练某个明星的lora,可以从网上下载ta的个人照

例如,为了训练刘诗诗的lora模型,可以通过google图片搜索下载图片到本地

文件夹100_shishi是存放图片的,里面的图片如下

图片收集完后,将该文件夹打包成上上图所示的100_shishi.zip文件,用来后面上传到云端训练使用。

  1. 打开colab脚本 colab.research.google.com/github/Lina…
  2. 脚本第一步是安装依赖,勾选mount drive选项,挂载个人的google云盘,用来存储

下载完成后,点左侧文件夹可以看到下载的文件

  1. 接下来是选择要用来fine tuning的模型,有1和2两个系列的模型,具体选择哪个模型可以参考Stable Diffusion理论入门-模型篇_哔哩哔哩_bilibili视频中对模型的介绍。这里可以选chilloumix,因此跳过脚本中Download Custom Model这一步,该步骤可以指定模型链接下载自定义模型。

  1. 上传本地打包的图片压缩包100_shishi.zip到个人的google云盘

在左侧找到上传的文件,右键拷贝路径,粘贴到train_data_dir输入框中,运行3.1. Locating Train Data Directory和3.2. Unzip Dataset两步

  1. 依次运行Data Preprocessing中的步骤,给图片打标签
  2. 接下来是设置模型配置,开始训练

pretrained_model_name_or_path填写下载的模型

output_dir填写lora模型输出位置

勾选output_to_drive

5.2和5.3可以不做修改直接运行。5.4中num_epochs可以适当填大点,表示迭代次数。运行5.5后,可以在云盘中看到陆续有文件输出,这些是lora模型训练过程中的snapshot,数字代表迭代的次数,表示迭代多少次后输出的lora模型。使用时可以取最终的模型

  1. 下载lora模型,放到stable diffusion的models/lora目录中,运行stable diffusion webui即可使用