Datawhale X魔搭 AI夏令营 -AICG-Task1-跑通 baseline1 笔记

116 阅读3分钟

背景

在魔搭的钉钉群里看到有夏令营的活动,粗略看了下教程步骤完善,Datawhale 举办过多次学习活动,且真真实实能学习到知识。之前只使用过 Stable Diffusion 玩过几次文生图,但一直没有深入,希望借此次活动能学习到更多知识

跑通 Baseline

  1. 开通阿里云 PAI_DSW 试用并及在魔搭社区获取授权并创建 PAI 实例 1.1 阿里云提供了5000 算力,有效期 3 个月的试用,方便学习及研究。
  2. 体验 Baseline,全程无卡顿
    1. 下载 baseline;开启 git 大文件传输,下载 kolors 模型
    2. 安装环境:
    3. Data-Juicer:数据处理和转换工具,简化数据提取、转换和加载过程,整理训练数据文件
    4. DiffSynth-Studio:高效微调训练大模型的工具 训练微调
    5. 加载训练好的模型
    6. 调整 prompt: 正向描述词 prompt 反向描述词 negative_prompt

结果展示

本次跑通 Baseline 教程案例训练的素材和生成案例都是以「二次元」风格为主的,我尝试了「写实」风格,使用了以下 8 段提示词:

  1. 写实,一个可爱的婴儿小女孩躺在婴儿床里,水汪汪的大眼睛透着好奇和纯真,安静地望着你。她的小手不时抓握着空气,仿佛在探索这个新世界。

  2. 写实,小女孩在你的怀抱中第一次露出微笑。她那双明亮的眼睛弯成了月牙,发出咯咯的笑声,让人感觉到她对你无尽的信任和依赖。

  3. 写实,小女孩开始学会爬行。她的动作有些笨拙,但她那坚定的小眼神显示出她强烈的探索欲望。她一点点向前移动,脸上充满了喜悦和成就感。

  4. 写实,在家人的鼓励下,小女孩努力地抓住沙发边缘,慢慢站了起来。她那水汪汪的眼睛里充满了自豪和兴奋。她还不太稳当,但她的每一步都充满了勇气。

  5. 写实,小女孩发出了她的第一声“妈妈”或“爸爸”,她那明亮的眼睛紧盯着你,似乎在期待你的回应。她的声音稚嫩而充满温情,让家里洋溢着幸福的氛围。

  6. 写实,一家人带着小女孩第一次去游乐场。她坐在秋千上,随着摇摆而咯咯笑着,她那双大眼睛充满了兴奋和好奇,四处张望,享受着这个充满乐趣的世界。

  7. 写实,在一个阳光明媚的下午,一家人一起在公园里玩耍。小女孩和父母在草地上追逐,她的笑声在空气中回荡,眼中充满了快乐。这个时刻充满了温馨和亲情。

  8. 写实,小女孩穿着她的小书包,站在幼儿园门口,虽然有些不舍,但她的眼中更多的是对新环境的期待。她小心翼翼地迈出脚步,回头看了一眼父母,然后带着水汪汪的眼睛走进了她的新世界。

WX20240812-100223@2x.png

扩展学习

1.文成图,处理提示词,还可以增加参考图让模型根据参考图生成图片,主要有: a. OpenPose姿势控制 b. Canny精准绘制:线稿图 c. Hed绘制:获取渐变线条的线稿图 d. Midas深度图 c. color颜色控制 2. 零代码文生图 Lora 模型训练:modelscope.cn/aigc/modelT… 3. ComfyUI 是一个工作流工具,主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能,用户可以轻松地进行模型微调、数据预处理、图像生成等任务,从而提高工作效率和生成效果。