【Datawhale X 魔搭 AI夏令营】精读代码，实战进阶

01 AI 生图

1. AIGC 定义

AIGC（Artificial Intelligence Generated Content，人工智能生成内容）是一种新兴的技术趋势和应用领域，它利用先进的机器学习、深度学习等人工智能技术来自主生成各种形式的内容。代表技术有：

• GANs (Generative Adversarial Networks) ：一种用于生成新数据样本的神经网络架构。
• CLIP (Contrastive Language-Image Pre-training) ：一种多模态模型，用于连接文本和图像的理解。
• Transformers：一种用于自然语言处理的强大架构，特别适合处理序列数据。
• Diffusion Models：一种能够生成高质量图像和其他类型数据的概率模型。
• Pre-trained Models：通过大量无标注数据预先训练的模型，之后可以根据具体任务进行微调。
• Multi-modal Techniques：结合多种不同类型的数据（如文本、图像、音频等）进行建模的技术。
• Generative Algorithms：各种用于生成新内容的算法。

一般来说，AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片 。

2. 挑战和困难

事物总有两面性。随着AIGC的高速发展，它所带来的挑战和问题也日益凸显。在技术发展的同时，我们也要努力规避所带来的风险和问题，使技术更好地服务于人。

安全性：Deepfake技术

Deepfake技术是一种基于人工智能的图像和视频合成技术，它通常利用深度学习方法，特别是生成式对抗网络（GANs），来创建高度逼真的虚假图像或视频。Deepfake技术可以用来替换视频中人物的脸部，改变他们的外观、表情甚至是说话内容，从而达到以假乱真的效果。

• ‍​‬​​​​​⁠​‌​​‍‍‬​​​​​​​‌​‍​​​​​​​Task1：了解Deepfake & 初探baseline - 飞书云文档 (feishu.cn)
• ‍⁠​‬‍‌​‍​​​⁠​​​​​⁠​‍​​​​​​‍‍‌‌‌​‌‬⁠​​​‍⁠​​​Task2：从baseline入门深度学习 - 飞书云文档 (feishu.cn)
• ‍​‬​​‌​​​​​​​‬​​⁠​‍​⁠‍‍​​​​​​​‬​‌​​‬​​‬‍‬‍‍​Task3：数据增强，提升模型表现 - 飞书云文档 (feishu.cn)

准确性：恐怖谷效应

恐怖谷效应（Uncanny Valley）是一个心理学概念，主要描述的是人们对那些看起来非常接近人类但又不完全一样的人造物体（如机器人、动画角色等）所产生的特殊情感反应。

• 在机器人设计中，设计师可能会选择让机器人看起来更像机器而非人类。
• 在动画和游戏产业中，制作团队通过夸张的特征或卡通化的风格来减少玩家的不适感。

低能耗：成本与资源挑战

• 计算资源需求：训练大规模的AI模型需要大量的计算资源，这增加了成本。
• 能耗问题：高性能计算对于能源的需求也非常大，这对环境可持续性提出了挑战。

可持续

• 社会接受度：建立公众对AI生成内容的信任是一个长期的过程，需要透明度和负责任的做法。
• 对传统行业的冲击：AIGC的发展势必对传统行业带来巨大冲击，需要从政策、社会和个人层面寻找到平衡，来应对技术和就业压力之间的矛盾。

02 事半功倍！

除了Chat GPT，现在常见的大语言模型：

通义千问、 文心一言、 智谱清言、 讯飞星火、 Kimi、 抖音云雀

运用大语言模型能更快地实现知识的信息整合，对于入门学习来说起到很好的作用！！！

03 精读baseline

1. 环境和依赖项准备

• 安装额外的包：

  • 通过pip安装simple-aesthetics-predictor 和 -e data-juicer 。
  • 卸载pytorch-lightning 。
  • 安装了 peft, lightning, pandas, torchvision，-e DiffSynth-Studio。

## 安装 Data-Juicer 和 DiffSynth-Studio 
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor 
!pip install -v -e data-juicer # 安装data-juicer 
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning 
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision 
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

2. 数据集加载与预处理

• 加载数据集：

  • 使用 ModelScope 加载了一个名为 lowres_anime 的数据集。
  • 数据集被保存到指定的缓存目录 /mnt/workspace/kolors/data。

**# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime** 
from modelscope.msdatasets import MsDataset #引入数据集模块msdatasets 
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime', 
    subset_name='default', 
    split='train', 
    cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录 
    ) 
# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds

• 创建训练图像文件夹：

  • 创建了用于存放训练图像的文件夹 ./data/lora_dataset/train 和用于存放 Data Juicer 输入的文件夹 ./data/data-juicer/input。

**# 生成数据集** 
import json, os # 导入json和os模块 
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens 
from tqdm import tqdm # 导入tqdm进度条管理 os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train 
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input 

• 构建元数据文件：

  • 遍历数据集中的每条记录，并将图像转换为 RGB 模式并保存。
  • 构建 JSONL 文件，包含每张图片的路径和对应的文本描述。

with open("./data/data-juicer/input/metadata.jsonl", "w") as f: 
    for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds 
        image = data["image"].convert("RGB") # 将数据集的图片转换为RGB 
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片 
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据 
        f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl 
        f.write("\n")

3. 数据清洗与筛选

• 配置 Data Juicer：

  • 设置了 Data Juicer 的配置文件 data/data-juicer/data_juicer_config.yaml，定义了数据集的处理流程。
  • 包括过滤图像大小和宽高比。

• 运行 Data Juicer：

  • 使用配置文件对数据集进行处理，输出结果保存在 ./data/data-juicer/output/result.jsonl。

**# 配置data-juicer，并进行数据筛选过滤** 
# 配置过滤的规则 
data_juicer_config = """ 
# global parameters 
project_name: 'data-process' # 名称 
dataset_path: './data/data-juicer/input/metadata.jsonl' # 你前面生成的数据的索引文件 
np: 4 # 线程数 
text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名 
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名 
image_special_token: '<__dj__image>' 
export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件 

# process schedule 
# a list of several process operators with their arguments 
# 过滤的规则 
process: 
    - image_shape_filter: # 图片尺寸过滤 
        min_width: 1024 # 最小宽度1024 
        min_height: 1024 # 最小高度1024 
        any_or_all: any # 符合前面条件的图片才会被保留 
    - image_aspect_ratio_filter: # 图片长宽比过滤 
        min_ratio: 0.5 # 最小长宽比0.5 
        max_ratio: 2.0 # 最大长宽比2.0 
        any_or_all: any # 符合前面条件的图片才会被保留 
"""

**# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml** 
with open("data/data-juicer/data_juicer_config.yaml", "w") as file: 
    file.write(data_juicer_config.strip()) 
# data-juicer开始执行数据筛选 
!dj-process --config data/data-juicer/data_juicer_config.yaml

4. 处理和分析清洗后的数据

• 读取处理后的数据：

  • 将处理后的数据读入 DataFrame 并保存为 CSV 文件 ./data/data-juicer/output/result.csv。

import pandas as pd # 导入pandas 
import os, json # 导入os和json 
from PIL import Image # 导入Image from tqdm 
import tqdm # 导入tqdm进度条管理 
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称 
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train 
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl 
    for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl 
        data = json.loads(data) # 将json字符串转换为对象 
        text = data["text"] # 获取对象中的text属性，也就是图片的描述信息 
        texts.append(text) # 将图片的描述信息添加到texts列表中 
        image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片 
        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径 
        image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中 
        file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中 

data_frame = pd.DataFrame() # 创建空的DataFrame 
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中 
data_frame["text"] = texts # 将图片描述添加到data_frame中 
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv 
data_frame # 查看data_frame

• 下载可图模型：

  • 加载了可图模型。

**# 下载可图模型** 
from diffsynth import download_models # 导入download_models download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型 
# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息 
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h **# 执行可图Lora训练** 
import os 
cmd = """ 
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py 
    --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型 
    --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder 
    --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型 
    --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求 
    --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度 
    --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型 
    --output_path ./models \ # 指定输出路径，用于保存模型 
    --max_epochs 1 \ # 设置最大训练轮数为 1 
    --center_crop \ # 启用中心裁剪，这通常用于图像预处理 
    --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存 
    --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用 
""".strip() 
os.system(cmd) # 执行可图Lora训练

• Lora微调训练：

  • • 在前面模型的基础上，执行Lora微调训练。

**# 加载lora微调后的模型** 
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline 
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model 
import torch # 导入torch 
# 加载LoRA配置并注入模型 
def load_lora(model, lora_rank, lora_alpha, lora_path): 
    lora_config = LoraConfig( 
        r=lora_rank, # 设置LoRA的秩(rank) 
        lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重 
        init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布 
        target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块 
    ) 
    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中 
    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重 
    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配 
    return model # 返回注入LoRA后的模型 

# 加载预训练模型 
model_manager = ModelManager( 
    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用 
    device="cuda", # 指定使用GPU进行计算 
    file_path_list=[ 
        "models/kolors/Kolors/text_encoder", # 文本编码器的路径 
        "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径 
        "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径 
    ] 
) 

# 初始化图像生成管道 
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道 
# 加载并应用LoRA权重到UNet模型 
pipe.unet = load_lora( 
    pipe.unet,
    lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致 
    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重 
    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径 
)

5. 图像生成

• 使用 Stable Diffusion 生成图像：

  • 加载了 Stable Diffusion 模型。
  • 根据不同的提示生成了一系列二次元风格的图像，并保存到磁盘上。

torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。 
image = pipe( prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容 
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像 
cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词 
num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长 
height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像 ) 
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件

6. 合并生成的图像

• 合并图像：

  • 读取了之前生成的所有图像，并将它们水平和垂直拼接成一张大图。
  • 最终的图像被调整大小为 (1024, 2048)。

**# 图像拼接，展示总体拼接大图** 
import numpy as np # 导入numpy库，用于处理数组和数值计算 
from PIL import Image # 导入PIL库中的Image模块，用于图像处理 
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)] # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中 image = np.concatenate([ # 将四组图像在垂直方向上拼接 
    np.concatenate(images[0:2], axis=1), # 将第1组（images[0:2]）的两张图像在水平方向上拼接 
    np.concatenate(images[2:4], axis=1), # 将第2组（images[2:4]）的两张图像在水平方向上拼接 
    np.concatenate(images[4:6], axis=1), # 将第3组（images[4:6]）的两张图像在水平方向上拼接 
    np.concatenate(images[6:8], axis=1), # 将第4组（images[6:8]）的两张图像在水平方向上拼接 
], axis=0) # 将四组拼接后的图像在垂直方向上拼接 
image = Image.fromarray(image).resize((1024, 2048)) # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素 image # 输出最终生成的图像对象，用于显示图像

04 实战

1. 故事一：古风

1. 女主正在上课
2. 开始睡着了
3. 进入梦乡，梦到自己站在路旁
4. 王子骑马而来
5. 两人相谈甚欢
6. 一起坐在马背上
7. 下课了，梦醒了
8. 又回到了学习生活中

2. 故事二：二次元

1. 在一个被古老树木环绕的小镇上，住着一位名叫莉娅的年轻女孩，她拥有一双发现奇迹的眼睛。
2. 春天来临，万物复苏，莉娅漫步在繁花似锦的小径上，心中充满了对自然之美的无限向往。
3. 突然，一阵微风吹过，带来了一片不同寻常的落叶，它闪耀着金色的光芒，轻轻落在了莉娅的手心。
4. 好奇心驱使下，莉娅跟随着落叶飘落的方向，穿越了一片幽静的森林，来到了一片隐秘的花园。
5. 花园里，各色花朵竞相绽放，中央矗立着一棵巨大的许愿树，树干上挂满了闪闪发光的愿望瓶。
6. 莉娅轻轻触摸树干，瞬间，一个温暖的声音在她心中响起，告诉她这棵树能实现真诚的愿望。
7. 带着一丝紧张与期待，莉娅闭上眼睛，许下了让世界更加美好、人与自然和谐共生的愿望。
8. 当她睁开眼时，发现周围的世界似乎变得更加明亮，花朵更加鲜艳，连空气中都弥漫着幸福的味道，她知道，她的愿望已经悄悄生根发芽。

3. 故事三：二次元

1. 在一个宁静的小镇上，阳光温柔地洒在古老的街道上，给这个清晨披上了一层金色的纱幔。
2. 小镇的图书馆坐落在镇中心，是一座有着悠久历史的建筑，每天清晨，它都会准时打开那扇雕花木门，迎接第一位访客。
3. 今天，第一位踏入图书馆的是一位年轻的女孩，她名叫莉莉，眼神中闪烁着对知识的渴望。她轻手轻脚地走过一排排书架，寻找着那本传说中的古籍。
4. 古籍名为《时光之钥》，据说藏着通往未知世界的秘密。莉莉的手指轻轻滑过书脊，终于，在书架的最深处找到了它。
5. 她小心翼翼地翻开书页，一股古老而神秘的气息扑面而来，仿佛能穿越时空。随着阅读的深入，莉莉发现自己被书中的故事深深吸引，无法自拔。
6. 正当她沉浸在书中的奇幻世界时，一阵风吹过，书页轻轻翻动，一行行文字仿佛活了过来，在莉莉眼前编织出一幅幅生动的画面。
7. 突然间，莉莉感到一阵眩晕，周围的景象开始模糊，她发现自己竟然站在了一个完全陌生的地方——那是一个充满魔法与奇迹的异世界。
8. 在这个新世界里，莉莉踏上了寻找“时光之钥”真正意义的旅程，她相信，只要解开这个秘密，就能找到回家的路，并将这段不可思议的经历永远镌刻在心。