2Img.ai的AIGC课程-5-5 拯救手残党——scribble涂鸦

105 阅读1分钟

前言:

前面我们介绍了如何线稿上色,感觉如何?

本文会主要介绍在ControlNet中如何生成涂鸦效果。通过随笔简单的勾勒出来一个轮廓图形,类似和边缘检测形成得到的物件轮廓图,再用RA/SD填充颜色和内容,形成实体图。更多资源进 2img.ai ,更多技术资料请扫码

知识点:

  1. scribble涂鸦

基础官方知识:

用涂鸦控制稳定扩散。

模型文件:control_v11p_sd15_scribble.pth

配置文件:control_v11p_sd15_scribble.yaml

训练数据:合成的涂鸦。

可接受的预处理器:合成的涂鸦(Scribble_HED、Scribble_PIDI 等)或手绘的涂鸦。

图像

下图中,通过简单的样条图,生成了丰富的图片。

这个功能和Nvidia的Canvas产品有点类型。不过更加强大。

实战

Scribble 涂鸦,也可称作 Sketch 草图,同样是一款手绘效果的控图类型,但它检测生成的预处理图更像是蜡笔涂鸦的线稿,在控图效果上更加自由。

Scribble会更大范围的获取物体的一个粗狂轮廓。

和Canny这种线框边缘的对比如下

3种效果的比较

根据草图生成了真人。

这里,随便画了山和河流,后侧还是试图生成对应的人物。确实有作用。不过要和模型配对。

RA/SD 衍生者AI训练营