前言:
前面我们介绍了如何线稿上色,感觉如何?
本文会主要介绍在ControlNet中如何生成涂鸦效果。通过随笔简单的勾勒出来一个轮廓图形,类似和边缘检测形成得到的物件轮廓图,再用RA/SD填充颜色和内容,形成实体图。更多资源进 2img.ai ,更多技术资料请扫码
知识点:
- scribble涂鸦
基础官方知识:
用涂鸦控制稳定扩散。
模型文件:control_v11p_sd15_scribble.pth
配置文件:control_v11p_sd15_scribble.yaml
训练数据:合成的涂鸦。
可接受的预处理器:合成的涂鸦(Scribble_HED、Scribble_PIDI 等)或手绘的涂鸦。
下图中,通过简单的样条图,生成了丰富的图片。
这个功能和Nvidia的Canvas产品有点类型。不过更加强大。
实战
Scribble 涂鸦,也可称作 Sketch 草图,同样是一款手绘效果的控图类型,但它检测生成的预处理图更像是蜡笔涂鸦的线稿,在控图效果上更加自由。
Scribble会更大范围的获取物体的一个粗狂轮廓。
和Canny这种线框边缘的对比如下
3种效果的比较
根据草图生成了真人。
这里,随便画了山和河流,后侧还是试图生成对应的人物。确实有作用。不过要和模型配对。
RA/SD 衍生者AI训练营