前言:
前面文章我们介绍了ControlNet的线条以及涂鸦效果
这篇文章会主要介绍ControlNet中的MLSD直线效果,可以很好的用在建筑和室内设计方向上。
总体来看边缘检测是非直线的,大部分是随意的轮廓曲线,而MLSD正相反,它关注的是图形中的直线内容。如果你提供的原图都是曲线内容,用MLSD检测,几乎得不到有效的结果。
由于建筑物中大多是直线的设计和材料,因为非常适合MLSD的发挥。人物造型在此时显得就不合适了。更多资源进 2img.ai ,更多技术资料请扫码
知识点:
- MLSD直线
基础官方知识:
使用 M-LSD 直线控制稳定扩散。
模型文件:control_v11p_sd15_mlsd.pth
配置文件:control_v11p_sd15_mlsd.yaml
训练数据:M-LSD 线。
可接受的预处理器:MLSD。
实战
MLSD模型是一个专门检测直线的模型,基于MLSD模型的特性,MLSD模型在建筑、室内方向的处理上是比较好的选择,可以很好的检测出原图的直线线条,可以从官方图中看到第一张,针对直线的抽取。
举个例子若原图室内环境中有人物出现,但是新生成的图片中不希望有人物,那么使用MLSD模型就可以很好的避开人物线条的检测。
MLSD 预处理器同样也有自己的定制参数,分别是 MLSD Value Threshold 强度阈值和 MLSD Distance Threshold 长度阈值。MLSD 阈值控制的是 2 个不同方向的参数:强度和长度,它们的数值范围都是 0~20 之间。
Value 强度阈值用于筛选线稿的直线强度,简单来说就是过滤掉其他没那么直的线条,只保留最直的线条。通过下面的图我们可以看到随着 Value 阈值的增大,被过滤掉的线条也就越多,最终图像中的线稿逐渐减少。
MLSD针对人物的时候,你会发现几乎没有找到直线内容。看下图
如果是直线内容较多的建筑物,就对了, 见下图
实际上,通过这种方式,保留了我们要的直线线条的要求。可以理解为一种类似模板或者细节要求的机制。
通过换关键字,换背景模型,修饰其余的内容。但是保留直线的相关要求信息。
RA/SD 衍生者AI训练营