前言
上一节我们介绍了如何利用ControlNet做硬边缘检测的算法和具体内容
这一节我们介绍如何利用ControlNet做软边缘检测,总体来看,算法不同,做出的效果稍微有点不同。软边缘顾名思义,检测的边缘会显得稍微柔和些。更多资源进 2img.ai ,更多技术资料请扫码
本文知识点
SoftEdge软边缘检测
基础官方知识:
使用软边缘控制稳定的扩散。
模型文件:control_v11p_sd15_softedge.pth
配置文件:control_v11p_sd15_softedge.yaml
训练数据:SoftEdge_PIDI、SoftEdge_PIDI_safe、SoftEdge_HED、SoftEdge_HED_safe。
可接受的预处理器:SoftEdge_PIDI、SoftEdge_PIDI_safe、SoftEdge_HED、SoftEdge_HED_safe。
该模型与之前的模型相比有显着改进。所有用户应尽快更新。
ControlNet 1.1 中的新增功能:现在添加了一种名为“SoftEdge_safe”的新型软边缘。
这是因为 HED 或 PIDI 倾向于在软估计中隐藏原始图像的损坏的灰度版本,而这种隐藏的模式可能会分散 ControlNet 的注意力,从而导致不良结果。
解决方案是使用预处理将边缘图量化为多个级别,以便可以完全去除隐藏模式。实现位于 annotator/util.py 的第 78 行。
其性能可大致表示为:
鲁棒性:SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED
最大结果质量:SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe
考虑到权衡,我们建议默认使用 SoftEdge_PIDI。大多数情况下它的效果都很好。
主要内容
SoftEdge,看名字,基本了解它是一种软边缘检测的算法。对应的算法有好几种。
它是一种比较特殊的边缘线稿提取方法,它的特点是可以提取带有渐变效果的边缘线条,由此生成的绘图结果画面看起来会更加柔和且过渡自然。
SoftEdge 中提供了 4 种不同的预处理器,分别是 HED、HEDSafe、PiDiNet 和 PiDiNetSafe。
在官方介绍的性能对比中,模型稳定性排名为 PiDiNetSafe > HEDSafe > PiDiNet > HED,而最高结果质量排名 HED > PiDiNet > HEDSafe > PiDiNetSafe,综合考虑后 PiDiNet 被设置为默认预处理器,可以保证在大多数情况下都能表现良好。
最终的效果,还是有一些特征的,最终突变边缘相对融合。预览图中的内容,边缘也比线框Canny的类型粗很多。
使用方式详见下图
你可以实践一下。
RA/SD 衍生者AI训练营