2Img.ai的AIGC课程-5-7 理清空间关系——Depth深度

106 阅读2分钟

前言:

前面章节中我们介绍了建筑和室内设计行业中很常见的MLSD直线方法

本文会主要介绍ControlNet中的Depth深度。Depth或者说深度图,来源于三维相关的概念,描述了物体间的远近关系,非常技术性的术语。

其实这个深度图,主要是美术人员掌握了更多高级的用法。适合用美术,游戏行业的人员掌握和操作。更多资源进 2img.ai ,更多技术资料请扫码

知识点:

  1. Depth深度

基础官方内容:

使用深度图控制稳定的扩散。

模型文件:control_v11f1p_sd15_深度.pth

配置文件:control_v11f1p_sd15_depth.yaml

训练数据:Midas深度(分辨率256/384/512)+Leres深度(分辨率256/384/512)+Zoe深度(分辨率256/384/512)。多个分辨率的多个深度图生成器作为数据增强。

可接受的预处理器:Depth_Midas、Depth_Leres、Depth_Zoe。该模型非常稳健,可以处理渲染引擎的真实深度图。

实战

如果你是有三维相关领域的知识,这里的深度,就是深度图的意思。

深度图也被称为距离影像,可以将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它可以直接体现画面中物体的三维深度关系。

学习过三维动画知识的朋友应该听说过深度图,该类图像中只有黑白两种颜色,距离镜头越近则颜色越浅(白色),距离镜头越近则颜色越深(黑色)。

Depth 模型可以提取图像中元素的前后景关系生成深度图,再将其复用到绘制图像中,因此当画面中物体前后关系不够清晰时,可以通过 Depth 模型来辅助控制

对比来看,LeReS 和 LeReS++的深度图细节提取的层次比较丰富,其中 LeReS++会更胜一筹。而 MiDaS 和 ZoE 更适合处理复杂场景,其中 ZoE 的参数量是最大的,所以处理速度比较慢,实际效果上更倾向于强化前后景深对比。

效果图:

RA/SD 衍生者AI训练营