【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景(3)-openpose

1,502 阅读4分钟

我计划使用40个工作流分成3-4篇文章来介绍Stable Diffusion的controlNet各种预处理器以及它的使用效果。

并且做成像字典一样的记录,后面需要使用时,也可以随时查阅,当然这些工作流我也会分享,需要的朋友可以私信我获取。

这是我们的第三篇,本篇主要介绍stable diffusion controlNet pose相关的姿势处理器。

第一篇: 【comfyui】40个工作流一次让你彻底掌握SD controlNet的使用场景(1)-线性处理器

第二篇: 【comfyui】40个工作流一次让你彻底掌握controlNet的使用场景(2)-法线和深度处理器

pose姿势处理器

OpenPose 特点是可以检测到人体结构的关键点,比如头部、肩膀、手肘、膝盖等位置,而将人物的服饰、发型、背景等细节元素忽略掉。它通过捕捉人物结构在画面中的位置来还原人物姿势和表情。

在 OpenPose 中为我们内置了 face、full、hand ,body,这 4 种预处理器,它们分别用于检测五官、四肢、手部等人体结构。

跟webui不同,comfyui将4种处理器放在了一起,分别增加了对手,身体,脸部,设置了对应的参数detect_hand,detect_body,detect_face 来控制是否开启,默认全部开启,就处理所有,关闭脸部detect_face为disable,则不处理脸部。

可惜的是,无论是早期的简单骨骼,还是controlnet1.1之后增加了脸部识别的完整骨骼,它们都存在一个问题:识别准确率堪忧。在不增加其他控制方式的条件下,你很难仅仅通过骨骼图完整控制姿态尤其是手部动作。

DWpose的出现,给我们带来了新的选择:在减少工作量的同时,节约了显存消耗。

无论是手部识别,面部识别,体态识别,以及对不明确特征(带头盔)的识别,DWpose比Openpose都更胜一筹。

最简单直观的结论就是,对于需要提取骨骼图控制的场景,你现在可以不假思索的选择用DW_openpose_full替代曾经的openpose_full,出图效果和使用效率都会比以往更好。

Openpose姿态预处理器

Openpose姿态预处理器

DW姿态预处理器

可以自动检测图像中的人物,并将人物的关键点检测结果保存在一个 json 文件中。这个 json 文件包含了每个关键点的坐标信息,可以用于进一步的分析和处理。

使用 Dw_OpenPose_Full 预处理器可以大大简化 OpenPose 模型的使用流程,因为它自动完成了一些前期处理工作,如人物检测和关键点检测,使得用户可以更加方便地将 OpenPose 模型应用于实际场景中。

DW姿态预处理器

AnimalPose动物姿态预处理器

Animal_openpose 是一个专门提取狗、鹿、马、豹等四足动物姿势骨架的模型,也可以用来引导人马等奇幻形象的生成。

AnimalPose动物姿态预处理器

Dense姿态预处理器

Densepose 也是控制人物动作的模型,区别在于 openpose 和 dw_openpose 提取的是骨架图,densepose 提取则是躯干和四肢的轮廓图,它可以判断复杂的姿势重叠,与 Depth 模型搭配使用效果更好。

Dense姿态预处理器

MediaPipe面部网格预处理器

控制面部表情,侧脸,多人面孔都能有不错的表现

MediaPipe面部网格预处理器

总结

1.介绍了OpenPose处理器,它可以检测人体结构的关键点,如头部、肩膀、手肘、膝盖等,忽略服饰、发型、背景等细节。OpenPose内置了face、full、hand、body四种预处理器,分别用于检测五官、四肢、手部等人体结构。Comfyui将这些处理器放在一起,并增加了对应的参数来控制是否开启。

DWpose处理器,它在减少工作量的同时,节约了显存消耗。DWpose在识别准确率方面优于Openpose,适用于手部、面部、体态识别以及对不明确特征的识别。

2.其他几种姿态预处理器,包括AnimalPose、Dense、MediaPipe面部网格预处理器。AnimalPose专门用于提取四足动物的姿势骨架,Dense用于提取躯干和四肢的轮廓图,MediaPipe面部网格用于控制面部表情。

好了,今天的分享就到此结束啦!

如果大家对此感兴趣的话,不妨去尝试一下哦。最后,我要衷心感谢每一位阅读我文章的朋友。

如果你觉得文章还不错,麻烦随手点个赞一下吧,你的支持是我持续创作的动力 。