首先来看一下最终效果,动图我做了压缩,请自动忽略噪点...
(两个月之前就说过要分享,拖了那么久现在终于有时间了)
言归正传,进入正题。
先说用到的插件:
- AnimateDiff
- FizzNodes
- 效率节点(这个属于个人喜好,跟生成动画无关)
实现思路
其实说白了就是关键帧动画。在特定的帧,比如第0帧,第10帧,第20帧等等,生成一张图片,我这个工作流一共设置了9个特定的帧,每一个特定的帧都会生成一张图片,总共生成了9张图片。如果只是把这9张图片合并成视频,那就跟播放幻灯片没啥区别,所以接下来就需要在这些特定帧之间的空隙里,进行补帧操作。
那如何进行补帧操作? 当然是AnimateDiff了。
动手吧
FizzNodes插件中有个提示词调度的节点,这个节点可以设置关键帧。
从第0帧开始,每隔15帧设置一个关键帧,后面的提示词就是用来指导生成关键帧图片的。
对于所有提示词中都重复出现的文本,肯定是要提取出来的,所以左边的字符串操作节点,就是用来干这个的。
动画部分,我用了AnimateLCM模型,能够加速视频的生成,接入也很简单
这样工作流的最核心部分就介绍完了。
后面还有个高清放大的功能模块,就是把512*512的图片,在潜空间中放大1.5倍后再重新采样,然后再合并成视频,这样视频的清晰度就上来了。
完整的工作流我放在了哩布哩布:www.liblib.art/modelinfo/8…
喜欢折腾的朋友可以去下载,免费的。
完结,撒花。