用扣子(Coze)一键生成宠物吐槽主人视频,评论区笑到肚子疼

0 阅读6分钟

大家好,我是吾鳴。专注于分享提升工作与生活效率的工具,无偿分享AI领域相关的精选报告,持续关注AI的前沿动向。

最近经常能刷到宠物萌宠类的视频,像什么刀盾呀,橘猫骑摩托车等,这里面有一种内容类型我觉得挺有意思的,那便是萌宠吐槽自己主人的视频。

这类的视频虽然是AI生成的,但是它很有科幻感,因为宠物是不会说话的,而如今AI让它们能“说话”了,而且说话的内容还是在吐槽自己的主人,还是哪种很欠揍的吐槽,很多人养宠物的朋友看了之后会很有带入感。

所以这类的视频内容会有挺多的人喜欢点开来看,评论区几乎都是清一色的“我觉得我家的猫背后也是这样说我的”、“回家要把我家的狗给收拾一下”......

本文将分享怎么样使用扣子工作流来一键制作这类宠物吐槽的视频,在开始讲解工作流之前,先看看工作流产出视频的效果(视频上传不了,放张剪映草稿图)。

1. 完整的工作流程

我把这条工作流拆解成了【宠物图片生成】、【宠物视频时间线】、【视频字幕时间线】、【剪映草稿】这四大部分来进行讲解。

因为工作流增加了视频字幕反推相关的节点,反推出来视频字幕之后,可以直接用来生成剪映草稿,导出视频,所以工作流看着会复杂一点点。

2. 宠物图片生成

这部分的节点根据标题的名称便可以知道是用来生成宠物播客图片用的,生成图片的目的是为了后面生成视频,这也是现在使用AI做视频的一个标准的流程。

2.1. 开始

  • animals:宠物的参考图片,有且只需两张,必填
  • text:视频文案,必填
  • api_token:插件认证,必填

2.2. 播客图片提示词

这个节点的作用是把上传的宠物参考图把它们融合成适合做视频播客的图片,生成图片提示词,使用到了扣子官方的大模型节点

系统提示词编写思路指北

下面是这个系统提示词编写的一些思路:
1. 需要接收的用户参数是两张宠物的参考图片,去生成适合做播客风格的画面描述。
2. 要充分的提取参考图片中动物的核心特征、场景元素等特征,便于在新图片中进行融合。
3. 定义融合后的图片提示词的输入内容格式,比如主体描述、有些什么设备和场景元素、背景与光影的描述等。
4. 增加一些限制,像图片中的风格限制、宠物主体特征的限制等。

2.3. 播客图片生成

这个节点是把生成好的绘图提示词以及宠物的参考图一起提交给GPT Image 2,让它来生成图片,使用到了扣子的第三方插件【AI绘图工具箱】的【gen_cpt_image_2_sync】工具。

2.4. 图片转成列表

这个节点的作用是把单个图片链接字符串变成一个字符串集合列表,便于后面的节点可以引用到这个参数,使用到了扣子第三方插件【字符串工具合集】的【str_2_list】工具。

3. 宠物视频时间线

这部分节点的作用是用来生成宠物吐槽视频用的,具体的过程是先通过大模型把输入的文案与宠物进行融合,让文案变成一段适合宠物对话的提示词,然后再把提示词和前面生成好的播客图片进行视频生成。

3.1. 播客内容生成

这个节点的作用就是把文案和宠物的参考图片进行融合,生成适合做播客的视频生成提示词,使用到了扣子官方的大模型节点。

系统提示词编写思路指北

下面是我编写这个系统提示词的一些思路:
1. 首先,系统提示词需要去接收两个参数,分别是自定义的文案以及宠物的两张参考图。
2. 接收到这两个参数之后,便需要分析宠物的习性、性格等,让宠物与文案进行绑定,对文案拆解之后,分配给每个宠物合适的对话。
3. 生成的提示词的格式的控制,并且提供对应的案例,以便模型更好的去学习。
4. 便是增加一些限定,比如场景元素控制、时长控制、风格控制等。

3.2. 播客视频生成

这个节点是用来生成播客视频的,使用到了Grok视频生成模型,对应扣子第三方插件【AI视频生成工具箱】的【gen_grk_video_sync】工具。

3.3. 视频时间线生成

这个节点使用到了扣子的第三方插件【视频剪辑工具箱】的【single_video_timeline】工具,用来生成剪映的视频轨道上的时间线。

4. 视频字幕时间线

这部分的节点用来根据Grok生成好的视频语音来反推视频的字幕,并且生成对应的字幕时间线。

4.1. 获取视频字幕

这个节点使用到了扣子官方的【字幕获取】插件的【generate_video_captions_sync】工具,用来根据视频的语音来生成字幕,除了字幕文本之外,还会有字幕在音频轨道上的时间线,便于你把字幕添加进视频中。

4.2. 时间线转成微秒

这个节点的作用是把【4.1 获取视频字幕】这个节点返回的时间线的时间转为微秒,因为获取视频字幕插件返回的是毫秒时间戳,使用到了扣子官方的大模型节点。

系统提示词编写思路指北

1. 接收毫秒级的时间线,需要保持字幕文案不变,把时间线的开始时间和结束时间分别转成微秒,字幕和时间线单独出一个列表进行输出。

4.3. 字幕时间线生成

这个节点用来生成剪映字幕轨道上的字幕时间线,使用到了扣子三方插件【视频剪辑工具箱】的【multi_caption_timeline】。

5. 剪映草稿

这部分的内容就比较简单了,就是把上面生成好的视频时间线、字幕时间线等添加到剪映草稿中,使用到了扣子第三方的【视频剪辑工具箱】插件的以下工具:

create_draft:创建剪映草稿

add_videos:添加视频时间线到剪映草稿中

add_captions:添加字幕时间线到剪映草稿中

save_draft:保存剪映草稿

6. 总结

本文主要分享了如何使用扣子工作流来一键制作萌宠吐槽主人的视频,因为工作流不算复杂,所以文中对这整个工作流都做了详细的拆解,感兴趣的朋友可以参考着教程实操。

本文的分享就到这里,如果您觉得有收获的话,可以给个一键三连,您的鼓励是吾鳴持续输出的最大动力。

对本文分享的工作流感兴趣的朋友,欢迎后台与我交流。