使用AI视频生成工具创建短视频完整指南

204 阅读3分钟

使用Replicate Playground生成短视频

AI视频生成技术已经到来,但要获得理想结果并不总是容易。本指南将分享使用Replicate playground创建AI视频的便捷工作流程。

Playground是一个实验性网络界面,提供剪贴簿风格的UI,用于测试不同模型、比较输出结果并记录实验过程。它最初为图像模型的快速迭代而构建,但同样适用于视频模型。

第一步:从图像开始

文本到视频生成目前不如文本到图像生成快速。为了获得更可预测的视频输出,建议从图像开始,而不是从文本提示开始,避免等待几分钟后得到不理想的结果。

您可以从手机或家庭相册中选择现有图像,或使用某机构的图像模型生成图像。甚至可以微调模型以匹配特定角色、风格或美学。

datacte/flux-aesthetic-anime模型是一个流行的微调模型,具有某工作室启发的动漫风格。让我们将其导入playground。

打开playground并点击模型选择器,然后选择"管理模型"。输入模型名称并按Enter键将其添加到playground。

现在您可以生成任意数量的图像,调整提示和参数直到获得理想效果。这里使用了提示"一位金发DJ为快乐跳舞的人群表演",这将作为视频的起点。

第二步:生成并优化视频

图像确定后,是时候赋予它生命了。

某机构的playground默认包含一些视频模型。让我们使用minimax/video-01-live,因为它特别擅长保持动画角色的一致性。

从上一步下载您喜欢的图像,然后将其拖到first_frame_image字段。

在文本框中输入代表您期望视频运动方式的提示。这可以是角色、背景或摄像机移动的描述。

在这种情况下,尝试了几个选项后最终确定使用"一位金发DJ为快乐跳舞的人群表演,随着音乐微笑并移动头部和手臂"。这能让角色动起来并与观众互动。

该模型的输入参数不多,但prompt_optimizer可能有所帮助。您可以尝试在同一图像上启用和禁用提示优化器,观察结果的差异。

点击"运行"生成视频。生成过程需要几分钟。如果需要,可以排队更多运行以获得相同输入的多个输出,或尝试不同模型。

第三步:添加声音

获得满意的视频后,使用zsxkib/mmaudio模型轻松添加声音。像之前一样将此模型添加到列表中。下载视频,然后将其拖到视频字段。

添加类似"人群欢呼,电子音乐"的提示。MMAudio模型将尝试匹配视频和提示,因此音乐有望与视频动作节奏同步。此步骤比生成视频更快更经济。尝试几个不同的提示以找到您喜欢的效果。

第四步:分享视频

视频和声音完善后,就可以分享了!在社交媒体上分享,或将其用作更大项目的一部分。您可以从playground获取代码片段,并通过API生成图像、视频和音频。

此工作流程使AI视频创作更加结构化和可重复。尝试不同的风格、角色和提示,展示您的创作成果!