当AI遇上我家毛孩子:一次超出想象的创作之旅

39 阅读4分钟

大家好!今天必须来跟大家分享一件让我激动到凌晨三点都无法入睡的事——我通过编程实现了一个 MV 创作 Agent,然后用它为我的宠物制作了一支音乐MV《美好的遇见》,效果好到连我自己都不敢相信。强烈推荐您点击观看,绝不会让您失望:视频

起因:一个大胆的尝试

事情是这样的。前段时间我创作了一些音乐,而我在 Google Cloud 上的额度也即将耗尽。我决定做点有意义的事情,于是便开启了这次冒险。

我之前试用过多个 AI 开发框架,但做过的项目都相对简单。最近阅读了一些 Google ADK 的文章后,发现 ADK 有许多独特优势,于是决定一试。

素材:简单却充分

  • 美好的遇见.mp3
  • info.txt - 歌曲的简单介绍
  • lyrics.txt - 歌曲的文本歌词
  • style.txt - 歌曲的风格说明

另外还有几张我家猫的照片。最终我仅使用了这一张:

工具开发过程:用AI对付AI

因为 MV 的剧情需要与歌词对应,所以我编写了一个生成 SRT 格式歌词的工具。虽然涉及一些对齐算法,但我并未深入钻研,而是直接通过 AI 编程实现。

随后需要将 SRT 转换为实际的分段。由于 SRT 仅包含歌词部分,而整个视频还有许多空白处,我又编写了一个程序,基于 SRT 文件将整个 MP3 的时间划分为长度合适的片段。

接下来的工作必然要用到 AI 模型。我研究了电影的制作流程,意识到其中有一个创意构思阶段。为了根据现有的基本信息确定整个 MV 的整体风格,我创建了一个 Concept Agent,使其能够根据原始素材和我的建议生成 concept.md 文件。

接着是创作故事板以形成分镜,因此我又开发了一个 Storyboard Agent,能够基于分段歌词和创意内容创建分镜脚本。

除此之外,还有一系列辅助工具和 Agent,最终都由 MV Director Agent 统筹协调。

MV创作过程:AI的"读心术"

在制作《美好的遇见》之前,我用这个工具的初版先制作了两版《百变的留留》,效果相对平凡,虽然能观看,但缺乏惊喜。我意识到问题可能在于生成的提示词还不够精准,因此花了不少功夫优化了 Storyboard Agent,随后才开始制作《美好的遇见》。

随着流程日趋熟练,创作过程变得异常顺畅。精心设计的提示词起到了很好的约束作用,无论是 Concept 还是 Storyboard 都显得更加专业。

Storyboard 确定后,随即开始生成视频片段,这一步使用了 Google 的 Veo 3.1。接下来是最后的合成阶段,同样通过编程实现,并已集成到 MV Director Agent 中。整个流程都在 ADK Web 平台上完成:

alt text

整个过程耗时仅一个多小时,其中大部分时间都用在了视频片段生成上。

成品:超越期待的惊喜

当我第一次完整播放成片时,说实话,眼眶有点湿润。凌晨三点的我毫无困意,全身充满了兴奋和喜悦。

温情的音乐节拍与毛孩子的可爱瞬间完美融合,温馨的画面转场展现出电影级的质感,加之那些我从未想过的创意呈现方式……这已不仅仅是一个视频剪辑,而是一件真正的艺术品。

好几个朋友看完后问我:“这是AI?”

感悟:AI真的太强大了

这次经历让我深刻体会到,AI 赋予了我们前所未有的能力。也许我们永远无法达到诺兰的高度,但通过 AI 的辅助,我们也许能够拥有顶级导演的水准。

写在最后

最后,来了一点惊吓:

alt text

生成视频成本太高了,我短短两天就花费了 2000 多港币,甚至已经超出了免费额度。

不过这在一定程度上源于 Agent 开发过程中的一些试错,一开始确实生成了一些废片。后续我还想再接再厉,开发几个其他类型的 Director Agent。关于成本问题,Google 似乎又给了我一些额度,我需要再看看。


对 AI 创作感兴趣的朋友可以关注我的账号。如果反馈较好的话,我还会分享更多相关内容。