基于Qoder实现AI漫剧生成Agent搭建

155 阅读4分钟

项目背景

行业痛点

  • 漫剧/短视频内容生产成本高、周期长(脚本→分镜→美术→动画→配音)
  • 初创漫剧企业/教育机构缺乏专业动漫制作能力,但有高频轻量级视频需求(如营销广告、儿童英语启蒙)
  • 现有AIGC工具链割裂,依赖人工,缺乏“一致性控制”与“用户干预闭环”

项目定位

打造一个 端到端、可交互、风格一致 的漫剧生成智能体 Demo,支持:

  • 输入一句话创意 → 输出 30s–60s 动漫短剧(含画面+配音+字幕)
  • 用户在关键节点(角色、场景、分镜)可人工确认或抽卡重新生成
  • 支持两种典型场景:营销广告 + 少儿旁白科普课程(磨耳朵学英语场景)

业务价值

  • 验证 Agentic Workflow 在多模态内容生成中的可行性,体现Qoder智能体模式的强大,帮忙推广Qoder。
  • 构建基于 Qwen + Wan + 百炼的通义全家桶 AIGC 工具链,证明在漫剧赛道,通义能对标即梦、可灵、Vidu、Sora等友商。在细节能力上正视差距,推进产品迭代改进。
  • 协助没有智能体搭建经验的漫剧赛道初创公司进行工程化搭建,弥补在漫剧工具链上跟友商的差距,为后续 SaaS 化或嵌入营销/教育平台提供技术原型。

需求分析与功能定义

系统架构

功能模块

模块名称输入输出是否可交互技术实现
创意解析器用户创意(文本)结构化剧本(JSON)Qwen-Max
角色生成器剧本人物描述多组角色立绘(PNG)是(抽卡×3)Wan 2.5-t2i-preview
场景生成器剧本场景描述多组背景图(PNG)是(抽卡×3)Wan 2.5-t2i-preview
分镜绘制器(角色+场景+分镜文本)分镜首帧图是(逐镜确认)Wan 2.2-i2i-flash
视频生成器首帧 + 剧本动作描述3–10s 视频片段(MP4)否(自动)Wan 2.5-i2v-preview
合成引擎视频片段 + 音频 + 字幕最终成片(MP4)FFmpeg + 自定义合成逻辑

需求约束

  • 一致性保障:同一角色/场景在不同分镜中保持视觉一致(通过ID绑定+特征缓存)。
  • 生成速度:全流程 ≤ 10 分钟(Demo 可接受,非实时)。
  • 可控性:每个“抽卡”环节提供 ≥3 选项,支持重试。
  • 合规性:不生成真人肖像,角色为动漫风格。

交互流程

  • 创意输入: 一句话描述想生成的内容。

  • 剧本生成: 根据输入的创意自动拆解角色/场景/分镜 * *基于创意进行剧本的扩写,分镜的要素按JSON格式输出,包括角色,场景,构图,光线,角色动作,情绪,时长(每个片段3-10s),音效,配音描述 (用于控制音色一致性)。

  • 角色生成: 百炼调用Wan2.5-t2i-preview生成角色图,一次三张,可以抽卡重新生成,时间大概20s。

  • 场景生成: 同上生成场景图,都是为了控制分镜主体一致性。

  • 分镜生成: 使用Wan2.2-i2i-flash参考角色图和场景图,结合详细分镜描述按顺序生成每个分镜的首帧,每张大概30s。

  • 视频生成: 确认好分镜图后,使用Wan2.5-i2v-preview结合剧本描述和台词同步生成视频和相应的配音,音画同步,并且自动完成剪辑拼接,整个过程35min。视频时长根据分镜多少决定,一般20s1min。

效果演示

单角色讲解场景

动漫小狗早晨刷牙live.csdn.net/v/506107

双角色对话场景

3D小鱼海底购物live.csdn.net/v/506108

Q版日常打招呼live.csdn.net/v/506109

搭建工具

全程使用 Qoder自然语言生成+百炼API调用

1.使用Qoder Quest模式生成初版,把需求和大致思路像老板一样指派任务给agent,他会自主先生成产品需求设计,规划待办,再进行执行。

2.需要向他提供自己百炼API-Key。

3.在生成完初版项目之后,使用智能体模式进行精调。最好使用极致模式,性能最好但消耗多。

4.明确使用的模型具体名称,不然会出现调用失败。 提供明确的名称后会智能体会自行查阅网页找到合适的接口格式。

目前问题

  1. 配音直接使用Wan2.5视频同步生成,好处是可以同步生成环境音效。为了保证音色一致性目前的解决方案是使用提示词约束,但效果不太好,后续考虑用TTS模型单独配音再合成。
  2. 多角色,多场景的分镜图合成还是控制的不够精细,目前最好的情况还是单场景单一角色的介绍,如果在复杂性高的多角色交互,场景切换的任务下还需要优化。
  3. Qoder目前仅能个人开通PRO版,Credit有限,跑这样一个 Demo大概就花了一半的用量,希望可以尽快开通企业版内部使用。