如何开始的
最近在一些短视频平台刷到很多那种AI漫画图文解说的视频，后来刷到一些视频看这种漫画视频是使用stable diffusion webui生成图片，然后将图片放到剪映里面通过文案配音制作的，也看到一些博主使用五花八门的工具来做，反正这些工具整体的流程就是编写文案，编写提示词使用AI生成图片，配音，然后生成视频。
于是忽，凭着感兴趣的角度开始出发，最近做了一个基于electron + react + typescript的AI漫画视频工具。
大概长这样
直接看一下整体效果吧！
咋用的呢？
1、首先需要云服务器或本机部署安装stable diffusion webui，并设置好sd的模型，并放开sd的api
2、在软件中设置一下sd的api访问路由，选择一个剪映的工作目录，考虑到漫画视频制作的多样性，方便用户调整，使用这个工具最终生成的是一个剪映项目而不是一个视频
3、设置完成后就可以使用了，在表格中分镜栏，输入配音文案，然后输入sd的提示词和反向提示词，还可以选择一个loral模型调整画面风格，最后点击生图按钮，此时工具就会调用sd的api完成图片生成
批量生成图片：也可以编写好文案后批量生成图片
分镜栏的单元格里面一行表示配音文案的一句话，如果一张图片播放时想要多句话，就输入文案的时候换行就行了
4、文案配音 点击复制配音文案，会将你所有的文案复制下来，直接到配音软件中粘贴生成配音，生成配音之后，点击导出剪映项目，将srt字幕文件和wav音频文件拖拽到弹窗里面，点击导出就会生成一个剪映项目
5、打开剪映打开生成的剪映项目大概是下面图中这样的，可以自己加特效或者调整，最后导出视频
生成的视频效果大概是这样
用gif压缩截取了一小段
浅聊一下文生图的大模型
现在文生图的大模型感觉五花八门挺多的，从个人体验来看，真正比较能打的midjourney一直很强，但是需要付费，直到最近几个月比较火的两款开源模型flux和kolors感觉在AI绘画通用领域的模型中还挺强的。
跑了一下kolors，kolors是支持中文提示词的，如果后面工具能集成kolors的话，就只需要输入中文描述词就直接生成图片，而且这款模型在通用领域表现非常不错
还有这款号称地表最强开源AI绘画模型flux
上面这两款开源模型主要是在通用绘画领域很强，而且生成的图片质量都非常好，如果能集成这两款模型在未来图文视频应用的领域就更广比如一些知识普及视频，各类小说漫画推文，儿童漫画等。
再往后面看就是文生视频了，不过现在文生视频感觉还有待再往前一步，而且显卡遭不住。
写在最后
目前项目处于非常基础的一个版本，有兴趣的朋友可以star一下或者再完善完善。
开源地址：diffusion-capcut-video
