AIGC新世界大门

433 阅读2分钟

本期文章没有具体技术点描述,只是传送门。 最近在做虚拟数字人相关调研时发现的几个有意思的开源库:

  1. AI换脸库:github.com/iperov/Deep…
    没错,就是那种换脸技术,你懂的😋,可实现效果如下(如涉及侵权,请联系删除,腾哥版小马哥还是有点帅的):

111.gif

  1. 视频训练AI数字人库:github.com/MRzzm/DINet
    这个也是通过真人先录一段视频,然后通过该库去提取并训练视频中的人物角色模型,训练过程对显卡要求很高(24G+),建议使用云端GPU做训练,训练完成后可以通过一些文本或者音频去驱动这个模型让他帮你录制你想要录制的视频,相比3D建模后通过AI驱动生成数字人模型,降低了建模的成本,还有3D建模再逼真,也不可能达到真人的水平,这个库训练出来的就和真人一样,不过是2D的,不能做其他交互。不再放举例视频了。

  2. 声音克隆库:github.com/svc-develop…
    附上这个库的中文readme文档,具体可实现效果,参照文档就行:github.com/svc-develop…,该库训练音频模型过程同样对显卡要求很高. 附上孙燕姿AI合成版的《发如雪》,点击我收听,真的很棒!

  3. 唇形合成库(让图片说话):github.com/PaddlePaddl… 这个也很有意思,先给大家看看他能实现的效果:

222.gif

更新: 这个SadTalker的效果感觉更好,目前还支持StableDiffusion的插件:github.com/OpenTalker/…

以上只是给大家提供传送门,具体如何深入学习,全靠大家自己摸索了,这里有一句话大家共勉:技术圈也不是法外之地,勿用技术作恶。