1段视频 + 1段音频 = AI数字人

405 阅读1分钟

今天介绍一款全新的数字人AI项目,叫做SadTalker-Video-Lip-Sync。该项目基于SadTalker进行了升级,通过以视频文件方式进行语音驱动生成唇形,并且对面部进行了画面增强,使合成的数字人更为流畅、真实以及自然。

以下左图是SadTalker-Video-Lip-Sync生成的数字人视频,可以看到整个数字人说话的动作自然流畅,用该工具生成的数字人效果大幅提升。以下右图是SadTalker生成的数字人视频,可以看到只有嘴在动,比较呆。

图片

注意事项:项目仅支持N卡,且需要至少6G以上显存才可使用。

离线整合包

需要自行本地部署的朋友,可以查看往期内容:AI数字人越来越强了!

这里我们介绍一下离线整合包使用方法:下载解压整合包,提前准备音频和视频文件,分别命名为“1.wav”和“1.mp4”,并放置在解压文件夹的根目录,双击“一键启动-SadTalker-Video-Lip-Sync.exe”等待即可。

图片

运行结束后,结果保存在“results”文件夹内,打开时间最近的文件夹,后缀是“_full.mp4”的文件就是最终的数字人视频。

关注公众号Glen,回复【唇形合成数字人】,免费获得本文资源~