表情迁移大法,LivePortrait 帮你快速处理图片!

318 阅读2分钟

LivePortrait 由快手可灵大模型团队开源,主要功能包括从单一图像生成生动动画、精确控制眼睛和嘴唇的动作、处理多个人物肖像的无缝拼接、支持多风格肖像、生成高分辨率动画等。该项目使用的是基于隐式关键点框架的 AI 肖像动画生成框架。它能够将驱动视频的表情和姿态迁移到静态或动态人像上,生成极具表现力的视频。

在最新版本中,模型加入了精确画像编辑,视频编辑等多个有趣的功能。

image.png

使用云平台:OpenBayes

注册 - OpenBayes​openbayes.com/console/signup?r=sony_0m6v

登录到 OpenBayes 平台后,打开「公共教程」,找到「LivePortrait 快手开源图生视频数字人 Demo」的教程。

image.png

进入到教程界面后,点击右上角「克隆」。

image.png

平台在克隆过程中以自动为我们配置好了模型文件,我们直接点击「下一步:选择算力」即可。

image.png

平台会自动选择合适的算力资源和镜像版本,这里使用的是NVIDIA RTX 4090 的算力和 PyTorch 的镜像,点击「审核并执行」。可以使用文章开头的邀请链接,获得免费 RTX 4090 的使用时长!

image.png

确认模型信息无误后,点击「继续执行」。

image.png

稍等片刻,待系统分配好资源,状态栏显示为「运行中」后,将鼠标悬停在 API 地址处,点击链接进入模型。注意,使用 API 需要进行现进行实名认证~

image.png

image.png

进入 Demo 页面后,我们可以看到有多种模式供我们选择。

首先是最上方的,我们可以在 Image 栏中插入图片,在 Video 栏中插入表情参考的视频,点击生成后,模型就可以生成一段图片中人物做出相应动作的视频。

image.png

在下方参数栏中可以选择是更注重视频的表情或是动作以及动作的流畅程度等。

image.png

我们选择一个示例来进行演示。

image.png 点击「Animate」生成。

image.png

可以看到模型生成了对应的视频。

image.png

在下方的 portrait Video Editing 中用户可以对视频中的内容进行相应的更改。

image.png

精确编辑模式

用户可以自动选择改变眉毛形状,嘴巴大小,是否做了 wink 动作以及微笑程度等来生成新的图片,同时我们也可以改变面部的整体位置。我们选择一个示例来示范。

image.png

可以看到模型根据我们给出的参数生成了对应的图片。

Retargeting Video 模式

target lip-openratio 可以调整视频中人物嘴巴的张开大小。当参数为 0 时,那么视频中人物的嘴巴时闭合的。我们选择一个视频,点击「Retargeting Video」生成。

image.png

可以看到视频中人物的嘴巴是闭合的。