混元图生视频-腾讯混元开源的图生视频模型

17 阅读1分钟

混元图生视频是什么

混元图生视频是腾讯混元推出的开源图生视频模型,用户可以通过上传一张图片进行简短描述,让图片动起来生成5秒的短视频。模型支持对口型、动作驱动和背景音效自动生成等功能。模型适用于写实、动漫和CGI等多种角色和场景,总参数量为130亿。腾讯混元图生视频模型已在腾讯云上线,用户可通过混元AI视频官网使用体验。混元图生视频模型在Github、Huggingface等主流开发者社区开源,包含权重、推理代码和LORA训练代码,开发者可以基于此训练专属LORA等衍生模型。

混元图生视频-腾讯混元开源的图生视频模型-微丽宝(丽宝云)

混元图生视频的主要功能

图生视频生成:

用户只需上传一张图片输入简短描述,模型可将静态图片转化为5秒的短视频,同时支持自动生成背景音效。

音频驱动功能:

用户可以上传人物图片,输入文本或音频,模型能精准匹配嘴型,让图片中的人物“说话"或"唱歌”,呈现符合语气的面部表情。

动作驱动功能:

用户上传图片后,选择动作模板,模型可让图片中的人物完成跳舞、挥手、做体操等动作,适用于短视频创作、游戏角色动画和影视制作。

高质量视频输出:支持2K高清画质,适用于写实、动漫和CGI等多种角色和场景。

来源:www.dcyzq.com/post/59.htm…