混元图生视频是什么
混元图生视频是腾讯混元推出的开源图生视频模型,用户可以通过上传一张图片进行简短描述,让图片动起来生成5秒的短视频。模型支持对口型、动作驱动和背景音效自动生成等功能。模型适用于写实、动漫和CGI等多种角色和场景,总参数量为130亿。腾讯混元图生视频模型已在腾讯云上线,用户可通过混元AI视频官网使用体验。混元图生视频模型在Github、Huggingface等主流开发者社区开源,包含权重、推理代码和LORA训练代码,开发者可以基于此训练专属LORA等衍生模型。
混元图生视频的主要功能
图生视频生成:
用户只需上传一张图片输入简短描述,模型可将静态图片转化为5秒的短视频,同时支持自动生成背景音效。
音频驱动功能:
用户可以上传人物图片,输入文本或音频,模型能精准匹配嘴型,让图片中的人物“说话"或"唱歌”,呈现符合语气的面部表情。
动作驱动功能:
用户上传图片后,选择动作模板,模型可让图片中的人物完成跳舞、挥手、做体操等动作,适用于短视频创作、游戏角色动画和影视制作。
高质量视频输出:支持2K高清画质,适用于写实、动漫和CGI等多种角色和场景。