刚刚，智谱把清影背后的图生视频模型 CogVideoX-5B-I2V 给开源了！（在线可玩）
一起开源的还有它的标注模型 cogvlm2-llama3-caption。
在实际应用中，CogVideoX-5B-I2V 支持**「一张图」+「提示词」**生成视频。
而 cogvlm2-llama3-caption 则是负责将视频内容转换成文本描述。
不过用过的网友却对它的表现褒贬不一：
有人在用过之后直呼 Amazing。
也有人试了半天，最后还是选择了 CogVideoX 之前的版本，还夸夸说：我最看好这个型号！
所以到底效果如何，咱们来实测一波！
实测 CogVideoX-5B-I2V
测试开始~ 输入提示词：咖啡店员握住双手笑着对客人表示欢迎，说话时身体自然活动（依旧是老生常谈的 “手部” 问题）
论文也已公开
值得一提的是，目前 CogVideoX-5B-I2V 模型的代码均已开源，支持在抱抱脸中进行部署。
相关研究论文也已公开，纵观论文内容，有三大技术亮点值得说道说道~
首先便是团队自研了一个高效的三维变分自编码器结构（3D VAE），将原视频空间压缩至 2% 大小，大大减少了视频扩散生成模型的训练成本及训练难度。
模型结构包括编码器、解码器和潜在空间正则化器，通过四个阶段的下采样和上采样实现压缩。时间因果卷积确保了信息的因果性，减少了通信开销。团队采用上下文并行技术以适应大规模视频处理。
在实验中，团队发现大分辨率编码易于泛化，而增加帧数则挑战较大。
因此，团队分两阶段训练模型：首先在较低帧率和小批量上训练，然后通过上下文并行在更高帧率上进行微调。训练损失函数结合了 L2 损失、LPIPS 感知损失和 3D 判别器的 GAN 损失。
其次是专家 Transformer。
团队使用 VAE 的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入 z_vision。
同时，他们使用 T5，将文本输入编码为文本嵌入 z_text，然后将 z_text 和 z_vision 沿序列维度拼接。拼接后的嵌入被送入专家 Transformer 块堆栈中处理。
最后，团队反向拼接嵌入来恢复原始潜在空间形状，并使用 VAE 进行解码以重建视频。
最后的亮点，便是在于数据了。
团队开发了负面标签来识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪音视频。
通过 video-llama 训练的过滤器，他们标注并筛选了 20000 个视频数据点。同时，计算光流和美学分数，动态调整阈值，确保生成视频的质量。
视频数据通常没有文本描述，需要转换为文本描述以供文本到视频模型训练。现有的视频字幕数据集字幕较短，无法全面描述视频内容。
为此，团队还提出了一种从图像字幕生成视频字幕的管道，并微调端到端的视频字幕模型以获得更密集的字幕。
这种方法通过 Panda70M 模型生成简短字幕，使用 CogView3 模型生成密集图像字幕，然后使用 GPT-4 模型总结生成最终的短视频。
他们还微调了一个基于 CogVLM2-Video 和 Llama 3 的 CogVLM2-Caption 模型，使用密集字幕数据进行训练，以加速视频字幕生成过程。
One more thing
值得一提的是，CogVideoX 近来这一个月也没有闲着，化身勤更达人码出了一堆更新！
2024 年 9 月 17 日，提供了 SAT 权重的推理和微调代码和安装依赖的命令，使用 GLM-4 优化了提示词
链接：github.com/THUDM/CogVi…
2024 年 9 月 16 日，用户可以利用本地开源模型 + FLUX+CogVideoX，实现自动化生成高质量视频。
链接：github.com/THUDM/CogVi…
2024 年 9 月 15 日，CogVideoX 的 LoRA 微调权重已成功导出，并在 diffusers 库中成功通过测试。
链接：github.com/THUDM/CogVi…
2024 年 8 月 29 日，在 CogVideoX-5B 的推理代码中加入了 pipe.enable_sequential_cpu_offload() 和 pipe.vae.enable_slicing() 功能，使显存占用降至 5GB。
2024 年 8 月 27 日，CogVideoX-2B 模型的开源协议已修改为 Apache 2.0 协议.
当天，智谱 AI 开源了更大规模的 CogVideoX-5B 模型，显著提升了视频生成的质量与视觉效果。这个模型优化了推理性能，允许用户在 RTX 3060 等桌面显卡上进行推理，降低了硬件的要求。
2024 年 8 月 20 日，VEnhancer 工具已支持对 CogVideoX 生成的视频进行增强，提升视频分辨率和质量。
2024 年 8 月 15 日，CogVideoX 依赖的 SwissArmyTransformer 库升级至 0.4.12 版本，微调不再需要从源代码安装该库。同时，引入了 Tied VAE 技术以优化生成效果。
而这次 CogVideoX-5B-I2V 的开源，也代表着 CogVideoX 系列模型已经支持文生视频、视频延长、图生视频三种任务。
相关链接已附上，感兴趣的朋友们可以围观一波~
在线试玩：huggingface.co/spaces/THUD…
开源地址：github.com/THUDM/CogVi…
论文地址：arxiv.org/pdf/2408.06…
— 完 —
