继Runway和Pika后，Google也开始卷在AI文生图，图生图、AI视频处理的路上了。不过不得不说，Google作为名副其实的超级大厂，这次推出的Lumiere AI也是着实惊艳到我了。本来还以为这次Google出的AI工具应该和其他同类差不多，但是当我看到他们放出来的效果后，感觉还是被打脸了！
看清了吗？谷歌团队提出了一种专为视频生成的扩散模型——Lumiere，能够做出这种画质，不能说非常落后吧，只能说是遥遥领先了！这也算是厚积薄发了吧，毕竟前有Runway和Pika两份相对优秀的答卷了。另外这次Google在的AI视觉赛道真的是把画质拉升到了一个新的高度！估计Runway和Pika真这次只能直呼内行了。
原视频转换的GIF，画质高度伤损 /(ㄒoㄒ)/~~
这次除了拉升画质之外，Lumiere AI还搞出了很多看起来就很科学的功能，比如你给他一张极具风格的图片，然后直接要求出一个和这张图片风格一样的视频
这次画质好点了 (●'◡'●)
当然还有更实用的区域编辑，可以让图片中的某个区域动起来，老规矩，上图！.
真希望掘金爸爸早日支持大一点的GIF图片上传 ┭┮﹏┭┮
虽然图片模糊了，但是大家有目共睹，选中的区域的确实现了图片转动画，Lumiere AI可以根据图片全局推算出局部区域的动画效果！如果你有一个自己故事线，再去连续做几个这样动画，emmmm....一条爆款视频也许就此诞生！
相比Runway和Pika，Lumiere AI可以用更少的关键词生成一段更加精准的视频。虽然实现的功能不算创新，但是给出的画质的确令人讨喜。在视频色彩，帧率的掌控上似乎也比前两家略胜一筹。真正实现直接生成全帧率的视频。除此之外，Lumiere AI还支持对视频编辑！
变！
直接换装，就很丝滑！以后带女朋友出去要是对录完视频对着装不满意的话，这回你知道该怎办了吗？这个Lumiere AI要不要用起来？想不想看到你女朋友满眼星光的看着你投来羡慕的小表情？从现有的种种信息来看Lumiere AI这次完全可以挺直腰杆对Runway可Pika说：什么档次？跟我实现一样的功能？不过另外根据官方发布的论文来看，Lumiere AI除了实现三个关键问题：真实性、多样化、运动的连贯性。
添加图片注释，不超过 140 字（可选）
Lumiere的突破性创新在于，它引入了时空U-Net（STU-Net）架构：该架构能够在空间和时间两个维度上同时对视频进行下采样和上采样，最终在网络的中间层实现视频的紧凑时空表达。在此架构的基础上，模型可以一次完成视频所有帧的生成，有效提高了视频整体的流畅性。同时，大量的计算处理在数据被压缩之后进行，使得STU-Net大幅降低了对计算资源和内存的需求。
为了增强视频的清晰度，研究团队采用了多重扩散（MultiDiffusion）技术。这一技术通过线性加权处理重叠时间窗口产生的边界伪影，使得生成的画面能夔更加顺畅地融合，从而产生连贯且高清的视频效果。研究人员收集了约400份反馈，结果表明在视频质量和文本匹配度方面，Lumiere超越了Pika、Gen2、Imagen Video、SVD等多个顶尖视频生成模型。
