脑补慢动作的AI源代码来了:有了它,普通视频也能平滑补帧

352 阅读2分钟
原文链接: zhuanlan.zhihu.com
晓查 发自 凹非寺
量子位 出品 | 公众号 QbitAI

手机慢动作视频拍摄已经越来越普及,但网上大多数视频仍然是低帧率。如果我们自己能够自己动手,把球赛精彩瞬间转换成慢动作回放,那该有多好啊!

今年6月,英伟达在公布了一种算法Super SloMo,可以将普通30fps视频转化成240fps慢动作:



它衔接动作自然,拒绝出现慢放“PPT”,简直就是视频领域的“脑补大师”。就在大家都期盼公布代码的时候,英伟达却没有下文了。

虽然官方不做,却抵挡不住民间高手的智慧。时隔半年后,一名来自德克萨斯A&M大学的研究生用PyTorch实现了它,很快成为了reddit机器学习板块的热门。

脑补慢动作的算法

这套算法可以在两帧图像之间插入任意数量的图片,不仅能实现从30fps到240fps,甚至最高可以达到1000fps。

实际效果如何?请看它如何将汽车行驶的视频慢放8倍:






看到上面的对比,是不是也想试试?首先,你需要做以下一些准备:

因为模型训练和测试是在PyTorch 0.4.1CUDA 9.2上完成的,所以安装这两个软件必不可少,另外你还需要有一张NVIDIA的显卡。

模型无法直接使用视频训练,还需要安装ffmpeg从视频中提取帧。

一切准备工作完成后,就可以下载adobe240fps数据集进行训练了。

如果你是一个“伸手党”,还可以直接下载用adobe240fps训练好的模型。

网友望眼欲穿

在官方代码迟迟没有放出的情况下,有第三方程序员实现了它,这让网友们感到十分激动。大家似乎更关心模型的实际性能,不要渲染1秒钟,却用时1小时啊。



既然是英伟达的研究成果,已经有游戏玩家开始幻想未来的应用场景:我的王者荣耀岂不是直接从30fps跳到60fps?

愿望虽好,但关于Super SloMo的落地问题还有待进一步解答。

作者表示,未来将继续完善项目的细节信息,视频转换的程序脚本也在加紧制作中,让我们拭目以待吧。

传送门

项目地址:

avinashpaliwal/Super-SloMogithub.com图标

训练数据集下载:

http://www.cs.ubc.ca/labs/imager/tr/2017/DeepVideoDeblurring/DeepVideoDeblurring_Dataset_Original_High_FPS_Videos.zipwww.cs.ubc.ca

训练完成模型下载:

https://drive.google.com/open?id=1IvobLDbRiBgZr3ryCRrWL8xDbMZ-KnpFdrive.google.com

论文地址:

https://arxiv.org/pdf/1712.00080.pdfarxiv.org