经典动画《大闹天宫》4K 版上映,老动画是如何修复的?

avatar
技术运营 @北京字节跳动科技有限公司

《大闹天宫》在中国的百年动画史里,是一座让人叹为观止的高峰,连日本现代动画制作鼻祖手冢治虫都是本片导演万籁鸣的“忠实迷弟”。

8月8日,第十二届北京国际电影节公布了展映片单,4K修复版《大闹天宫》亮相“修复经典”单元。本次展映的版本由西瓜视频联合火山引擎共同修复,是该片首次经由AI技术实现4K分辨率级别复原,也是4K修复版本首次亮相大荧幕。

为了完成《大闹天宫》(上下集)的4K修复,火山引擎多媒体实验室基于深度学习的视频增强修复技术,改善了老旧动画的模糊等画质问题,并辅以人工美学分析调优,在提升视频主观感知质量的同时,保留了原片的艺术效果。

此外,为了能在影院中获得更舒适的听觉效果,火山引擎音频技术团队同时进行了音质修复,优化了当年影片制作时拾音环境、录制设备限制带来的底噪过大、突发爆音等问题。

火山引擎视频点播与智能处理产品基于多媒体实验室打磨的算法与技术,针对音视频质量构建,从画质检测、无参评分、画质评分、针对性后处理(画质增强/分转码档位/过滤等)、播放回收等多个维度提炼实际反馈数据,打造了画质提升全链路解决方案,并在三大主流场景——老片修复、低质增强、极致高清,分别打磨出最佳实践方案,支持快速应用赋能企业客户。

火山引擎画质全链路解决方案

画质全链路解决方案支持在线实时处理和离线定制化处理,此次展映的 4K 修复版《大闹天宫》,是方案的检测技术、增强技术在老片修复场景的实际应用。

如何评估老片画质

老片画质评估,是老片修复过程的首要环节。为了做好老片画质评估,火山引擎综合了市面上客观评测标准及自研 VQscore 无参考视频质量评价指标来完成画质检测和评分。其中,VQScore 采用了主观分与细指标融合的方式,并且结合了神经网络和经典算法,具体内容如下。

VQScore 架构

同时,其能够支持包括噪声、亮度、对比度等十多种画质相关的检测指标,单项或综合评分输出:

origin_img_v2_8d39f859-54f0-4709-9217-bfe15a2f451g.jpg

评分检测指标(点击图片,放大可见)

影响老片观感体验的,主要是画质。对于画质,一般会有四类问题。

  • 清晰率低:分辨率是衡量影片清晰程度的重要参数,老片分辨率一般都是720p、540p甚至更低;另外制作过程中,拍摄镜头、数字化扫描、数字化压缩存储等因素可能会造成纹理丢失等问题,导致清晰度更差。
  • 流畅度低:影响流畅度的主要因素是视频帧率,目前大多影片帧率都在25帧以上,有的能达到60甚至120帧,但由于制作成本限制,许多老片拍摄或者手绘的帧数往往低于每秒15帧,观看时会有较强的卡顿感。
  • 色彩失真:胶片保存较差,存在物理化学损伤,这些损伤在数字化后会引起各种色彩问题。此外,老片用老的色彩标准制作,亮度动态范围普遍比较低,所以画面对比度也比较差,看起来就很昏暗。
  • 瑕疵多:提起老片,很多人会联想到满屏雪花一般的噪点、大量的黑线和闪动。由于保存环境比较差,或者播放使用不当,老片存在物理、化学损伤,呈现出多种瑕疵。

对症下药,老片焕发新生

对老片进行画质评估之后,火山引擎视频点播与智能处理产品会针对影片的质量问题进行分析,并在各个维度上产生对应的个性化修复模块,排列组合调优。

如何实现老片的画质增强

老片画质修复,就是每一部片子“对症下药”,从而达到最理想的修复效果。这个过程中,主要在以下几方面应用了关键算法技术:

提升清晰度

采用超分辨率重建和去模糊算法。这两项技术是使用机器学习的方式实现的。火山引擎对海量高清和低清视频数据进行分析,使算法模型可以学习到高清视频特性,从而完成视频从低清到高清的转换,并且生成缺失的细节。这样一来,分辨率就可以从720P提升到4K,大幅提高清晰程度。

提升流畅度

视频的卡顿感可以通过提升帧率来优化。运用智能插帧算法,通过对前后帧的内容进行分析,生成中间帧内容,将原先不足15的帧率,提升至60以上,从而大幅提升流畅度。

色彩增强

首先,利用算法对画面色偏进行自动化检测和矫正,让其恢复原有的观感;其次,为适应最新显示设备的色彩标准,对老片亮度范围进行拓展,色彩空间进行转换,用更宽的亮度和更丰富的色彩来显示老片,让色彩更丰富,焕然一新。

消除瑕疵

火山引擎结合传统信号处理以及深度学习算法,对较小的雪花颗粒噪声,使用传统算法进行处理;对于较大的坏点和划痕,使用机器学习算法进行识别和修补。强力地修复瑕疵的同时,保留原有纹理不受影响。然而算法也不是万能的。在实际修复过程中,如果算法做到100%的处理瑕疵,那么会很容易将一些艺术效果也识别为瑕疵,对影片造成破坏。

为此,火山引擎在老片修复过程中,算法大概能解决95%以上的瑕疵问题,剩余的瑕疵需要由人工辅助标注,再调整算法做二次优化。这样一来,既可以比较彻底地消除瑕疵,也能保护影片原有的艺术风格。

在北京电影节重温经典

本次北京电影节最新排片已出炉,赶紧把《大闹天宫》4K修复版加入观影日程吧!

  • 8.13 周六  18:30 保利国际影城(凯德MALL·大峡谷店)全景声激光巨幕厅
  • 8.14 周日 15:30  寰映影城(合生汇店)7号厅
  • 8.19 周五 18:30  保利国际影城(凯德MALL·大峡谷店)全景声激光巨幕厅
  • 8.20 周六  13:00 寰映影城(合生汇店)7号厅
  • 8.21 周日 15:30 红剧场1厅

火山引擎修复老片采用增强视频画质的多媒体技术,算法经过抖音、西瓜视频等业务大规模验证和持续迭代,目前已向企业客户开放服务。

目前,火山引擎视频点播、智能处理的音视频质量增强方面支持闲时策略,节省了客户业务70%的成本投入。闲时策略主要利用机器资源闲时,以很低的成本进行高价值音视频处理任务,包括智能超分、智能插帧、SDR2HDR增强、单纯SDR增强 、音频降噪、音量/响度均衡等。