4K版葫芦兄弟,西瓜视频计划修复百部动画片,背后藏着这些AI算法( 四 )


其一 , 胶片在转录和数字化流程中受转录设备的影响 , 带来了不同程度的色彩偏移 , 从而背离创作者最初想要表达的画面 。
其二 , 老片制作流程通常基于旧的播放场景和制作标准 , 采用较窄的色域和较低的亮度动态范围 , 导致亮度动态范围普遍比较低 , 画面对比度也就比较差 , 看起来很昏暗 。 而如今大部分的中高端手机机型已经开始支持 HDR 播放 , 具有 1200 nit 甚至更高的屏幕亮度和 DCI-P3 的广色域显示 。
针对造成老片色彩失真的两方面原因 , 火山引擎的色彩增强方案进行了有针对性的处理 。 一方面 , 基于 AI 进行画面色偏检测和修复 , 还原创作者初衷;另一方面 , SDR 到 HDR 的转换(SDRToHDR)可以将画面动态范围和色域映射到更大的空间(峰值亮度 100nit 到最大 10,000nit , BT.601 到 BT.2020) , 充分利用用户显示设备的能力 , 获得最佳显示效果 。 目前 , 火山引擎的 SDRtoHDR 色彩增强方案处于业界先进水平 。
SDRToHDR 修复前后的《大头儿子小头爸爸》画面对比如下 , 可以看到 , 右边画面在色彩明度和丰富度方面均有显著提升:
4K版葫芦兄弟,西瓜视频计划修复百部动画片,背后藏着这些AI算法
文章图片

消除瑕疵
由于年代久远以及保存不当等主客观因素的影响 , 老胶片可能会出现物理和化学损伤 , 导致视频画面布满雪花碎片、黑线和闪动等多类型瑕疵 。 这时 , 就需要进行视频降噪和坏点划痕修复 。
视频在采集、剪辑、编码、转码、传输、显示等过程中会出现失真 , 噪声就是信号采集过程中引入的一种普遍失真 。 降噪成为了增强视频画质和提升清晰度的一种手段 。 传统视频降噪算法可以分为基于空间域和基于时域的降噪 , 基于机器学习的视频降噪算法也得到了越来越多的研究 , 如 2019 年 4 月荷兰代尔夫特理工大学提出的深度盲去噪算法 ViDeNN 等 。
对于老电影 , 由于胶片自身的损伤 , 背景上一般都会有很多坏点划痕 , 比如一条条的竖线 。 去划痕非常有必要 。 经典解决方法通常分两步走:检测和去除 。 划痕检测大多采用直线检测方式 , 找到空间中的竖线、横线 , 然后利用空间或时间插值把这条线用别的像素给补上去 。
但是 , 相较于常见的视频瑕疵 , 老片的瑕疵不仅类型复杂而且程度更严重 , 为此火山引擎结合了传统信号处理和深度学习算法 , 对噪声和坏点划痕进行有针对性的修复:对于较小的雪花颗粒噪声 , 使用传统算法进行处理;对于较大的坏点和划痕 , 使用机器学习算法进行识别和修补 。
效果立竿见影 , 从下图《布谷鸟叫迟了》画面的修复对比效果可以看到 , 算法强力地修复了瑕疵 , 并且保留原有纹理不受影响:
4K版葫芦兄弟,西瓜视频计划修复百部动画片,背后藏着这些AI算法
文章图片

然而算法也不是万能的 。 在实际修复过程中 , 如果要求算法实现 100% 的处理瑕疵 , 那么会很容易将一些艺术效果也识别为瑕疵 , 从而对影片造成了破坏 。
因此 , 在这次老片修复过程中 , 火山引擎采用了算法处理和人工标注结合的方案 , 其中算法大概能解决 95% 以上的瑕疵问题 , 剩余 5% 的瑕疵需要由人工辅助标注 。 然后告诉算法 , 再调整算法做二次优化 。 这样一来 , 我们既可以比较彻底地消除瑕疵 , 也能保护影片原有的艺术风格 。
4K版葫芦兄弟,西瓜视频计划修复百部动画片,背后藏着这些AI算法
文章图片

不过 , 对损伤严重的老片来说 , 彻底消除瑕疵需要投入大量人力 。 以《葫芦兄弟》为例 , 修复团队在消除瑕疵的过程中看了 20 万帧的画面 。

特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。