2、让粗糙、模糊的画面变得精细化
受限于拍摄技术 ， 老的影像资料的分辨率往往很低 ， 表现为图像质量差 ， 很多时候甚至靠脑补来观赏 ， 体验大打折扣 ， 也不利于一些珍贵细节的保存 。
于是 ， 让分辨率超出原本素材的“底板” ， 实现更进一步的“超分辨率” ， 就成为AI在做的另一件重要的事情 。 昇腾AI参与《开国大典》的修复和增强 ， 其核心目标之一 ， 就是将分辨率从1080P提升到8K ， 提升画面的精细度 。
我们知道 ， 数字图像与拼图类似 ， 实际上是由大量带颜色的像素点根据规整的网格组合而成的 。 所谓分辨率 ， 即每一行每一列中所具有的像素点数量 。 分辨率越高 ， 画面往往越清晰和精细 。 1080P分辨率是1080x1920 ， 每一行有1920个像素点 ， 每一列有1080个像素点 ， 共计207万像素点；而8K分辨率是4320x7680 ， 像素点数量是1080P的16倍 ， 达到了3317万像素点 。
视频超分辨率算法 ， 就是从这207万像素点去生成出16倍的信息 ， 将细节计算“脑补”出来 ， 即所谓“管中窥豹”；而且算法不能随便“脑补” ， 必须考虑上下文多帧图像的信息来保持前后一致性 ， 否则就像是断裂的镜面 ， 前后出现跳变 。 脑补得不好 ， 就会出现明显的马赛克或是锯齿效果；稍微好一点的 ， 仍则会有明显的边缘模糊 。 传统的超分方法经常面临类似的问题 。
而基于AI的超分辨率算法则真正具有“脑补”和假想出细节的能力 。
通过合适的网络结构和算子 ， 昇腾AI算法能够方便地融合上下文信息 ， 来计算和填充空白像素点的信息 。 与去噪模型不同的是 ， 由于需要进行像素值的估计和填充 ， 需要更为精密的对齐过程 ， 昇腾AI使用了最灵活的可变卷积来进行前后帧信息的对齐 ， 能避免用传统方法带来的对齐失真问题 ， 对每一个像素的值都做出尽可能合理的估计 。

文章图片

（AI补足像素点 ， 让图像更清晰）
卷积神经网络往往蕴含大量的计算过程 ， 尤其是应用到视频领域 ， 计算量成倍的增加 。 更何况是从1080P到8K ， 涉及到这么多像素点 。 此外 ， 视频播放需要达到每秒24帧以上 ， 人眼才不会觉得明显的卡顿 ， 一段12分钟长度的视频 ， 其帧数至少达到17280帧 。

文章图片

所以 ， 视频超分算法不仅是像素点数量庞大 ， 需要处理的帧数量也很大 ， 这是对计算能力的直接要求 。 算法本身的各种“脑补”创新固然能让最终呈现的效果有所不同 ， 但实打实的计算性能“硬能力”是一切视频超分算法创新的基础 ， 而昇腾AI ， 就是为这种算法创新做好了性能上的充分准备 。
3、让视线焦点得到精准照顾
尽管超分辨率模型能提升视频整体清晰度 ， 但是观众在观看视频时经常关注特写镜头和人脸区域 ， 因此 ， 如果能够把人脸的视频质量再提升 ， 无疑将大大提高视频观感 。
因此 ， 昇腾AI还针对人脸区域进行单独的视觉增强 ， 增加人脸特写部分的精细度 ， 提升视频观感 。
这个过程听着简单 ， 但包含的AI算法更加复杂 ， 因为 ， 仅希望对人脸特写镜头或是人脸比较突出的区域进行针对性增强、在整幅画面中选一部分来操作 ， 需要一系列算法流程 ， 比如从视频帧中检测出人脸 ， 提取出人脸 ， 人脸关键点检测 ， 再提升精细度 ， 最后再将人脸融合到原画面中 。
此外 ， 为了保证单独增强的人脸与背景图像融合之后没有强烈的割裂感 ， 还需要对融合后的图像做后处理 。