文 | 曾响铃
来源 | 科技向令说
时代车轮滚滚向前 ， 那些属于过去的记忆却不曾退却 。
我们很幸运地看到很多以前的影像资料能够一直留存至今 ， 例如经典电影、建党建国珍贵影像等 ， 胶片的影像质感泛着岁月的痕迹 ， 要么见证了一个国家无法忘却的发展历程 ， 要么铭刻了街头巷尾集体的青春回忆 ， 个人、家庭、集体、国家 ， 都能在这样的“老片子”中看到属于过去的喜怒哀乐 。
然而 ， 即便能够“存档” ， 这些珍贵的上世纪拍摄的电影电视素材还是有很多遗憾等待弥补——受限于当时拍摄设备、存储介质、存储环境和处理播放设备的落后和简陋 ， 一方面 ， 留存的影像介质受到各种物理化学因素的影响 ， 在画面上都有不同程度的劣化（称为“退化”） ， 另一方面 ， 当人们已经习惯了高清、超高清、高质量的视频图像 ， 这些影像的分辨率、帧率和画面表现都已无法满足当下的观影需求 。
要让珍贵的影像更好地传承 ， 也要满足人们对于历史影像素材越来越高的质量要求 ， 这时候 ， AI对视频的修复和增强价值就展现出来 。
在AI技术快速发展的今天 ， 我们几乎能用AI来做任何图像和视频的处理 ， 例如昇腾AI以人工智能技术赋能视频修复和增强 ， 已经能够将上世纪40-80年代的一些经典影片和珍贵史料视频——如《开国大典》《闪闪的红星》——处理成4K甚至8K视频 。
这样的AI应用生动诠释了什么叫做“技术的温度” ， 既不失社会价值和经济价值 ， 又以普通人看得见、摸得着的方式表达着AI技术的价值 。
只有强大的性能加持才能实现 ，昇腾AI三路出击提升视频质感
视频增强要从哪些方面出发？答案并不复杂 ， 普通人观看老影像资料时面临什么痛点 ， 就是AI要解决的事 。
在昇腾AI加持下 ， 已有来自高校的生态伙伴着手从以下三个方面进行视频增强技术的创新 ， 而基于AI的视频修复和增强算法通常是由卷积神经网络（convolution neural network）来实现 ， 需要用专门的软硬件平台进行加速 ， 因此每一项都对昇腾AI提出了很强的性能要求 。
1、让烦人的图像噪点“去无踪”
由于胶片拍摄以及物理退化等原因 ， 老的影像资料总是有一些随机闪现的噪点 ， 是观看时最直接面对的痛点问题 。 用专业的话说 ， 这是视频画面中存在不同形式和模态的噪声 ， 且随机分布在所有画面帧内——不同的视频 ， 随机噪声的强弱也不尽相同 。
这时候 ， 昇腾AI“去除随机噪声”能力的价值体现出来了 。
其技术原理 ， 通过将几帧带不同强度噪声的连续图像和对应的几帧没有噪声的连续图像同时输入到算法中 ， 让神经网络用时空卷积自动学习去除随机噪声 ， 随着去噪模型学习过的图像数据对越多 ， 见过的噪声模式越丰富 ， AI去噪效果就越好 。
最终 ， 昇腾AI在数据加噪和退化的过程上做了很多研究和优化 ， 尽可能覆盖不同强度的随机噪声 ， 并使用高性能的时空卷积将时间和空间两个维度的信息直接进行整合 ， 既实现了去噪 ， 也让图像没有因为去噪而发生前后帧图像的突变 。

文章图片

（去噪前）

文章图片

（去噪后）
而很明显 ， 这样的技术创新 ， 一边要考虑拥有噪声的异常帧的复原 ， 一边还要考虑与前后帧的统一 ， 与单一维度考虑视频质量优化相比 ， 这种多样性的任务要求让计算能力的需求呈现几何式提升 ， 算法之外更重要的是要有计算平台的性能支撑 ， 否则一个如此复杂的算法将耗费大量时间 ， 在经济性和实用性上将大打折扣 。