文章图片

如此复杂的处理流程自然包含复杂的计算过程 ， 而这其中 ， 只有背后支持的计算性能足够强力 ， 才可以将人脸检测、人脸分割提取、对齐、人脸增强以及背景人脸融合这一大过程进行整合并加速 ， 某种程度上 ， 人脸区域的视觉增强表现出算法创新的重要路径——对计算平台性能的充分利用 。
【旧电影焕新：从“小应用”窥见CANN计算架构的“大能力”】总结起来 ， 得益于平台澎湃的算力和简单易用的特性 ， 昇腾AI不仅支持各种前沿AI视频修复和增强算法的便捷部署和应用 ， 例如减小视频噪声 ， 增加流畅度 ， 给黑白视频上色 ， 增大图像清晰度等 ， 也能对这些算法进行软件和硬件协同优化 ， 提升处理的效率 ， 高效地将低质量的视频原材料加工成精细流畅的成品 。
这一AI视频修复和增强端到端全流程涵盖老视频去噪、人脸增强、插帧、超分等 ， 基本实现了通过AI技术规模化生产4K/8K内容 ， 使修复和增强时间从以天为单位缩短到以小时为单位 。

文章图片

图 历史影像素材修复和增强流程
昇腾多层次算法优化 ， CANN以基础软件创新释放平台算力
可以看到 ， 上述AI视频增强技术在创新之外都强调了对计算性能的需求 ， 既要保证处理效果 ， 又要提升处理效率 ， 对AI平台是重大的考验 ， 而昇腾AI很好地完成了应有的支撑任务 。
这背后 ， 尤为关键的是昇腾全栈AI体系下的异构计算架构CANN ， 作为基础软件创新成果 ， CANN高性能平台推动实现着一系列AI视频增强能力的落地 。
CANN ， 全称Compute Architecture for Neural Networks ， 是昇腾处理器的异构计算架构 ， 支持业界多种主流的AI框架 ， 提供开放易用的ACL（Ascend Computing Language）编程接口、实现对网络模型进行图级和算子级的编译优化、自动调优等功能 。 用户不仅能在上层算法层面对性能进行优化 ， 也可以通过CANN开发和优化算子 。
要理解CANN的价值 ， 要先从AI视频增强的原理谈起 。
每个基于AI的视频修复和增强算法是由一个个小的计算单元组成的 ， 专业术语为“算子” ， 算子有不同的处理顺序 ， 不同算子之间也可能存在依赖关系 。
通俗地理解 ， 其处理过程我们可以用厨师做菜来打个比方：
做菜工序可分为切菜、洗菜、调料准备、烧制、调味、摆盘等 ， 不同的工序之间有依赖关系 ， 摆盘前必须烧制 ， 烧制前必须洗菜；或者可以并行操作 ， 比如切菜洗菜的时候可以一并准备调料 。 经验丰富的厨师都能以最大化的效率完成一道菜的制作 ， 并且通过对原材料、配料和调味料的充分理解、搭配和融合 ， 提升菜品质量 。 昇腾AI就是这样包含了许多专门用AI来“做菜”的“厨师”的平台 ， 上面的硬件就是一位位“厨师” ， 异构计算架构CANN则是协调各位厨师的主厨 。
这其中 ， 而无论上文提到的去噪模型、超分辨率模型、人脸增强模型等 ， 都包含到大量的计算过程 ， 涉及到许多算子 ， 整个计算复杂度非常大 ， 如果平台能自动根据每个具体的算子情况进行调优 ， 所谓积跬步致千里 ， 就能显著提升各个算法的性能 。
CANN对超分算法进行了自动调优 ， 根据硬件特性和算子的输入来优化各算子的计算过程 ， 就像让每个厨师清楚了解各种原材料的特性 ， 并合理规划原材料的处理步骤 ， 将材料的美味发挥到极致 。
而值得一提的是 ， 由于超分辨率算法中存在可变卷积 ， 包含多个不同类型的小算子 ， 需要在不同硬件上进行处理 ， 中间会有硬件之间的数据和信息传递 ， 这增加了处理的耗时 ， 这就相当于是同一个工序由两个技术各有偏重的师傅一起交替处理 ， 两者还需要配合和沟通 ， 不如让一个技术更成熟更全面的师傅来进行处理 ， 减小沟通成本 ， 加快处理速度 。