从多家智能手机终端厂商提升影像旗舰体验的做法和效果看 , 真正要满足消费者对影像质量的无限追求 , 必须打通影像链路(Pipeline)的垂直整合 , 也就是要做到对整个影像链路各环节(自研算法+定制Sensor+优化通用平台)的自主控制 。
业界做到影像链路垂直整合的厂商寥寥无几 。 那么问题来了 , 什么是影像链路垂直整合?
简单来说 , 所谓影像链路 , 即物理世界的信息 , 从摄像头进 , 经过处理器 , 再到显示端出视频或照片的整个链路 。 在此过程中 , 涉及算法、Sensor、摄像头模组、Lens、NPU和SoC等软件、光学和处理器部件 。
华尔街见闻了解到 , 通过MariSilicon X处理器 , OPPO自研算法与OPPO自研芯片可相互开放并达成深度耦合 。 两者的关系是自研核心算法通过NPU(定制传感器) , 可最大化提升通用SoC影像性能(优化通用平台) , 最终提升用户体验 , 即OPPO能达成影像链路垂直整合 。
姜波认为 , “所有厂商在未来都必将面对影像全链路垂直整合的难题 。 ”
6nm和自研IP带来何种体验
据OPPO研究院院长刘畅透露 , MariSilicon X采用6nm制程工艺 , 由台积电代工 。 2019年 , 台积电宣布推出EUV技术的N6(6nm)制程工艺 , 与采用DUV的N7(7nm)相比 , N6提高了18%的逻辑密度 , 但性能和功耗不变 。
根据台积电技术规划 , 从今年第四季度开始 , 台积电将用N6取代48%-50%的N7产能 。
为什么选择6nm?
“我们在做芯片开发前 , 通过频繁的仿真发现 , 即便通过自研的MariNeuro和MariLumi的IP , 用12nm制程工艺 , 也很难达到终端能耗比极致要求 。 因此我们只能选择6nm 。 ”姜波说 , “6nm是台积电首个主流采用EUV工艺的制程 。 通过它 , 我们非常好地支撑了同级最好的能效比 , 包括RAW域复杂算法处理 。 ”
在台积电N6工艺的加持下 , MariSilicon X算力高达18TOPS , 而能耗仅为11.6TOPS/W 。 作为参考 , iPhone的A15芯片 , NPU算力约15TOPS 。
事实上 , 算力可以无限堆砌 , 但过高的算力也会相应增加能耗 , 而能耗越高 , 智能手机续航力越弱 , 体验也越差 。
所以能耗对算力存在约束 。 从性能角度看 , 算力越高越好 , 但由于存在能耗约束 , 故良好的终端体验 , 需要在能耗和算力两者之间取得平衡 。
为取得平衡 , 自研IP也成为必不可少的手段 。 那什么是芯片范畴的IP?
这里的IP , 一般也称为IP核(Intellectual Property Core) , 是指芯片中具有独立功能的电路模块的成熟设计 。
MariSilicon X的第一个自研IP是MariNeuro 。 姜波说 , “目前有些公共IP , 可以提供给NPU 。 但我们认为没有一个公共IP能根据场景和算法需求 , 达到我们认为的最优能耗效率平衡 。 因此我们选择自研IP 。 ”
MariNeuro通过测试 , 可以看到 , 实际AI降噪算法的算力能使4K视频跑到40fps/秒(每秒传输帧数:Frames Per Second , 视频入门fps是30帧/秒) , 功耗仅800mW 。
作为对比 , 应用在OPPO Find X3 Pro上的AI降噪算法 , 其NPU能提供的有效算力仅能跑到2fps/秒 , 这意味着无法实现AI降噪的视频拍摄 , 同时功耗高达1.7W 。 应用自研IP“MariNeuro”后的NPU算力 , 是Find X3 Pro的20倍 , 功耗仅0.8W 。
第二个自研IP被称为“MariLumi” 。 这个IP起的作用是HDR(高动态范围成像:High-Dynamic Range)Imager , 最终输出的图像精度动态范围能达到20bit-120dB 。
同样作为参照 , 最近高通发布的骁龙8旗舰5G SoC芯片和联发科新一代5G SoC旗舰芯片天玑9000的图像动态精度都是18bit(位深:Bit Depth:将模拟信号量化或将数字信号模拟化的设备的精度) 。
特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
