文章图片
加强版BasicVSR
BasicVSR采用双向传播(propagation)+特征对齐方式 ， 能够提取整个输入视频中的有效信息进行超分 。
但是 ， 它这一基本设计也限制了信息聚合的功效 ， 比如难以恢复精细的细节 ， 尤其是在处理复杂的遮挡区域时 。
因此 ， 加强版的BasicVSR++在传播和对齐方面进行了重新改造 ， 采用了二阶网格传播(second-order grid propagation) 和光流引导可变形对齐(flow-guided deformable alignment)的设计来改善网络中的信息聚合能力 ， 提升遮挡区域的鲁棒性和有效性 。
文章图片
其中 ， 二阶网格可以让信息从不同的时空位置进行前向后后向传播 ， 让特征的传播更有效 。
光流引导可变形对齐则可以让帧进行更具鲁棒性的特征对齐 。
采用这一对齐方式主要是单纯的形变对齐训练效果不稳定 ， 尽管可变形卷积(DCN) 网络中具备多样性的偏移量（offset）使形变对齐的性能优于光流对齐 。
BasicVSR+++具体架构如下：
文章图片
给定输入视频 ， 首先采用残差模块对每一帧提取特征；然后这些特征在二阶网络传播中进行信息传播 ， 其中对齐部分采用光流引导形变对齐；完成信息传播后 ， 汇聚特征生成输出图像 。
在16个同类算法中性能全部最佳
作者对比了16种不同视频超分算法的性能、参数量以及耗时 ， 结果是BasicVSR++在所有数据集下的两种退化方式中均取得最佳性能（红色代表最佳分数 ， 蓝色代表次佳分数） 。
文章图片
特别地 ， 相比大容量滑动窗口算法EDSR ， BasicVSR++获得了1.3dB的性能提升 ， 同时参数量少65%；
相比之前的最新技术IconVSR ， BasicVSR++在参数量更少的同时也带来了1dB的性能提升 。
更轻量版的BasicVSR++ (S) ， 相比前辈BasicVSR ， 也有0.82dB的提升 ， 收益显著 。
而在具体效果中 ， 不管是在REDS4、Vimeo-90K-T还是Vid4数据集上 ， BasicVSR++都能对极细节的图像进行复原 ， 且效果最好 。
文章图片
文章图片
文章图片
特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。