基于NN的编码：1.5x/2.0x Upsample method for NN-Based Super-Resolution Post-Filters(Sharp)
作者：互联网
JVET-W0132
在本提案中，报告了使用不同网络组件测试基于 NN 的超分辨率后置滤波器的性能的结果。
当缩放因子不是 2 的幂或不是整数时，使用复杂卷积进行放大的基于 NN 的超分辨率后置滤波器往往会增加参数的数量。由于参数数量的增加导致编码效率的降低，因此需要一种使用更少的参数以更高的比例因子的自由度进行放大的方法。
本实验中使用的超分辨率 1.5x 后置滤波器基于简化的 ESRGAN ，如下图所示。损失函数是 L1 范数，部分 BVI-DVC 测试集 [2] 用作 训练序列。 训练的补丁大小和批量大小分别为 96（对于 HR）和 32。 训练迭代次数为 100,000。
我们将上图所示网络中 Upsample 层的性能与下图 所示配置进行了比较。
- Configuration A: 2x, PixelShuffle，parameters: 483597
- Configuration B: 2x, Bicubic interpolation(2.0x)，parameters: 335884
- Configuration C: 1.5x, PixelShuffle + Bicubic interpolation(0.75x)，Parameters: 483597
- Configuration D: 1.5x, Bicubic interpolation(1.5x)，Parameters: 335884
在BD-rate(Y)中，PixelShuffle和插值之间的差异在+/- 0.3%的范围内。
下表显示了每个基于 NN 的过滤器的运行时间的比较。 在 2.0x 的情况下，配置 B 需要比传统方法多 26% 的时间，而配置 D 比 C 需要的时间少 24%。对于使用插值的方法，运行时间在 2.0x 和 1.5x 之间的变化更小。
标签：1.5,Based,NN,PixelShuffle,Bicubic,2.0,interpolation 来源： https://blog.csdn.net/BigDream123/article/details/119428014