超分辨率重建——（一）何为超分和分类
作者：互联网
图像超分辨重建
图像超分辨率（SR）是计算机视觉中提高图像和视频分辨率的一类重要技术。图像超分辨率重建( Super-resolution Reconstruction，SR) 是由一张或多张低分辨率图像得到高分辨率图像的过程．
存在问题：
传统图像 SR 算法包括基于重构和基于样例学习的方法，这些方法普遍难以恢复高频细节信息，导致重建图像模糊且计算复杂、实时性不高等问题，不适用于大放大因子( 如 × 4、× 8) 的要求． 为解决这些问题，近年来人们将深度学习用于图像 SR 中． 如今，基于深度学习的图像 SR 已逐渐成为主流方法．
本文主要是通过一下的分类对超分辨重建进行划分：
以下呢，简单对各个方法进行简单的概念描述或者算法的扩充。
-
（一）多图像超分辨率重建
-
（1）频域法
概念：假定 LR 图像生成模型后，分别对 LR 图像和原始 HR 图像进行傅里叶变换，在频域中建立起二者之间的线性关系，重建出 HR 图像．
问题：该方法假设图像中不存在运动模糊和观测噪声，同时忽略了光学系统的点扩散函数，因此只适合理想图像退化模型． 后续改进算法分别采用递归最小二乘法、离散DCT 变换和小波变换消除图像中的观测噪声、空间模糊和相对物体运动，有效提高了重建图像质量，并加快了算法速度．
总结：
频域重建方法简单，运行速度快，但该方法处理复杂退化模型的能力有限且难以加入先验知识．
-
（2）空域法
空域法对影响图像成像效果的空域因素( 如光学模糊、运动模糊等) 建模．
方法：常用的 空 域 SR 方 法 主 要 包 括 非 均 匀 采 样 内 插 法(NUI)、基于迭代反投影(IBP) 的方法、基于最大后验概率(MAP) 的方法、基于凸集投影(POCS) 的方法和基于 MAP-POCS 的混合算法等．
-
（二）视频超分辨率重建
-
（1）增量视频超分辨率
-
（2）同时视频超分辨率
增量视频超分辨率方法的优点是速度快，相比于同时视频超分辨率方法更适合对实时性要求高的应用，但输出的 HR 视频视觉效果较差。而由于同时视频超分辨率方法考虑到了不同视频帧之间的一致性，因此可以生成较清晰的、质量较高的视频，但其计算速度比较慢，不适合实时应用场景。
-
（三）单图像超分辨率重建
-
（1）基于插值的单图像超分辨率
概念：基于插值的单图像超分辨率算法利用基函数或插值核来逼近损失的图像高频信息，从而实现 HR 图像的重建。
方法：
最近邻插值、双线性插值和双三次插值都是典型的插值算法。基于边缘指导的插值算法；利用了局部结构的图像梯度框架先验正则化实现插值过程；先插值后修改的策略增强图像的视觉效果，提高相邻图像区域间的颜色或亮度的过渡；基于曲率的迭代插值方案，同时利用 GPU加速提高算法速度基于正则化的边缘定向插值算法。
-
（2）基于重建的单图像超分辨率
概念：基于重建模型的图像超分辨率算法通过将图像的先验知识作为约束条件加入到图像的超分辨率重建过程中，使得超分辨率重建这个不适定问题变得可解。
可分为基于图像自相似性、基于邻域嵌入和基于稀疏表示的方法． 在基于图像自相似性的方法中，训练样本集来自输入图像本身． 在基于邻域嵌入和基于稀疏表示的方法中，训练样本集来自外部数据库，与输入图像无关．
方法：
- 基于图像自相似性的方法
该方法假设图像局部内容及结构在不同尺度间或同一尺度内反复出现． 训练集样本通常由对输入图像做多尺度变换得到的不同分辨率下的图像组成．
- 基于邻域嵌入的方法
该方法假设 HR 图像与其对应的 LR 图像块在特征空间中具有相似的局部流形，并用样例图像块对输入图像进行拟合，通过样例 LR 图像块训练得到拟合系数，并将该拟合系数用于 HR 图像重建．
- 基于稀疏表示的方法
基于稀疏表示的方法通过稀疏分解将图像变换到稀疏域，并假设样本库中 LR-HR 图像对共享同一稀疏系数． 对输入的 LR 图像利用 LR 字典计算其稀疏系数，将同样的系数应用于 HR 字典上生成 HR 特征，得到最终的重建 HＲ 图像．
-
（3）基于学习的单图像超分辨率
概念：基于学习的图像超分辨率算法通过训练图像数据集学习低分辨与高分辨图像之间的映射关系，来预测低分辨图像中丢失的高频信息，从而达到重建高分辨率图像的目的。
分类：
机器学习方法成功应用到图像超分辨率中。
流形学习也被用于图像超分辨率中，Chang 等人提出了一种基于局部线性嵌入的图像超分辨率算法。
稀疏表示和字典训练也被用于图像超分辨率方法中，Yang 等人将局部线性嵌入和压缩感知理论结合，利用信号的稀疏表示训练样本集得到学习字典。
Dong 等人首先提出基于深度卷积神经网络的图像超分辨率算法（SRCNN）。
基于深度卷积模型的超分主要分为基于卷积神经网络( CNN) 的 SR方法和基于其它深度学习模型的SR方法．其中使用CNN结构的SR方法，可进一步分为基于SRCNN及其改进算法的网络、基于先验知识的网络、基于残差结构的网络和基于密集连接的网络．有些网络如 Mem-Net、RDN则同时借鉴残差结构和密集连接，而基于残差结构的SR方法中又包含了基于生成对抗网络(Generative Adversarial Net，GAN)的SR方法．
标签：基于,何为,SR,分辨率,超分,图像,方法,重建 来源： https://blog.csdn.net/victor_fa/article/details/117905742