Pansharpening by Convolutional Neural Networks 论文解析

Q1论文试图解决什么问题？

解决遥感图片的全色锐化问题，传统方法处理遥感图片全色锐化存在诸多问题，本文从Image Super-Resolution Using Deep

Convolutional Networks一文中获取灵感，使用三层网络架构进行遥感图片的全色锐化。

Q2这是否是一个新的问题？

全色锐化方法在此前早有研究，并非新问题，但运用卷积神经网络处理全色锐化问题尚属首次。

Q3这篇文章要验证一个什么科学假设？

卷积神经网络应用到全色锐化问题上可以达到比此前优秀的结果，同时，若在网络中引入先验知识(非线性辐射指数)，能进一步提升模型表现。

Q4有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

全色锐化是热门问题，已有众多研究，本论文时间段前的全色锐化算法主要可分为如下几类:

1. 组件替换算法(component substitution)
2. 多分辨率分析
3. 基于模型的方法(稀疏表示、变分模型等)

值得关注的研究员:

1. 焦李成
2. Jocelyn Chanussot
3. 张良培

Q5论文中提到的解决方案之关键是什么？

关键在如下3个部分:

1. 在模型选择上，使用了SRCNN模型，初始时将低分辨率图像(MS)上采样4倍后，与高分辨率PAN叠加，形成五通道图像作为输入，最后的输出结果为4通道图像。
2. 由于不存在真实的测试图像(即高分辨率、高光谱域的全色锐化图像)，因此作者使用wald协议来处理。将原始的PAN和MS均降采样，再将MS上采样，接着与PAN拼接，作为输入。将处理前的原始数据作为参考数据。
3. 考虑到第一卷积层的规律性，作者额外加入非线性辐射指数图输入，作为先验知识，引导网络学习。

Q6论文中的实验是如何设计的？

作者在SRCNN网络结构的基础上，探究了不同卷积核个数、不同卷积核大小、是否加入非线性辐射指数图对性能的影响，并将得到的实验结果与经典的全色锐化方法进行比较。

Q7用于定量评估的数据集是什么？代码有没有开源？

选用了三种数据集，分别是Ikonos, GeoEye-1, and WorldView-2，无官方开源的代码，但GitHub上存在第三方实现。

Q8论文中的实验及结果有没有很好地支持需要验证的科学假设？

实验结果支持作者提供的观点。不管在有无加入非线性辐射指数图的情况下，该模型表现均达到了SOTA，在加入非线性辐射指数图后，模型表现有进一步提升。

Q9这篇论文到底有什么贡献？

贡献主要在以下2个方面:

1. 首次将卷积神经网络运用于遥感图像的全色锐化算法，效果超过了所有传统方法。
2. 证明了使用遥感图像的先验知识能够改善该模型的表现。

Q10下一步呢？有什么工作可以继续深入？

可以将更多先验知识融合到网络中，指导网络学习，或对参考指标选择、损失函数都可以进一步改进研究。

标签：Convolutional,Pansharpening,锐化,Neural,全色,模型,论文,卷积,图像
来源： https://www.cnblogs.com/alex101/p/16558640.html