其他分享
首页 > 其他分享> > 【干货】陶霖密:多光谱、超光谱遥感图像处理

【干货】陶霖密:多光谱、超光谱遥感图像处理

作者:互联网

本讲座选自清华大学计算计系副教授陶霖密于2015年11月26日在RONG v2.0---“图形图像处理与大数据技术”论坛上所做的题为《多光谱、超光谱遥感图像处理》的演讲。

图片

图片




大家下午好,下午已经有两位老师谈了多光谱图像的获取,还有偏振光图像的获取。对我们来说都是一样的高维图像数据。

图片


这里大致是四个主要的内容。

图片


从图像的角度看,超广谱图像多了一维,这一维原来的RGB图像只是三层,超广谱图像是200多层。



这是彩色图像,473纳米,621和777纳米上分别有三幅图像。卫星获取到的超广谱图像一共有200多个,每一个像素取出来数值变化就是图中右侧的曲线,四个像素得到四个曲线。这个曲线的维度就是刚才说的多出来的一维,物体表面的光谱反射情况。


这个数据已经应用在水利、土地规划、军事应用等多种领域,我的巴基斯坦学生回国后,也要在相关领域工作。



它跟原来的图像相比,信息量更大了,处理的难度增加了。在这种情况下对我们的处理来讲,首先是维度增加了,从XY的二维图像变成了三维图像。其次是可以训练的带人工标注的数据非常少。刚才水利系的老师讲,想用深度学习的方法在图中找大坝,但是可供学习的数据太少,即使把所有大坝的超光谱图像全找来,用这些数据来训练学习模型,这些数据也是相对少的。它的真值获取非常困难。因为高光谱图像变成两百维了,人眼很难从这两百维图像里找到目标,因此,真值的获取非常困难。


同时这些数据是空间和光谱相关联的。内部存在大量冗余信息,这些冗余信息对我们是干扰信息,需要先把冗余的数据去掉,再做下一步处理。卫星获取的高光谱图像,获取的高度非常高,地表的情况相对来讲非常复杂,去除噪声的干扰对于图像处理来说是富有挑战性的问题。


高光谱图像里一个像素,相当于地面的数米至数十米,或者上百米。因此,一个象素包含地面上的很多东西,它反射的光谱是这些东西的综合光谱,这个光谱会在我们分类的过程中带来非常大的干扰。总的结果就会造成非常高的计算复杂性,所以高光谱图像处理需要寻找一种比较可靠、快速的计算方法。


这是我们研究和发表文章时用的公用数据库,从这个数据库中可以看到,人工只能标注出来的一些大的建筑等地面目标,图中黑色区域是人工标注不出来的地方。主要是这区域太复杂了,地面上目标的性质未知,所以这个地方是黑的。我们的研究目标就是想要知道这里面到底有一些什么东西,把这些东西全找到。

图片

在人工标注样本非常少的情况下,我们做高维图像中目标的识别,因为机器学习的代价太高,我们选用解析的方法解决这个问题,这是一个稳定的算法。

图片

最后,我们需要提供一个比较好的分类结果,说明像素里到底是什么。先说传统的做法,一个高光谱图像来了,有光谱的特征,两百个数,这是曲线,空间的特征相对来说是一致的。做特征选择和特征融合,再做分类,结果的输出就是把地块划分出来。一般情况下还需要迭代几次,通过迭代的方法慢慢求真、求精,把这个东西做出来。

图片

我们在这个基础上提出了现在的方法,我们第一件事情就是不降维直接做。


我们的主要贡献是做了一个噪声模型和噪声估计,这是传感器和图像处理中最基本的工作。到底哪些是噪声?它形成的原理是什么?以及我如何去掉它?有了噪声理论和噪声模型,我们才能接着往下做处理,把噪声通道去掉,然后再去做自动的分割,自动的把地面目标分割出来。一般情况下你人工的把小的区域划出来是很不准的。因为那个象素还含有一些别的东西。自动分割相对比人工做的结果要好一些。为了做的快,使它的算法能够在实际系统中应用,当然不能采用机器学习这种相对比较耗计算量的方法去做。传统的做法是图像过来,我直接提取它的频率特征,用稀疏编码的方法,或者压缩传感的方法直接分类。我们以前的工作,只要有三五个样本,或者说是三五个像素,我就能够通过这三五个像素找到跟这些象素类似的东西。比如刚才大坝的例子,你只要在一些超光谱图像中,指出哪些东西是大坝,我就能够在新的超光谱图像中,把其中的大坝找出来。

图片

这种方法的好处是样本的数量很少,但是分割的准确率不是太高,因为边缘的地方有的是混在一块的。这里面有噪声干扰,我们新的工作是在传统的做法中插入一个噪声估计,把全是噪声的通道去掉。就是先把两百维里面没有信息的通道去掉。这是它的成像模型,光源进来以后,辐射照到地面再反射到传感器,这个辐射有云的慢散射、云的吸收、地表自己的辐射。所有这些东西都会跑到传感器里面去,这些东西加起来就变成了我们的成像模型,从这个成像模型我们要估计这里面的噪声来源是什么,噪声性质是什么。

图片


在这个基础上我根据各种性质的噪声进行建模,建了噪声模型以后,我就可以估计出哪些通道中的哪些东西是噪声。先把这些噪声去掉,我们才能接着往下做分割的事情。

图片

具体怎么办?这是一个图像,这个图像中有两百多个波段,先把这个波段分组,这是我们比较常见的工作。



我们不采用压缩的方法,五个、十个分成一组,临近的通道有很大的相关性,相关性的信息是相似并且冗余的。我们刚好利用这个相关性去增强信息。利用这个相关性可以去掉噪声,因为噪声是不相关的。临近的五个至十个频道分成一组,分成这样的55组、20组、15组,每组随机的撒一些点做网格化,如果网格是在某个东西的中间,这是一片平地,两边都是一样的,这个网格就不动,如果网格边缘是不一样的,就向不同的方向移动,这些网格的边缘不断的移动,移动完了以后就会得到这些东西。有些地方移动得多,有些地方移动得少。有些图像上面还有一些信息,得出来的就是这样的。有些图像上面什么信息都没有,这样就可以把噪声找出来。这两个都是有信息的,这两个是没有信息的,结果就是这样的,在这里面,网格几乎没有动,因为他初始化就是这样。这边有大的内容,这边有小的内容,小的地方没有动。



我们给出一个噪声衡量系数。到底哪个地方有噪声,可以看到这里面有很强的噪声,这里有很好的结构化信息。我们可以做一个域值,这个包含了很好的结构信息、地表信息。中间那些图像、波段含有大量的噪声,下面那些图像主要是以噪声为主的图像,没有用。我们直接可以把这个卫星图像中的通道分成三等,其他的就不用往上传了。这样可以很快的把数据区分开来。




第二部分是把有信息的部分分割开,初始分割得到的分割结果很乱,如何处理这些乱七八糟的分割结果。需要有一个融合的方法,把各种各样分割的结果融合在一块,得到一个具体的分割结果。

图片

图片




右边图这是融合结果,左边这是人工标注的结果。我们可以很自豪的说我们的结果比人工标注出来的结果要好很多。

图片

图片

图片





这是我们的结果,我们可以把它放大了看,这个要精确得多。找到这个区域的变化,夏天到冬天,那个树长了没有,那个东西移了一个象素,我们可以很准确的找出来。如果没有这个分割,整体的滑坡或者移了一个象素,传统的方法是找不出来的。我们这个东西精确到象素级别,或者亚象素级别,我们就可以给它找出来。

图片

同样的方法我们可以用在视频处理中,视频是一个时间段内的图像,一秒钟三十桢,每一桢三个通道。我们现在大量的手机产生的视频,只要光线不好,产生的图像都会带有很大的噪声,这样的我们就去掉这个噪声,噪声这些东西根本不传,不要它了。

图片

图片




这是根据噪声模型做的结果。我们提出来的不是视频的噪声度量系数,而是去度量其中的结构化信息,哪些地方有结构化信息,哪些地方没有结构化信息,用结构化的方法把噪声找出来,把人分割出来,从而使视频传输或者压缩的效率大大提高。


标签:象素,分割,光谱,噪声,干货,陶霖,图像,我们
来源: https://blog.51cto.com/u_15127682/2827690