语义变化检测（SCD-Semantic Change Detection）笔记01
作者：互联网
I. 语义变化检测
语义变化检测是近几年兴起的，是比二值变化检测更近一步的研究。不仅需要知道多时相的遥感影像上，在哪里发生了变化，也要知道是由什么地表覆盖变化成了何种地表覆盖。
一些学术机构和企业，也推出相应的比赛，来推进相关工作的发展。
在阅读相关的论文时，发现一篇文章着重介绍了一个比赛2021 IEEE GRSS Data Fusion Contest: Track MSD，后查看比赛网址，才知道论文是这场比赛的优胜者。
本文的结构安排如下。首先介绍了对语义变化检测，第二部分给出相关的网址，第三部分是比赛内容的一些总结。由于只是笔记，不对论文的内容做详细的阐述。
II. 原始网址
Thanks for the data and methodology that are made public.
a. 竞赛网址
b. 论文网址
c. 代码网址
III. 竞赛内容
a. 文章单词缩写的了解
这些缩写其实多是机构名、比赛名等，但如果读英文的竞赛界面，这些缩写经常被误解为一些专业名词，但倘简述为中文，则大可不必在乎。这里只是提及，后续内容中出现的缩写，都可以在本小节找到对照。
-
Track MSD:多时相(M)语义变化检测(S)挑战赛(D)
The multitemporal semantic change detection challenge track. -
IADF TC:图像(I)分析(A)和数据(D)融合(F)技术(T)委员会(C)
Image Analysis and Data Fusion Technical Committee -
GRSS:地球科学(G)与遥感(RS)学会(S)
IEEE Geoscience and Remote Sensing Society -
NAIP:国家(N)农业(A)图像(I)计划(P)
National Agriculture Imagery Program -
NLCD:国家(N)土地(L)覆盖(C)Database(数据库)
National Land Cover Database
b. 文章内容简括
本小节中首行缩进的部分，是针对原文的总结概述。一些本文的理解，都被放在类似本行的这种淡色行中（且左侧有|标志）。
2021年IEEE GRSS数据融合挑战赛中的多时相语义变化检测挑战赛，由GRSS的IADF TC和微软的一些部门联合组织。其目的是：推进针对从多种分辨率、多时相、多光谱的遥感影像上自动的提取地表覆被的变化和前后时相变化区域的地表种类发生的变化。
也就是说，语义变化检测其实可以分成三部分。第一部分就是变化的二值图（类似建筑物变化检测或其他地物变化检测里的：哪里发生了变化），这是哪里发生了变化；第二部分是语义分割的内容，根据提供的label对图像做一个语义分割（可以查看一些语义变化检测的公开数据直观了解为什么可以做到语义分割。因为实际上那些样本提供了语义信息），再利用第一步得到的二值变化检测图进行掩膜，就可以知道变化区域发生了什么样的变化。
组织方只提供了低分辨率和有噪点的label。但参赛者需要利用这样的标签，通过训练后，得到高分辨率的双时相的高分辨率土地利用图。这样的要求很严苛，但如此要求却更加的符合实际：亚米级的高分辨率影像短至几天，长到数周总能通过大量发射的卫星或无人机获得，但却不可能有实时的、高精度的土地覆盖图作为label。因此在实际上，经常只能依赖输入的图像做一些非监督的变化检测，或者在一些少量的有噪点还过时的数据label的帮助下进行。
后续有描述到，如果是大范围的变化检测，我们经常性的只能获得modis的30m地表覆盖图，这与10m以内的和亚米级别的遥感影像是不相匹配的。
竞赛的参与者将获得2250个瓦片的遥感数据，覆盖了美国的马里兰州。分别是
- 1m分辨率：2013年多光谱影像
- 1m分辨率：2017年多光谱影像
- 30m分辨率：2013-2017（2013、2014、2015、2016、2017）五年的多光谱卫星遥感影像
- 30m分辨率：2013年有噪点的地表覆被图
- 30m分辨率：2016年有噪点的地表覆被图
确实挺接近实际的，过时的、有噪点的、低分辨率的地表覆被图和高分辨率的遥感影像。30m的卫星遥感影像好像在后面被重采样成了1m。
本次比赛的这部分数据，也是我所认为有缺陷的部分。只提供了地表覆被图，但是没有提供二值变化图，这样就无从知道哪里发生了变化。那么是通过何种方法来确定变化区域的？总不能是简单的前后时相的地表覆被图相减或者其他差异对比方法来确定的吧……但这一部分，可能需要阅读公开的文章和代码来查看是如何进行的。
竞赛的参与者需要推断两个时相（也就是2013和2017年）的土地覆被图，进而推断哪些地区发生了变化。而类别的变化将根据30m的低分辨率的label，利用一些计算策略得到。精度的计算，在后面的"Land cover change"（土地覆盖变化）部分中。
竟然真的是通过自己推断的土地覆被图来推断变化区域。可是这样会造成错误累计的吧？因为如果语义分割的结果错了，那么得到的变化检测的结果不也是不正确的吗？我还是觉得，变化检测和语义分割是应该被分割的两个部分。当然，不提供变化检测的二值图确实是符合实际的，因为实际上确实很少，但在学术研究中，这种注定无法得到很高的精度。如何计算精度在后面的小节中。
总结一下，竞赛大概可以分成两个部分。第一部分就是确定高分辨率影像上哪些地方发生了变化，第二部分就是确定从哪一类地物变成了哪一类地物。
这一部分倒是和我阅读相关文献后获取的知识有了一定的印证。但是本竞赛的确定了哪里发生了变化是利用的语义分割的结果进行一些运算得到的，而不是通过给定的label训练的（毕竟根本没有提供二值变化的label）。
本竞赛会在未公开的data-label上测算定量的精度来获得一个客观公正的排名。但本竞赛实际有两个部分，参赛者需要在限定的时间内提供结果，而且只有提交了第一次的结果，才允许参与第二部分的继续竞赛。
- 第一部分需要提供经过训练的模型预测的土地覆被图，然后才会被许可进入第二部分继续比赛；第二部分中，测试者会被额外提供一组未公开的测试数据，需要在五天之内提交这些测试影像的变化图。最后一共会选择出四个获胜者。
在这五天之内，利用这些影像能作弊吗？万一有人作弊可怎么办唉……
毕竟奖金是不低的，但好像只有前三名有奖金（那为啥要选四个优胜者……），分别是：1w美金、7k美金、3k美金。
介绍一下数据。命名的规则是｛index｝-｛name｝.tif，有325个G的大小。分别再介绍一下各自的大小。
- 1m分辨率：2013年多光谱影像——大约125GB——来自NAIP
- 1m分辨率：2017年多光谱影像——大约125GB——来自NAIP
- 30m分辨率：2013-2017（2013、2014、2015、2016、2017）五年的多光谱卫星遥感影像——大约15GB一副，这是来自于Landsat-8卫星的9波段30m多光谱数据——来自USGS和谷歌地球引擎
- 30m分辨率：2013年有噪点的地表覆被图——大约0.8GB——30米的16类土地覆被变化，是USGS的NLCD数据
- 30m分辨率：2016年有噪点的地表覆被图——大约0.8GB——30米的16类土地覆被变化，是USGS的NLCD数据
数据太大了，即便有相应的方法，也不可能去复现，也没有资源去复现结果啊。不过如果想获得最好的结果，肯定要全部数据都要使用的。但如果能利用小样本来获得更高的结果的话，也是一个很好的方向。因为近年来，普遍意识到大量的数据的获取是一个在学术上非常困难的事情。如果没有商业企业的支持，很难获得大量的数据来进行实验，这也是国内大量实验室来进行横向课题的原因。一个方面是获得资金，更多的是获得数据的支持。但并不是所有科研工作者都想做横向给人打工的，因此基于小样本的深度学习的研究在日渐的被获得推广。
秉承着数据融合竞赛的精神，允许参与者使用其他的公开数据集，但这些数据不应当是特定的针对马里兰州的，比如IMAGENET和OpenStreetMap都是可以的，不然的话图像的泛化性可能会很差。当然虽然说尽量不要用，你用了也没办法，因为我们相信，变化检测任务更重要的是数据，以后我们用你的模型的时候也使用特定的数据就行了。
下载的链接。
这些数据都存储在国外的网站上，不适合我们下载的。而且太大了，实在太大了。
Land Cover Change是文中我认为极重要的一部分。主要讲述了一下，竞赛变化检测部分研究的重点。竞赛主要关注4对（共8种）的地表覆被变化：
- 水water的增/减
- 树冠tree canopy的增/减
- 低矮植被low vegetation的增/减
- 不透水面impervious surfaces的增/减
这四种简化的地表覆盖类型(USGS NLCD有16类别的变化)捕获了发生在地表各处的有趣的现象。比如，不透水面的总量的增加标识这城市化的进行随时间的发展；发生在河岸两侧的树冠和低矮植被的减少标志着生态的破坏，污染物会更多的流入到湖泊河流中。因此，获得高分辨率影像上的语义变化检测可以帮助我们揭示这些变化过程是由什么导致的。
在训练变化检测的模型时，NLCD的数据只能做为一个弱监督的样本。首先我们需要将NLCD数据的16类映射到我们规定的4类中，如下是其中一部分的展示（并且其中有两类地表覆被再马里兰不存在，将会被剔除到4类简化地表覆被的映射中）：
但多次强调的是，30m的label的像素块中包含的内容实在是太多了，一个像素块，可以被分解为=10% water + 20% tree canopy + 30% low vegetation + 40% impervious surfaces这种等式。因此是很多噪点的，只能作为一个弱监督的样本来使用。
规划到底检测什么，是简化研究的一个重要的部分。越多的变化就越是难以训练，4类或者6类都是一个比较合适的。但是，实际上我们在进行学术研究的时候，为了使得数据有对比性，都是使用的公开数据集，也不可能自己再去重构数据集。
提交的结果，由什么地物变成了什么地物，其实类似两张土地覆被变化图，可以被编码成13类。如下：
前一时相和后一时相的变化总是增减相对的。
虽然倘若是利用表格来看有点繁琐，但是若是使用可视化的颜色，则很明确。相对应的地区增减的颜色表示，如下：
所得
数据的组织形式与常见的SCD很不一样，如果说这里使用NLCD的数据作为弱监督，那么在SCD领域中，类似SECOND的数据集就可说是强监督了。我倘若做相关的研究，毫无疑问也是采用类似SECOND的数据集，所以这竞赛的代码和文章，我可能还是需要思量一下是否需要花费大约一两周的时间来看文章和复现代码（复现：只能把公开的代码跑通，但因为数据集的问题，其实也跑不通，只能利用一些小样本来做个样子）。
标签：变化检测,01,Semantic,变化,语义,30m,数据,影像 来源： https://www.cnblogs.com/xiaoaozi/p/16207217.html