全景分割UPSNet笔记

全景分割之UPSNet

网络架构如图所示，骨干网络为Resnet，经过FPN提取特征，然后分为实例分割头和语义分割头，其中实例分割头与Mask RCNN相同，语义分割头经过可变形卷积DCN后输出语义相关Logits

然后经过一个全景头将二者融合，前面内容别的博客已经讲解得比较清楚了，故暂不赘述，此处只记录对全景头的分析理解

Xstuff,Xthing来自语义头的stuff和thing类
Xmaski来自语义头的第i个实例的表示
Yi第i个实例的掩码logits
ymaski对Yi进行插值得到的结果
zunknow丢失的实例
xmask所有xmaski的联接

 其中X是语义头的输出，它分为了Xstuff和Xthing，前者是那些不可数的背景之类的类，后者是前景实例类，stuff通常是不变的，直接把它放到前N个通道，而对于实例类，需要将Xthing和Yi进行特征融合，其中Yi是实例分割头中第i个类别的概率输入图，将其resize和padding到与Xmaski尺寸相同并相加，得到的结果放入Nstuff后面的通道Ninst.而对于语义分割中有，实例分割中漏掉的类别我们将其放入Unknown类，加入到Z的最后一个通道。将所有Xmaski concat到一起，并在每个像素上取该通道的最大值，得到max(xmask)，Xthing也做同样的处理，每个像素上取该通道的最大值，将通道压成一维的，与xmask相减得到最后的unkown类，与前面的内容concat到一起。得到了全景图的概率map，最后沿每个通道取argmax就能得到该像素的类别

参考链接

百度AI Studio课程_学习成就梦想，AI遇见未来_AI课程 - 百度AI Studio - 人工智能学习与实训社区 (baidu.com)

标签：Yi,分割,AI,Xthing,语义,笔记,实例,全景,UPSNet
来源： https://www.cnblogs.com/flyingtester/p/16492563.html