屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer
作者:互联网
目标检测刷到58.7 AP(目前第一)!
实例分割刷到51.1 Mask AP(目前第一)!
语义分割在ADE20K上刷到53.5 mIoU(目前第一)!
性能优于DeiT、ViT和EfficientNet等主干网络,代码即将开源!
注1:文末附【Transformer】交流群
注2:整理不易,欢迎点赞,支持分享!
想看更多CVPR 2021论文和开源项目可以点击:
https://github.com/amusi/CVPR2021-Papers-with-Code
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
- 作者单位:微软亚洲研究院
- 代码:https://github.com/microsoft/Swin-Transformer
- 论文:https://arxiv.org/abs/2103.14030
本文介绍了一种称为Swin Transformer的新型视觉Transformer,它可以用作计算机视觉的通用backbone。在两个领域之间的差异,例如视觉实体尺度的巨大差异以及与文字中的单词相比,图像中像素的高分辨率,带来了使Transformer从语言适应视觉方面的挑战。
为了解决这些差异,我们提出了一个分层的Transformer,其表示是通过移动窗口来计算的。
通过将自注意力计算限制为不重叠的局部窗口,同时允许跨窗口连接,移位的窗口方案带来了更高的效率。这种分层体系结构具有在各种尺度上建模的灵活性,并且相对于图像大小具有线性计算复杂性。
实验结果
Swin Transformer的这些品质使其可与多种视觉任务兼容,包括图像分类(ImageNet-1K的准确度为86.4最高-1)和密集的预测任务。
例如目标检测(COCO测试中为58.7 box AP和51.1 mask AP)和语义分割(ADE20K val上为53.5 mIoU)。其性能在COCO上为+2.7 box AP和+2.6 mask AP.
在ADE20K上为+3.2 mIoU,远远超过了现有技术,证明了基于Transformer的模型作为视觉骨干的潜力。
CVer-Transformer交流群
建了CVer-Transformer交流群!想要进Transformer学习交流群的同学,可以直接加微信号:CVer9999。加的时候备注一下:Transformer+学校/公司+昵称,即可。然后就可以拉你进群了。
强烈推荐大家关注CVer知乎账号和CVer微信公众号,可以快速了解到最新优质的CV论文。
标签:层次化,Transformer,Swin,AP,mIoU,视觉,CVer 来源: https://blog.csdn.net/amusi1994/article/details/115356224