其他分享
首页 > 其他分享> > Swin Transformer简述(图像分类篇)

Swin Transformer简述(图像分类篇)

作者:互联网

文章是对博主视频讲解的一些总结。
博主链接:https://blog.csdn.net/qq_37541097?spm=1001.2014.3001.5509
原论文链接:https://arxiv.org/abs/2103.14030

1.预言

Swin Transformer来自2021年,出自微软团队之手。就是牛,屠榜的存在。
在这里插入图片描述

2.分析

2.1 Patch Merging

在这里插入图片描述

2.2 W-MSA

  • 目的:减少计算量
  • 缺点:窗口之间无法进行信息交互

在这里插入图片描述
在这里插入图片描述

要是加入降维的结构(减少参数量)
在这里插入图片描述

2.3 Shifted Window

实现不同Window之间的 信息交互
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4 Relative position bias

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.网络结构介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

标签:Transformer,Swin,Window,简述,https,博主,交互
来源: https://blog.csdn.net/weixin_47397155/article/details/122674454