其他分享
首页 > 其他分享> > 使用PyTorch复现ConvNext:从Resnet到ConvNext的完整步骤详解

使用PyTorch复现ConvNext:从Resnet到ConvNext的完整步骤详解

作者:互联网

 

ConvNext论文提出了一种新的基于卷积的架构,不仅超越了基于 Transformer 的模型(如 Swin),而且可以随着数据量的增加而扩展!今天我们使用Pytorch来对其进行复现。下图显示了针对不同数据集/模型大小的 ConvNext 准确度。

作者首先采用众所周知的 ResNet 架构,并根据过去十年中的新最佳实践和发现对其进行迭代改进。作者专注于 Swin-Transformer,并密切关注其设计。这篇论文我们在以前也推荐过,如果你们有阅读过,我们强烈推荐阅读它:)

下图显示了所有各种改进以及每一项改进之后的各自性能。

论文将设计的路线图分为两部分:宏观设计和微观设计。宏观设计是从高层次的角度所做的所有改变,例如架构的设计,而微设计更多的是关于细节的,例如激活函数,归一化等。

下面我们将从一个经典的 BottleNeck 块开始,并使用pytorch逐个实现论文中说到的每个更改。

完整文章:

https://avoid.overfit.cn/post/1fd17e7520134996b532ecd50de9672f

标签:Transformer,Swin,架构,论文,Resnet,ConvNext,PyTorch,设计
来源: https://www.cnblogs.com/deephub/p/16248633.html