ConvNext论文提出了一种新的基于卷积的架构，不仅超越了基于 Transformer 的模型（如 Swin），而且可以随着数据量的增加而扩展！今天我们使用Pytorch来对其进行复现。下图显示了针对不同数据集/模型大小的 ConvNext 准确度。

作者首先采用众所周知的 ResNet 架构，并根据过去十年中的新最佳实践和发现对其进行迭代改进。作者专注于 Swin-Transformer，并密切关注其设计。这篇论文我们在以前也推荐过，如果你们有阅读过，我们强烈推荐阅读它:)

下图显示了所有各种改进以及每一项改进之后的各自性能。

论文将设计的路线图分为两部分：宏观设计和微观设计。宏观设计是从高层次的角度所做的所有改变，例如架构的设计，而微设计更多的是关于细节的，例如激活函数，归一化等。

下面我们将从一个经典的 BottleNeck 块开始，并使用pytorch逐个实现论文中说到的每个更改。

完整文章：

https://avoid.overfit.cn/post/1fd17e7520134996b532ecd50de9672f

标签：Transformer,Swin,架构,论文,Resnet,ConvNext,PyTorch,设计
来源： https://www.cnblogs.com/deephub/p/16248633.html