visual transformer

2021年visual transformer综述

现有visual transformer参数和计算量太大vit 需要18BFLOPS 才能在imageNet数据集达到0.78.普通cnn如ghost 只需要哦600m

现有的Visual Transformer参数量和计算量多大，比如ViT[1]需要18B FLOPs在ImageNet达到78%左右Top1，但是CNN模型如GhostNet[6][7]只需600M FLOPs可以达到79%以上Top1，所以高效Transformer for CV亟需开发以媲美CNN

标签：Transformer,transformer,Top1,visual,CNN,FLOPs
来源： https://blog.csdn.net/weixin_40893939/article/details/113807810