[TBDig]晓飞的算法工程笔记
作者：互联网
专栏晓飞的算法工程笔记 晓飞的算法工程笔记 更多内容关注公众号 【晓飞的算法工程笔记】～
VincentLee
·
67
篇内容
推荐文章
AABO：自适应Anchor设置优化，性能榨取的最后一步 | ECCV 2020 Spotlight
论文提出超参数优化方法AABO，该方法核心基于贝叶斯优化和Sub-Sample方法，能够自适应的搜索最优的anchor设置。从实验结果来看，AABO能够仅通过anchor设置优化，为SOTA目标检测方…
CSG：清华大学提出通过分化类特定卷积核来训练可解释的卷积网络 | ECCV 2020 Oral
论文提出类特定控制门CSG来引导网络学习类特定的卷积核，并且加入正则化方法来稀疏化CSG矩阵，进一步保证类特定。从实验结果来看，CSG的稀疏性能够引导卷积核与类别的强关联，在卷积核层面产生高度类相关的…
PIoU Loss：倾斜检测专用，公开数据集Retail50K | ECCV20 Spotlight
论文提出从IoU指标延伸来的PIoU损失函数，能够有效地提高倾斜目标检测场景下的旋转角度预测和IoU效果，对anchor-based方法和anchor-free方法均适用。另外论文提供了Retail…
简单的特征值梯度剪枝，CPU和ARM上带来4-5倍的训练加速 | ECCV 2020
论文通过DBTD方法计算过滤阈值，再结合随机剪枝算法对特征值梯度进行裁剪，稀疏化特征值梯度，能够降低回传阶段的计算量，在CPU和ARM上的训练分别有3.99倍和5.92倍的加速效果 来源：晓飞的算法…
Jigsaw pre-training：摆脱ImageNet，拼图式预训练方法 | ECCV20
Jigsaw pre-training以拼图的方式从检测数据集中生成用于主干网络预训练的数据集，而不需要额外的预训练数据集，如ImageNet。另外为了让网络更好的适应拼图数据，论文提出ERF-ad…
DGC：真动态分组卷积，可能是解决分组特征阻塞的最好方案 | ECCV 2020 Spotlight
近期，动态网络在加速推理这方面有很多研究，DGC(Dynamic Group Convolution)将动态网络的思想结合到分组卷积中，使得分组卷积在轻量化的同时能够加强表达能力，整体思路直接清晰，可…
S2DNAS：北大提出动态推理网络搜索，加速推理，可转换任意网络 | ECCV 2020 Oral
S2DNAS最核心的点在于设计了丰富而简洁的搜索空间，从而能够使用常规的NAS方法即可进行动态推理网络的搜索，解决了动态推理网络的设计问题，可进行任意目标网络的转换 来源：晓飞的算法工程笔记 公众号…
Gradient Centralization: 一行代码加速训练并提升准确率|ECCV20Oral
梯度中心化GC对权值梯度进行零均值化，能够使得网络的训练更加稳定，并且能提高网络的泛化能力，算法思路简单，论文的理论分析十分充分，能够很好地解释GC的作用原理 来源：晓飞的算法工程笔记 公众号 论文…
DETR：Facebook提出基于Transformer的目标检测新范式 | ECCV20 Oral
DETR基于标准的Transorfmer结构，性能能够媲美Faster RCNN，而论文整体思想十分简洁，希望能像Faster RCNN为后续的很多研究提供了大致的思路 来源：晓飞的算法工程笔记 公…
BorderDet：通过边界特征大幅提升检测准确率，即插即用且速度不慢 | ECCV 20 Oral
边界对于定位问题十分重要，BorderDet的核心思想BorderAlign巧妙又有效，将边界特征融入到目标定位预测中，而且能够简单地融入到各种目标检测算法中带来较大的性能提升下。在开源实现中，对B…
CondenseNet：可学习分组卷积，原作对DenseNet的轻量化改造 | CVPR 2018
CondenseNet特点在于可学习分组卷积的提出，结合训练过程进行剪枝，不仅能准确地剪枝，还能继续训练，使网络权重更平滑，是个很不错的工作 来源：晓飞的算法工程笔记 公众号 论文:Neural Arc…
MnasNet：经典轻量级神经网络搜索方法 | CVPR 2019
论文提出了移动端的神经网络架构搜索方法，该方法主要有两个思路，首先使用多目标优化方法将模型在实际设备上的耗时融入搜索中，然后使用分解的层次搜索空间，来让网络保持层多样性的同时，搜索空间依然很简洁，能…
MobileNetV1/V2/V3简述 | 轻量级网络
MobileNet系列很重要的轻量级网络家族，出自谷歌，MobileNetV1使用深度可分离卷积来构建轻量级网络，MobileNetV2提出创新的inverted residual with lin…
ShuffleNetV1/V2简述 | 轻量级网络
ShuffleNet系列是轻量级网络中很重要的一个系列，ShuffleNetV1提出了channel shuffle操作，使得网络可以尽情地使用分组卷积来加速，而ShuffleNetV2则推倒V1的…
SqueezeNet/SqueezeNext简述 | 轻量级网络
SqueezeNet系列是比较早期且经典的轻量级网络，SqueezeNet使用Fire模块进行参数压缩，而SqueezeNext则在此基础上加入分离卷积进行改进。虽然SqueezeNet系列不如Mo…
基于层级表达的高效网络搜索方法 | ICLR 2018
论文基于层级表达提出高效的进化算法来进行神经网络结构搜索，通过层层堆叠来构建强大的卷积结构。论文的搜索方法简单，从实验结果看来，达到很不错的准确率，值得学习 来源：【晓飞的算法工程笔记】 公众号 论文…
旷世提出类别正则化的域自适应目标检测模型，缓解场景多样的痛点 | CVPR 2020
论文基于DA Faster R-CNN系列提出类别正则化框架，充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性，从实验结果来看，类该方法能够很好地提升DA Faster R-CNN…
DA Faster R-CNN：经典域自适应目标检测，解决现实中痛点，代码开源 | CVPR2018
论文从理论的角度出发，对目标检测的域自适应问题进行了深入的研究，基于H-divergence的对抗训练提出了DA Faster R-CNN，从图片级和实例级两种角度进行域对齐，并且加入一致性正则化来…
NASH：基于丰富网络态射和爬山算法的神经网络架构搜索 | ICLR 2018
论文提出NASH方法来进行神经网络结构搜索，核心思想与之前的EAS方法类似，使用网络态射来生成一系列效果一致且继承权重的复杂子网，本文的网络态射更丰富，而且仅需要简单的爬山算法辅助就可以完成搜索，耗…
EAS：基于网络转换的神经网络结构搜索 | AAAI 2018
论文提出经济实惠且高效的神经网络结构搜索算法EAS，使用RL agent作为meta-controller，学习通过网络变换进行结构空间探索。从指定的网络开始，通过function-preservi…
Circle Loss：从统一的相似性对的优化角度进行深度特征学习 | CVPR 2020 Oral
论文提出了Circle loss，不仅能够对类内优化和类间优化进行单独地处理，还能根据不同的相似度值调整对应的梯度。总体而言，Circle loss更灵活，而且优化目标更明确，在多个实验上都有较好的表…
DRConv：旷视提出区域感知动态卷积，多任务性能提升 | CVPR 2020
论文提出DRConv，很好地结合了局部共享的思想并且保持平移不变性，包含两个关键结构，从实验结果来看，DRConv符合设计的预期，在多个任务上都有不错的性能提升 来源：晓飞的算法工程笔记 公众号 论…
SEPC：商汤提出使用3D卷积从FPN中提取尺度不变特征，涨点神器 | CVPR 2020
论文提出PConv为对特征金字塔进行3D卷积，配合特定的iBN进行正则化，能够有效地融合尺度间的内在关系，另外，论文提出SEPC，使用可变形卷积来适应实际特征间对应的不规律性，保持尺度均衡。PCon…
FreeAnchor：抛弃单一的IoU匹配，更自由的anchor匹配方法 | NIPS 2019
论文抛弃以往根据IoU硬性指定anchor和GT匹配关系的方法，提出FreeAnchor方法来进行更自由的匹配，该方法将目标检测的训练定义为最大似然估计(MLE)过程，端到端地同时学习目标分类、目标检…
BlockQNN：NASNet同期，商汤提出block版的MetaQNN | CVPR 2018
作为NASNet的同期论文，BlockQNN同样地将目光从整体网络转换到了block-wise，整体思路大概是MetaQNN的block版，增加了一些细节地小修改。配合Early Stop Strat…
实用，小物体检测的有监督特征级超分辨方法 | ICCV 2019
论文提出新的特征级超分辨方法用于提升检测网络的小物体检测性能，该方法适用于带ROI池化的目标检测算法。在VOC和COCO上的小物体检测最大有5~6%mAP提升，在Tsinghua-Tencent 10…
YOLACT++ : 实时实例分割，从29.8mAP/33.5fps到34.1mAP/33.5fps
YOLACT是首个实时实例分割算法，但是准确率较SOTA差得有点多，YOLACT++从主干网络、分支和anchor的3个角度出发对YOLACT进行优化，在保持实时性的前提下提升了5map，论文改进的…
YOLACT : 首个实时实例分割模型，29.8mAP/33.5fps | ICCV 2019
论文巧妙地基于one-stage目标检测算法提出实时实例分割算法YOLACT，整体的架构设计十分轻量，在速度和效果上面达到很好的trade-off。 来源：【晓飞的算法工程笔记】 公众号 论文: Y…
SMASH：经典One-Shot神经网络搜索，仅需单卡 | ICLR 2018
SMASH方法使用辅助网络生成次优权重来支持网络的快速测试，从结果来看，生成的权重与正常训练的权重在准确率上存在关联性，整体搜索速度很快，仅需要单卡进行搜索，提供了一个很好的新思路。 来源：晓飞的算…
YOLOv4: 虽迟但到，大型调优现场，43mAP/83FPS | 论文速递
YOLOv4在速度和准确率上都十分优异，作者使用了大量的trick，论文也写得很扎实，在工程还是学术上都有十分重要的意义，既可以学习如何调参，也可以了解目标检测的trick。 来源：晓飞的算法工程…
可变形卷积系列(三) 创意满满的可变形卷积核 | ICLR 2020
论文提出可变形卷积核(DK)来自适应有效感受域，每次进行卷积操作时都从原卷积中采样出新卷积，是一种新颖的可变形卷积的形式，从实验来看，是之前方法的一种有力的补充。 来源：晓飞的算法工程笔记 公众号 论…
可变形卷积系列(二) MSRA提出升级版DCNv2，变形能力更强 | CVPR 2019
论文提出DCNv2，不仅对DCNv1的结构进行了改进，还使用了有效的蒸馏学习策略，使得性能有很大的提升，各个方面都值得借鉴 来源：晓飞的算法工程笔记 公众号 论文: Deformable ConvN…
可变形卷积系列(一) 打破常规，MSRA提出DCNv1 | ICCV 2017 Oral
论文提出可变形卷积帮助模型高效地学习几何变换能力，能够简单地应用到分类模型和检测模型中，思想新颖，效果显著，十分值得学习 来源：晓飞的算法工程笔记 公众号 论文: Deformable Convol…
Genetic CNN: 经典NAS算法，遗传算法的标准套用 | ICCV 2017
论文将标准的遗传算法应用到神经网络结构搜索中，首先对网络进行编码表示，然后进行遗传操作，整体方法十分简洁，搜索空间设计的十分简单，基本相当于只搜索节点间的连接方式，但是效果还是挺不错的，十分值得学习…
商汤提出解偶检测中分类和定位分支的新方法TSD，COCO 51.2mAP | CVPR 2020
目前很多研究表明目标检测中的分类分支和定位分支存在较大的偏差，论文从sibling head改造入手，跳出常规的优化方向，提出TSD方法解决混合任务带来的内在冲突，从主干的proposal中学习不同的…
RANet : 分辨率自适应网络，效果和性能的best trade-off | CVPR 2020
基于对自适应网络的研究，论文提出了自适应网络RANet(Resolution Adaptive Network)来进行效果与性能上的取舍，该网络包含多个不同输入分辨率和深度的子网，难易样本的推理会自…
Deep Snake: 基于轮廓调整的SOTA实例分割方法，速度32.3fps| CVPR 2020
论文提出基于轮廓的实例分割方法Deep snake，轮廓调整是个很不错的方向，引入循环卷积，不仅提升了性能还减少了计算量，保持了实时性，但是Deep snake的大体结构不够优雅，应该还有一些工作可…
CVPR2020论文解读汇总，持续更新(15篇)
写了一些CVPR 2020的论文笔记，主要是图像识别和AutoML相关的论文，持续更新: GhostNet: More Features from Cheap Operations CARS: Conti…
ATSS : 目标检测的自适应正负anchor选择，很扎实的trick | CVPR 2020
论文指出one-stage anchor-based和center-based anchor-free检测算法间的差异主要来自于正负样本的选择，基于此提出ATSS(Adaptive Training…
增量学习不只有finetune，三星AI提出增量式少样本目标检测算法ONCE | CVPR 2020
论文提出增量式少样本目标检测算法ONCE，与主流的少样本目标检测算法不太一样，目前很多性能高的方法大都基于比对的方式进行有目标的检测，并且需要大量的数据进行模型训练再应用到新类中，要检测所有的类别则…
Spiking-YOLO : 前沿性研究，脉冲神经网络在目标检测的首次尝试 | AAAI 2020
论文提出Spiking-YOLO，是脉冲神经网络在目标检测领域的首次成功尝试，实现了与卷积神经网络相当的性能，而能源消耗极低。论文内容新颖，比较前沿，推荐给大家阅读 来源：晓飞的算法工程笔记 公众号…
Gaussian YOLOv3 : 对bbox预测值进行高斯建模输出不确定性 | ICCV 2019
在自动驾驶中，检测模型的速度和准确率都很重要，出于这个原因，论文提出Gaussian YOLOv3。该算法在保持实时性的情况下，通过高斯建模、损失函数重建来学习bbox预测值的不确定性，从而提高准确率…
YOLOv1/v2/v3简述 | 目标检测
YOLO系列是目标检测领域里十分经典的结构，虽然目前已经出了很多更高质量更复杂的网络，但YOLO的结构依然可以给算法工程师们带来很多的启发。这3篇论文看下来，感觉像是一本调参说明书，教你如何使用各种…
Google Brain - 进化算法在神经网络结构搜索的首次尝试 | ICML 2017
论文提出使用进化算法来进行神经网络结构搜索，整体搜索逻辑十分简单，结合权重继承，搜索速度很快，从实验结果来看，搜索的网络准确率挺不错的。由于论文是个比较早期的想法，所以可以有很大的改进空间，后面的很…
ACNet: 特别的想法，腾讯提出结合注意力卷积的二叉神经树进行细粒度分类 | CVPR 2020
论文提出了结合注意力卷积的二叉神经树进行弱监督的细粒度分类，在树结构的边上结合了注意力卷积操作，在每个节点使用路由函数来定义从根节点到叶子节点的计算路径，结合所有叶子节点的预测值进行最终的预测，论文…
腾讯推出超强少样本目标检测算法，公开千类少样本检测训练集FSOD | CVPR 2020
论文提出了新的少样本目标检测算法，创新点包括Attention-RPN、多关系检测器以及对比训练策略，另外还构建了包含1000类的少样本检测数据集FSOD，在FSOD上训练得到的论文模型能够直接迁移…
实战级Stand-Alone Self-Attention in CV | NeurIPS 2019
论文提出stand-alone self-attention layer，并且构建了full attention model，验证了content-based的相互关系能够作为视觉模型特征提取的主要…
化繁为简，弱监督目标定位领域的新SOTA - 伪监督目标定位方法(PSOL) | CVPR 2020
论文提出伪监督目标定位方法(PSOL)来解决目前弱监督目标定位方法的问题，该方法将定位与分类分开成两个独立的网络，然后在训练集上使用Deep descriptor transformation(DD…
CARS: 华为提出基于进化算法和权值共享的神经网络结构搜索，仅需单卡半天 | CVPR 2020
为了优化进化算法在神经网络结构搜索时候选网络训练过长的问题，参考ENAS和NSGA-III，论文提出连续进化结构搜索方法(continuous evolution architecture sear…
GhostNet: 使用简单的线性变换生成特征图，超越MobileNetV3 | CVPR 2020
为了减少神经网络的计算消耗，论文提出Ghost模块来构建高效的网络结果。该模块将原始的卷积层分成两部分，先使用更少的卷积核来生成少量内在特征图，然后通过简单的线性变化操作来进一步高效地生成ghost…
MetaQNN: 与谷歌同场竞技，MIT提出基于Q-Learning的NAS | ICLR 2017
论文提出MetaQNN，基于Q-Learning的神经网络架构搜索，将优化视觉缩小到单层上，相对于Google Brain的NAS方法着眼与整个网络进行优化，虽然准确率差了2～3%，但搜索过程要简单…
FCOS: 找到诀窍了，anchor-free的one-stage也可以很准 | ICCV 2019
论文提出anchor-free和proposal-free的one-stage的目标检测算法FCOS，不再需要anchor相关的的超参数，在目前流行的逐像素(per-pixel)预测方法上进行目标检…
专栏一览
如果本文对你有帮助，麻烦点个赞呗～ 更多内容请关注 微信公众号【晓飞的算法工程笔记】 通用视觉 Detection one-stage 【目标检测】RetinaNet：Focal Loss for Dense …
NASNet : Google Brain经典作，改造搜索空间，超越人工网络 | CVPR 2018
论文将搜索空间从整体网络转化为卷积单元(cell)，再按照设定堆叠成新的网络家族NASNet。不仅降低了搜索的复杂度，从原来的28天缩小到4天，而且搜索出来的结构具有扩展性，在小模型和大模型场景下都…
ThunderNet ：像闪电一样，旷视再出超轻量级检测器，高达267fps | ICCV 2019
论文提出了实时的超轻量级two-stage detector ThunderNet，靠着精心设计的主干网络以及提高特征表达能力的CEM和SAM模块，使用很少的计算量就能超越目前的one-stage d…
Light-Head R-CNN : 旷世提出轻量级two-stage通用检测结构，速度102fps
论文提出Light-Head R-CNN，一个精简的two-stage目标检测器设计准则，在表达能力很强的精简特征图上使用轻量级的R-CNN子网，不仅大量减少推理耗时，还提高了准确率，结合Xcept…
告别炼丹，Google Brain提出强化学习助力神经网络架构搜索NAS | ICLR2017
论文为Google Brain在16年推出的使用强化学习的Neural Architecture Search方法，该方法能够针对数据集搜索构建特定的网络，但需要800卡训练一个月时间。虽然论文的思…
ICLR 2020|抛开卷积，multi-head self-attention能够表达任何卷积操作
近年来很多研究将nlp中的attention机制融入到视觉的研究中，得到很不错的结果，于是，论文侧重于从理论和实验去验证self-attention可以代替卷积网络独立进行类似卷积的操作，给self…
AAAI 2020 | 反向R？削弱显著特征为细粒度分类带来提升
论文提出了类似于dropout作用的diversification block，通过抑制特征图的高响应区域来反向提高模型的特征提取能力，在损失函数方面，提出专注于top-k类别的gradient-bo…
AAAI 2020 | DIoU和CIoU：IoU在目标检测中的正确打开方式
论文提出了IoU-based的DIoU loss和CIoU loss，以及建议使用DIoU-NMS替换经典的NMS方法，充分地利用IoU的特性进行优化。并且方法能够简单地迁移到现有的算法中带来性能的提…
ECCV 2018 目标检测 | IoU-Net：将IoU的作用发挥到极致
常见的目标检测算法缺少了定位效果的学习，IoU-Net提出IoU predictor、IoU-guided NMS和Optimization-based bounding box refinement…
论文速递 | 实例分割算法BlendMask，实时又state-of-the-art
BlendMask通过更合理的blender模块融合top-level和low-level的语义信息来提取更准确的实例分割特征，该模型效果达到state-of-the-art，但结构十分精简，推理速…
NeurIPS 2019 |基于Co-Attention和Co-Excitation的少样本目标检测
论文提出CoAE少样本目标检测算法，该算法使用non-local block来提取目标图片与查询图片间的对应特征，使得RPN网络能够准确的获取对应类别对象的位置，另外使用类似SE block的sque…
目标检测 | 经典算法 Cascade R-CNN
作者从detector的overfitting at training/quality mismatch at inference问题入手，提出了基于multi-stage的Cascade R-CNN…
NeurIPS 2019 Spotlight | Cascade RPN，结构的艺术带来极致的提升
论文提出Cascade RPN算法来提升RPN模块的性能，该算法重点解决了RPN在迭代时anchor和feature不对齐的问题，论文创新点足，效果也很惊艳，相对于原始的RPN提升13.4%AR 论…
论文速递|带IoU分支的IoU-aware Single-stage Object Detector
论文基于RetinaNet提出了IoU-aware sinage-stage目标检测算法，该算法在regression branch接入IoU predictor head并通过加权分类置信度和IoU…
目标检测 | RetinaNet & Focal Loss论文深读
论文分析了one-stage网络训练存在的类别不平衡问题，提出能根据loss大小自动调节权重的focal loss，使得模型的训练更专注于困难样本。同时，基于FPN设计了RetinaNet，在精度和速…
标签：分享,晓飞,举报,论文,收藏,算法,赞同,TBDig,全文 来源： https://www.cnblogs.com/cx2016/p/13876826.html