首页 > TAG信息列表 > ResNet

RESNET 迁移学习

之前的网络都面临梯度消失和过拟合问题 残差网络可以解决这个问题增加网络深度。 极大节约参数 网络结构图里面实线和虚线的区别 resnet 网络结构图 BN 层 训练时设为true 验证时false 迁移学习 使用别人预训练的模型训练自己的数据 使用迁移学习的优势: 1.能够快速的训练出

论文笔记 - ToAlign: Task-oriented Alignment for Unsupervised Domain Adaptation

摘要 文章提出了一个 任务导向 的无监督域自适应。认为不是所有的特征都需要对齐，而是根据任务的先验知识，将源域特征分解为与任务相关的要对齐的，和与任务无关的可忽略的。使域对齐主动服务于任务。 1 介绍 以前的 UDA 方法，第一是将源域和目标域整体对齐；第二，是对齐任务和分类任务

【论文阅读】RepVGG: Making VGG-style ConvNets Great Again

原始题目：RepVGG: Making VGG-style ConvNets Great Again 中文翻译：RepVGG: 让 VGG-风格的卷积网络们 再次伟大 发表时间：2021年1月11日 平台：CVPR-2021 来源：旷世科技 文章链接：https://arxiv.org/pdf/2101.03697.pdf 开源代码：https://github.com/megvii-model/RepVGG 这名字 Trump

ResNet实现

残差块             import time import torch from torch import nn,optim import sys sys.path.append("./Dive-into-DL-PyTorch-master/Dive-into-DL-PyTorch-master/code/") import d2lzh_pytorch as d2l device = torch.device('cuda' if torch.cuda

残差网络 ResNet

29 残差网络 ResNet【动手学深度学习v2】 详解残差网络 假设你在卷积神经网络中，只需要了解一个网络，那么ResNet就行了 保证至少不会变差 残差块 resblock 构成残差网络的要素

NF-ResNet：去掉BN归一化，值得细读的网络信号分析 | ICLR 2021

论文提出NF-ResNet，根据网络的实际信号传递进行分析，模拟BatchNorm在均值和方差传递上的表现，进而代替BatchNorm。论文实验和分析十分足，出来的效果也很不错。一些初始化方法的理论效果是对的，但实际使用会有偏差，论文通过实践分析发现了这一点进行补充，贯彻了实践出真知的道理 来源：晓飞

代码笔记18 pytorch中加载ResNet，导致过拟合或者测试时model.train()高于model.eval()

问题   训练网络往往需要加载预训练模型，主流的就是ResNet一类的预训练好的参数   但我在加载了预训练模型，并冻结与训练参数后，进行训练时，发现了两个问题 1   在进行test中model.train()的准确率要远高于model.eval()差别大概在7个点左右。   其中model.eval() 负责改变batc

【ResNet】残差神经网络

ResNet网络 论文：Deep Residual Learning for Image Recognition 网络中的亮点： 1 超深的网络结构（突破了1000层） 上图为简单堆叠卷积层和池化层的深层网络在训练和测试集上的表现，可以看到56层的神经网络的效果并没有20层的效果好，造成这种结果的原因可能是： 1.梯度消失或梯度爆炸 假

pytorch模型定义常用函数以及resnet模型修改案例

模型定义常用函数 利用nn.Parameter()设计新的层 import torch from torch import nn class MyLinear(nn.Module): def __init__(self, in_features, out_features): super().__init__() self.weight = nn.Parameter(torch.randn(in_features, out_features)) self

ResNet网络结构详解与模型的搭建

ResNet网络结构详解与模型的搭建 ResNet网络是在2015年由微软实验室提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。下图是ResNet34层模型的结构简图。 在ResNet网络中有如下几个亮点： （1）提出residual结构（残差结构），并搭建

使用PyTorch复现ConvNext：从Resnet到ConvNext的完整步骤详解

  ConvNext论文提出了一种新的基于卷积的架构，不仅超越了基于 Transformer 的模型（如 Swin），而且可以随着数据量的增加而扩展！今天我们使用Pytorch来对其进行复现。下图显示了针对不同数据集/模型大小的 ConvNext 准确度。 作者首先采用众所周知的 ResNet 架构，并根据过去十年

ResNet详解与实现

1、前言 ResNet是何恺明等人于2015年提出的神经网络结构，该网络凭借其优秀的性能夺得了多项机器视觉领域竞赛的冠军，而后在2016年发表的论文《Deep Residual Learning for Image Recognition》也获得了CVPR2016最佳论文奖。本文整理了笔者对ResNet的理解，详细解释了ResNet34、ResNet5

ConvNeXt: 20年代的卷积网络

ConvNeXt: 20年代的卷积网络 作者：elfin   参考资料来源：ConvNeXt 目录摘要一、介绍二、ConvNet的现代化：路线图2.1 训练技术2.2 宏观设计2.3 ResNeXt化2.4 逆瓶颈2.5 大核2.6 微观设计三、在ImageNet上面进行评估3.1 设置3.2 结论四、其他下游任务 项目地址：https://gi

里程碑的残差结构|ResNet（三）

开局一张图，首先抛出resnet18的网络架构（完整版放在文章最下方） 下面，再配合pytorch官方代码，解析一下resnet18。以resnet18为切入点，由浅入深，理解resnet架构 源码解析 demo import torch import torchvision.models as models resnet18 = models.resnet18() input = torch.ran

A ConvNet for the 2020论文阅读笔记

ConvNeXt 摘要 文章介绍道，视觉识别的 "Roaring 20s"始于ViT的引入，其迅速取代了卷积网络成为了最先进的图像分类模型。但最基本的ViT模型仅是被设计用来进行图像分类，难以应用于其他任务。而Swin Transformer的出现使得Transformer可以作为通用的骨干网络。然后作者介绍道，这种效果主

使用ResNet101作为预训练模型训练Faster-RCNN-TensorFlow-Python3-master

  使用VGG16作为预训练模型训练Faster-RCNN-TensorFlow-Python3-master的详细步骤→Windows10+Faster-RCNN-TensorFlow-Python3-master+VOC2007数据集。   如果使用ResNet101作为预训练模型训练Faster-RCNN-TensorFlow-Python3-master，在之前使用VGG16作为预训练模型的训

ResNet 残差网络 一些粗略的理解

Deep Residual Learning for Image Recognition ResNet是何凯明等人在2015年的论文《Deep Residual Learning for Image Recognition》提出的一种结构。其主要使用了残差块，来解决训练困难的问题以及模型退化问题。在2015年ImageNet检测、ImageNet定位、COCO检测和COCO分割任

为什么要使用3×3卷积？& 1*1卷积的作用是什么？& 对ResNet结构的一些理解

为什么要使用3×3卷积？ 常见的卷积核大小有1×1、3×3、5×5、7×7，有时也会看到11×11，若在卷积层提取特征，我们通常选用3×3大小的卷积。 我们知道，两个3×3卷积核一个5×5卷积的感受野相同，三个3×3卷积和一个7×7卷积的感受野相同（通俗来讲，感受野就是可以提取到周围邻居个数的特

超越CNN的ViT模型及其应用前景

©作者 | 苏菲 Transformer 模型在 NLP 领域获得了巨大的成功，以此为内核的超大规模预训练模型BERT、GPT-3 在 NLP 各个任务中都大放异彩，令人瞩目。 计算机视觉分析任务也借鉴了Transformer 模型的思想和方法，Meta公司的DETR模型中就使用 Transformer 和端到端方法实现了 CV 领域

RetinaNet学习笔记

RetinaNet （ICCV 2017） 论文地址；参考博客1；参考博客2 1.概述 原论文作者针对单阶段法（one-stage)目标检测模型中前景(positive)和背景(negatives)类别的不平衡问题，提出了一种叫做Focal Loss的损失函数，用来降低大量easy negatives在标准交叉熵中所占权重（提高hard negatives所占权重)

CV基石-GoogleNet-V4论文研读

1、Inception-v4模型 结构：六大模块 1、stem（9层） 2、Inception-A（3*4层） 3、Reduction-A（3层） 4、Inception-B（5*7层） 5、Reduction-B（4层） 6、Inception-C（4*3层） 加一个全连接层，共76层 注： padding 两种模式： ·no padding 输入图像n*n，过滤器f*f，输出图像大小为：（n-f+1)2 ·Same  进行padding

CV系列经典论文(1) -- ResNet: Deep Residual Learning for Image Recognition

首先放原文链接https://arxiv.org/pdf/1512.03385.pdfhttps://arxiv.org/pdf/1512.03385.pdf Abstract Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than

Squeeze-and-Excitation Networks（SENet ）

SENet 是 ImageNet 2017（ImageNet收官赛）的冠军模型，和ResNet的出现类似，都在很大程度上减少了之前模型的错误率，并且复杂度低，新增参数和计算量小。 　　SE block并不是一个完整的网络结构，而是一个子结构，可以嵌入到其他分类或检测模型中。作者在文中将 SENet block 和 ResNet 插入到

如果数据集的错误过多，大模型未必好用

在存在大量标注错误的现实世界数据集中，小容量模型可能比大容量模型更有用。举个例子，从基于原始给定标签的测试准确率来看，NasNet 似乎要优于 ResNet-18，但如果用标签修正之后的测试集进行测试，NasNet 的准确率其实比不上 ResNet-18。由于后者在现实中更为重要，在这种情况下，我们在现实

Unsupervised Deep Features for Privacy Image Classification

摘要         由于对隐私信息的不了解，在线共享图像对广泛的用户构成了安全威胁。深度特征已被证明是图像的强大表示。然而，深度特征通常存在尺寸大和需要大量数据进行微调的问题。与普通图像（例如场景图像）相比，隐私图像通常由于敏感信息而受到限制。在本文中，我们提出了一种