大话深度学习

已经学过的网络结构

Gan

SRgan

DCgan

Cyclegan

Senet

• Squeeze：顺着空间维度进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配；
• Excitation：基于特征通道间的相关性，每个特征通道生成一个权重，用来代表特征通道的重要程度；
• Reweight：将Excitation输出的权重看做每个特征通道的重要性，然后通过乘法逐通道加权到之前的特征上，完成在通道维度上的对原始特征的重标定。

Resnet

Vae

Alexnet

Vgg

Inception v.x

Unet

FCN

SAGAN

• Self Attention GAN自注意力GAN是比较新的GAN，将GAN的效果更上了一层楼；
• Self Attention 自注意力机制能够加强卷积核提取像素之间的关联信息；
• Spectral Normalization 谱归一化是一种新的比较有效的稳定GAN训练的方法，它通过约束判别器D的奇异值矩阵，使D满足1-L条件；

SSPnet

Fast R-CNN

大话视觉：

基础知识

图像的局部信息

• 提取位置：浅层网络中提取局部信息；
• 特点：物体的几何信息比较丰富，对应的感受野较小；
• 目的：有助于分割尺寸较小的目标；
• 有利于提高分割的精确程度

图像的全局信息

• 提取位置：深层网络中提取全局信息；
• 特点：物体的空间信息比较丰富，对应的感受野较大；
• 目的：有助于分割尺寸较大的目标；
• 有利于提高分割的精确程度.

感受野

Receptive field在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称作感受野。通常来说，大感受野的效果要比小感受野的效果更好。由公式可见，stride越大，感受野越大。 但是过大的stride会使feature map保留的信息变少。因此，在减小stride的情况下，如何增大感受野或使其保持不变，称为了分割中的一大问题。\(RF{i+1}\)=\({RF{i}+(KernelSize-1)* Stride}\)。如下图Layer3中的一个各自的感受野为7。

花里胡哨的卷积

Grouped Convolutions、DCN

各种各样的激活方式

ReLU6、Swish、Mish

形色各异的增强方式

Cutout、Mosaic

经典的重量级网络

Inception系列、ResNet系列、RepVGG

灵活的轻量级网络

MobileNet系列、ShuffleNet系列

不同任务的Loss 函数

CE、Focal Loss、DIOU

视觉Transformer

ViT、DeiT等

标签：分割,提取,感受,大话,学习,GAN,特征,深度,通道
来源： https://www.cnblogs.com/lwp-nicol/p/15556941.html