细粒度：MC_Loss源码笔记——The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification

• 综述
• 网络结构
• MC_Loss

综述

论文题目：《The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification》
期刊与时间：IEEE Transactions on Image Processing 2020 (TIP 2020)
论文地址：https://arxiv.org/pdf/2002.04264
源码地址(PyTorch版本)：https://github.com/dongliangchang/Mutual-Channel-Loss
针对领域：细粒度图像分类(FGVC)

网络结构

以resnet为例

class model_bn(nn.Module):
    def __init__(self, feature_size=512,classes_num=200):
        super(model_bn, self).__init__() 
        # 定义特征提取网络，删掉原resnet中的全局平均池化和全连接层
        # 注意，作者将最后一层输出的特征图通道数改了，改成了分类数*ζ，作者源码中以600为例(200*3)
        # 只改变了layer4输出特征图的通道数，其他部分与原始的resnet相同
        self.features = nn.Sequential(*list(net.children())[:-2]) 
        # 全局最大池化
        self.max = nn.MaxPool2d(kernel_size=14, stride=14)
        # 特征图通道数。这里做了修改，与原通道数不一样
        self.num_ftrs = 600*1*1
        # 分类器，依次为批量标准化、线性回归、批量标准化ELU激活函数、线性回归
        self.classifier = nn.Sequential(
            nn.BatchNorm1d(self.num_ftrs),
            #nn.Dropout(0.5),
            nn.Linear(self.num_ftrs, feature_size),
            nn.BatchNorm1d(feature_size),
            nn.ELU(inplace=True),
            #nn.Dropout(0.5),
            nn.Linear(feature_size, classes_num),
        )

    def forward(self, x, targets):
        # 首先图片经过特征提取，得到特征图
        x = self.features(x)
        # 之后经过MC_Loss模块,得到MC损失
        if self.training:
            MC_loss = supervisor(x, targets, height=14, cnum=3)
        # 特征图依次经过全局最大池化，得到特征向量
        x = self.max(x)
        x = x.view(x.size(0), -1)
        # 再经过分类器，得到网络的预测值
        x = self.classifier(x)
        # 求交叉熵损失
        loss = criterion(x, targets)
        # 如果是训练阶段，则返回预测值和预测损失的同时，还需要返回MC损失
        if self.training:
            return x, loss, MC_loss
        # 如果是测试阶段，则只需要返回预测值与损失
        else:
            return x, loss

MC_Loss

def supervisor(x, targets, height, cnum):
    # 首先得到掩模图
    mask = Mask(x.size(0), cnum).cpu()
    branch = x
    # 将特征图改变形状，变成(batch,200*ζ,h*w)，ζ表示多少特征图代表一类，作者以ζ=3为例
    # 第二维度(dim=2)表示特征图中的特征数据
    branch = branch.reshape(branch.size(0),branch.size(1), branch.size(2) * branch.size(3))
    # 将特征数据放入softmax，沿第二维度进行归一化操作(相当沿原来特征图上的数据进行扫描)，对应论文中公式(7)后半段
    branch = F.softmax(branch, 2)
    # 再将特征图变回原来的形状
    branch = branch.reshape(branch.size(0), branch.size(1), x.size(2), x.size(2))
    # 将归一化后的数据传入CCMP模块，对应论文中公式(7)前半段
    branch = my_MaxPool2d(kernel_size=(1, cnum), stride=(1, cnum))(branch)
    # 特征图经过CCMP之后，通道数变为分类数，之后再转化一下形状
    # 转化为(batch,200,w*h)
    branch = branch.reshape(branch.size(0),branch.size(1), branch.size(2) * branch.size(3))
    # 之后首先对branch中的元素按第二维度求和，即对特征数据求和
    # 之后再对所有通道取平均值，对应论文公式(6)
    loss_2 = 1.0 - 1.0 * torch.mean(torch.sum(branch, 2)) / cnum# set margin = 3.0
    # CWA模块:掩模图M与特征图相乘
    branch_1 = x * mask
    # CCMP模块，将所有特征图取相应类别的最大值，(对于每一类，3张压缩成1张)，得到的特征图尺寸为(batch,200,h,w)
    branch_1 = my_MaxPool2d(kernel_size=(1,cnum), stride=(1,cnum))(branch_1)
    # 全局平均化，得到每一类的预测分数(h*w个值压缩成1个数)，最终得到论文中公式(5)的结果
    branch_1 = nn.AvgPool2d(kernel_size=(height,height))(branch_1)
    # 压扁，便于后续取交叉熵损失
    branch_1 = branch_1.view(branch_1.size(0), -1)
    # 取交叉熵损失，对于论文中公式(4)
    loss_1 = criterion(branch_1, targets)
    # 返回损失
    return [loss_1, loss_2]

计算CWA模块中的掩模图M：

# 得到CWA模块中的掩模图M
def Mask(nb_batch, channels):
    # 假设三张特征图表示一个类别，即论文中的参数ζ为3
    # 此时一组掩模M_i中由两个1,一个0组成
    foo = [1] * 2 + [0] *  1
    # 初始化总的M列表
    bar = []
    # 这里的200表示分类数
    for i in range(200):
        # 打乱初始化后M_i中的元素，表示随机生成M_i
        random.shuffle(foo)
        # 与总列表合并
        bar += foo
    # 按批次(batch)复制
    bar = [bar for i in range(nb_batch)]
    # 转换成array格式
    bar = np.array(bar).astype("float32")
    # 转换形状，转换成(batch,200*ζ,1,1)，前两个维度中，掩模和特征图大小相同，便于后续的点乘操作
    bar = bar.reshape(nb_batch, 200 * channels, 1, 1)
    # 转换成tensor格式，之后放入显卡，再令其可求导
    bar = torch.from_numpy(bar)
    bar = bar.cuda()
    bar = Variable(bar)
    # 最后返回掩模M
    return bar

CCMP模块：

class my_MaxPool2d(Module):

    def __init__(self, kernel_size, stride=None, padding=0, dilation=1,
                 return_indices=False, ceil_mode=False):
        super(my_MaxPool2d, self).__init__()
        # 最大池化的一系列参数，可以在定义my_MaxPool2d的同时引入
        self.kernel_size = kernel_size
        self.stride = stride or kernel_size
        self.padding = padding
        self.dilation = dilation
        self.return_indices = return_indices
        self.ceil_mode = ceil_mode

    def forward(self, input):
        # 将输入的1,3维度进行交换，即将通道维度与图片的宽w交换，得到(batch,w,h,600)的数据(以CUB数据集为例)
        input = input.transpose(3,1)
        # 最大池化，注意，此时池化核为(1, cnum)
        # 相当于在原始的三张特征图中沿通道选择最大值,对应论文中公式(5)的中间部分(CCMP)
        input = F.max_pool2d(input, self.kernel_size, self.stride,
                            self.padding, self.dilation, self.ceil_mode,
                            self.return_indices)
        # 再将特征图维度变回去，变成正常的尺寸，即(1,200,h,w)
        input = input.transpose(3,1).contiguous()
        # 最后返回特征图
        return input

以上内容仅是笔者的个人观点，若有错误，欢迎大家批评指正。

笔记原创，未经同意禁止转载！

标签：Loss,bar,细粒度,nn,特征,self,源码,branch,size
来源： https://blog.csdn.net/qq_50001789/article/details/122243879