self-ensembling

self-ensembling 即自集成, 自己集成自己. 对于神经网络来说, 一个样本如果多次送入网络, 能够产生多个模型预测结果, 这些结果可以进行融合, 同时在不同的 batch 训练之后, 模型的参数也会发生变化, 参数可以进行融合, 因此, self-ensembling 的套路在于集成模型预测结果或者模型参数.

论文中提出两种自集成的实现: Π \Pi Π-model, Temporal ensembling

文中符号定义如下:

• N N N 为训练集大小.
• M M M 为带标签的样本个数.
• { x i } i = 1 N \{x_i\}_{i=1}^N {xi​}i=1N​ 为训练集中的每个样本 .
• L L L 为每个样本的索引集合, 且 ∣ L ∣ = M \vert L \vert =M ∣L∣=M.
• 对于每个 i ∈ L i \in L i∈L, 对应一个正确的标签 y i ∈ { 1 , … , C } y_i \in \{1,\dots,C\} yi​∈{1,…,C}, C C C 为不同类别的数量.
• w ( t ) w(t) w(t) 为无监督权重 ramp-up 函数.
• f θ ( x ) f_\theta(x) fθ​(x) 为具有可训练参数 θ \theta θ 的随机神经网络.
• g ( x ) g(x) g(x) 为随机输入增强函数.
• α \alpha α 为 ensembling momentum.

Π \Pi Π-model

在每个 epoch, 对于每个训练输入 x i x_i xi​ 进行两次评估, 从而得到预测向量 z i z_i zi​ 和 z ~ i \tilde{z}_i z~i​. 损失函数由两个部分组成: 1.标准交叉熵损失, 仅针对标记输入进行评估. 2.对所有输入进行评估, 取预测向量 z i z_i zi​ 和 z ~ i \tilde{z}_i z~i​ 之间的均方差. 为了结合监督和非监督损失项, 在之后通过加权函数 w ( t ) w(t) w(t) 进行缩放操作.

Π \Pi Π-model 模型如下图所示:

需要注意的是, 由于 dropout 正则化, 训练期间的网络输出是一个随机变量. 因此, 在相同网络权重 θ \theta θ 下对相同输入 x i x_i xi​ 的两次评估会产生不同的结果. 此外, 高斯噪声和诸如随机平移之类的增强被评估了两次, 从而产生了额外的变化. 这些效果的组合解释了预测向量 z i z_i zi​ 和 z ~ i \tilde{z}_i z~i​ 之间的差异. 鉴于原始输入 x i x_i xi​ 相同, 这种差异可以看作是分类错误, 因此最小化它是一个合理的目标.

Π \Pi Π-model 算法流程如下图所示:

循环当前mini-batch B B B 中的所有 x i x_i xi​:

• 1.计算两次 augmentation 后的值, 分别为 z i z_i zi​ 和 z ~ i \tilde{z}_i z~i​.
• 2.使用损失函数 l o s s loss loss 对参数 θ \theta θ 进行更新.
• 重复1,2直到退出循环. 最终得到学习完成的参数 θ \theta θ.

在此实现中, 无监督损失加权函数 w ( t ) w(t) w(t) 从零开始 ramp-up, 这个权重随时间变化而变化, 即 time-dependent. 其在前 80 个 epoch 中沿着高斯曲线上升. 同时文中发现 ramp-up 的上升速度要足够慢才行, 不然, 网络很容易陷入退化的解, 无法获得有意义的数据分类.

下面代码来自 mean-teacher 中的 ramp-down 策略

def cosine_rampdown(current, rampdown_length):
    """Cosine rampdown from https://arxiv.org/abs/1608.03983"""
    assert 0 <= current <= rampdown_length
    return float(.5 * (np.cos(np.pi * current / rampdown_length) + 1))

Temporal ensembling

首先对训练集进行一次分类而不更新权重 θ \theta θ, 然后使用刚刚获得的预测作为目标, 在不同的增强和 dropout 下在相同的输入上训练网络. 这时, 每个样本在每个 epoch 只通过了一次增强和一次评估, 比 Π \Pi Π-model 的速度快2倍.

• 1.初始化 Z Z Z, z ~ \tilde{z} z~, 分别为 N × C N \times C N×C 的预测结果矩阵和目标向量.
• 2.在每个 epoch t 中, 对每个 mini-batch B B B 执行:
  • 评估增强输入的网络输出 z i ∈ B z_{i \in B} zi∈B​.
  • 使用损失函数 l o s s loss loss 对参数 θ \theta θ 进行更新.
• 3.通过指数滑动平均(EMA)更新 Z ← α Z + ( 1 − α ) z Z \gets \alpha Z+(1-\alpha)z Z←αZ+(1−α)z.
• 4.通过偏差校正目标向量 z ~ ← Z / ( 1 − α t ) \tilde{z} \gets Z/(1-\alpha^t) z~←Z/(1−αt).
• 循环结束后获得最终参数 θ \theta θ.

与 Π \Pi Π-model 相比, Temporal Ensembling 根据优势. 首先, 训练速度更快, 因为在每个 epoch 的每个输入中只对网络进行一次评估. 其次, 训练目标 z ~ \tilde{z} z~ 比 Π \Pi Π-model 的噪声要小.

代码地址: https://github.com/s-laine/tempens

标签：Ensembling,训练,Semi,Temporal,ensembling,tilde,theta,model,Pi
来源： https://blog.csdn.net/by6671715/article/details/122667631