Label smooth

什么是Label smooth regularization

对分类问题 经过softmax函数之后的 one hot 编码(正类概率为1，其他为0)进行改进。

为什么要使用Label smooth regularization

one-hot 编码的问题：会自驱的向正类和负类的差值扩大的方向学习(过度的信任标签为1的为正类)，在训练数据不足的情况容易过拟合。

原理

思路：软化softmax、劫富济贫
我们使用交叉熵损失函数
$loss = - \sum_{k=1}^K q(k|x) \log(p(k|x))$loss=−k=1∑K​q(k∣x)log(p(k∣x))
其中$q$q表示真实类别，$p$p表示预测的类别
$q'(k)=(1-\epsilon)q(k)+\epsilon u(k)\\ H(q',p) = -\sum q'(k) \log p(k)\\ H(q',p) =(1-\epsilon) H(q,p)+\epsilon H(u,p)$q′(k)=(1−ϵ)q(k)+ϵu(k)H(q′,p)=−∑q′(k)logp(k)H(q′,p)=(1−ϵ)H(q,p)+ϵH(u,p)

标签：log,epsilon,smooth,Label,正类,&#,x27
来源： https://blog.csdn.net/qq_33229912/article/details/100113850