DRML(CVPR 2016)Pytorch复现

参考

文献原文: Deep Region and Multi-label Learning for Facial Action Unit Detection

原文提供的代码：DRML

Pytorch版本参考代码：DRML_Pytorch

复现过程参考： DRML复现

代码结构组织设计参考： ME-GraphAU

实验设定

数据集：

名字：DISFA+.

简介：一共有九个人的面部数据。每张图有12个AUs，每个AU的值在于[0, 5]的整数表示其强度。 取前面七个同时作为训练集和验证集，最后两个人的数据作为测试集。

训练集的数量：42929 

测试集的数量：14739 

标签：{-1, 1}, 所有AU值小于2的为-1， 剩下的标签为1

超参数和参数：

optimizer：SGD

learning rate：0.001

weigth decay：0.005

momentum：0.9

epoch：20

batch size：64

代码

待续，等我弄完了发

踩坑记录

 DRML的文献中使用的是该文作者自己设计的叫做multi-label sigmoid cross-entropy loss。其具体定义为以下：

其中y是真实的标签， ŷ是预测的标签。C是AUs的总数，N是总样本数量。

文中说有三个标签{-1, 0, 1}, 然后根据loss的理解，作为标签为0的数据其实跟loss无关。loss只关注标签为1和-1的样本。 

另外我最开始理解错了loss， 我以为是 {1*[y > 0] * Log ŷ + (-1)*[y<0] * Log(1 -  ŷ)}， 通过该方法作为loss计算，我发现每个epoch的验证结果都是一模一样的，而且loss根本就没有收敛，一直在一个范围内来回摇摆。正确理解的是 {[y > 0]*Log ŷ +[y<0]* Log(1 -  ŷ)}, [y > 0] 和[y < 0]要么返回1要么返回0. 

还有一个就是计算 Log的时候要小心里面的值不要等于0或是小于0. 由于是sigmoid处理之后的值，所有输出值得范围是介于0和1之间。因此把所有输出等于0的值变成1e-20可以避免在原本的计算中梯度炸掉的坑。 

标签：loss,Log,标签,DRML,CVPR,Pytorch,复现,2016
来源： https://www.cnblogs.com/xbkyj/p/16433259.html