地平线正式批算法凉经

0.自我介绍
1.介绍了一下在地平线这段时间实习的工作，着重介绍量化算法包的研发。
2.结果噩梦开始了。。。最有用的trick是什么，我说了cos decay，然后怼原理，公式，写出来，画图是什么样的。这里就有点卡住了。
3.给定一个模型的lr，weight decay，之前的权重W和当前的反向传播梯度grad，求出新的W权重。。。写公式，当时不记得怎么把weight decay加上去，位置不知道放在哪里。。。。然后开始说weight decay的原理，过拟合的原理，还给自己挖坑讲了风险最小损失，经验风险损失之类的，但是再细节又不知道了。。。。模型学习的是数据分布，为什么？
4.损失函数的风险写公式。。。。线性回归和逻辑回归的一次损失，二次损失的区别是什么，为什么逻辑回归要用二次损失，细致到逻辑回归的推导过程，写出交叉熵损失函数，为什么要用交叉熵损失函数，先验，后验概率的关系是什么？
5.L1拉普拉斯和L2高斯分布原理解释。
6.从bias和variance的角度去解释L1，L2，一次损失和二次损失。。。。
7.对贝叶斯公式，先验后验的理解。
8.极大似然估计的理解。
9.在地平线实习有什么收获。

总结：全场感觉很难受，因为自己真的对机器学习的数学原理一知半解，很难推完整一个公式，深入下去就不怎么懂了，还没有到达写代码的阶段就结束了。。。。要看PRML了。。。

标签：weight,decay,公式,回归,损失,算法,地平线,凉经
来源： https://blog.csdn.net/u010712012/article/details/100797491