大家好~我开设了“深度学习基础班”的线上课程，带领同学从0开始学习全连接和卷积神经网络，进行数学推导，并且实现可以运行的Demo程序

线上课程资料：
本节课录像回放
加QQ群，获得ppt等资料，与群主交流讨论：106047770

本系列文章为线上课程的复盘，每上完一节课就会同步发布对应的文章

本文为第二节课：“判断性别”Demo需求分析和初步设计（下1）的复盘文章

本课程系列文章可进入索引查看：
深度学习基础课系列文章索引

• 回顾相关课程内容
• 主问题：什么是损失函数
• 主问题：什么是随机梯度下降

回顾相关课程内容

• 第二节课：“判断性别”Demo需求分析和初步设计（中）
  • 什么是神经网络 ？
    
  • 为什么引入神经网络？
  • 前向传播算法包括哪些步骤？

主问题：什么是损失函数

为什么引入损失函数？

• 虽然神经网络的未知量的数量比起神经元来说更多，但如果推理的样本数量比神经网络的未知量的数量更多时，该怎么办？
  • 继续增加神经网络中的权重、偏移数量（如增加层、增加每层的神经元）？
    不能，因为：
    这会增加计算成本；
    样本数量可以任意多，但无法无限地增加神经网络中的权重、偏移数量
    所以应该保持神经网络中的权重、偏移数量不变
• 在训练后仍然会得到一组权重、偏移，但在推理阶段对于每个样本推理的输出值仍然等于真实值吗？
  不等于
• 我们希望的结果是什么？
  每个样本推理的输出值尽量接近真实值
• 因此，在训练时需要得到一组合适的权重、偏移，使得每个样本推理的输出值尽量接近真实值
• 那么，如何具体判断得到的一组权重、偏移是合适的呢？
  需要引入损失函数

  标签：函数,权重,Demo,梯度,神经网络,最小值,偏移,基础课,初步设计
  来源： https://www.cnblogs.com/chaogex/p/16638867.html