Deep Learning系统实训之二：梯度下降原理
作者：互联网
基本概念理解：
一个epoch：当前所有数据都跑（迭代）了一遍；
那么两个epoch，就是把所有数据跑了两遍，三个epoch就是把所有数据跑了三遍，以此类推。
batch_size：每次迭代多少个数据；（batch_size称作批处理， 它的作用可以理解为每次训练100个数据（在这里假设将其设置为100），找到最适合的优化方向，确保不偏离最优那个的方向）
epoch 和 batch_size 的关系：一个epoch值除以batch_size=迭代次数。
例如：
有50000个数据，那么一个epoch值就是50000。
我们将batch_size的值设置为100。
那么迭代次数就是50000除以100，等于500次。即在batch_size =100的情况下，跑完一个epoch需要迭代500次。
神经网络是怎么如何参数更新的：
三步：前向传播、反向传播、参数更新。
反向传播例1：
反向传播流程：
反向传播例2：
神经网络基础架构（建议不要去看生物学上的解释，单纯数学上的理解或更可取）：
再看这个图：
ReLU函数：
Drop-Out：
标签：50000,迭代,batch,Deep,epoch,实训,Learning,100,size 来源： https://blog.51cto.com/u_15221047/2807343