TF22——循环核按时间步展开

按照时间步展开，就是把循环核按照时间轴方向展开，可以表示为下面的图

每个时刻记忆体状态信息ht被刷新，记忆体参数周围的wxh、whh和why是固定不变的，我们训练优化的就是这些参数矩阵，训练完成后，使用效果最好的参数矩阵，执行前向传播，输出预测结果

其实这和我们人类的预测是一致的，你脑中的记忆体，每个时刻都根据当前的输入而更新，当前的预测推理，是根据你以往的知识积累，用固化下来的参数矩阵进行的推理判断

循环神经网络就是借助循环核实现时间特征提取，再把提取到的信息送入到全连接网络，实现连续数据的预测

\[\begin{aligned} &\mathrm{y}_{t}=\operatorname{softmax}\left(h_{t} w_{h y}+b y\right) \\ &\mathrm{h}_{t}=\tanh \left(x_{t} w_{x h}+h_{t-1} w_{h h}+\mathrm{bh}\right) \end{aligned} \]

yt是整个循环网络的末层，从公式来看就是一个全连接网络，借助全连接网络，实现连续数据预测。

标签：TF22,预测,矩阵,记忆体,循环,参数,展开,mathrm
来源： https://www.cnblogs.com/studyhao1999/p/16034190.html