2022 PRML Stock Prediction

关于RNN（循环神经网络）（简略了解）：

 https://zhuanlan.zhihu.com/p/105383343

关于LSTM（长短期记忆网络）以及GRU：

Q1：LSTM如何实现长短期记忆？（《百面深度学习》p54）

　　一般的RNN（循环神经网络）中，一般是参数共享的【1】，存在对于短期的数据敏感，但是对于长期数据不敏感的问题。LSTM能解决这个问题。首先，它增加了一个cell state单元（就是图里面的c参数，h参数是隐藏状态单元），在不同的时间有可变的权重，解决梯度消失，梯度爆炸的问题。（因为 在（U, W, b）这几个参数不变的情况下，梯度在反向传播过程中，不断连乘，数值不是越来越大就是越来越小）（对有价值的信息进行记忆，放弃冗余记忆，从而减小学习难度。） 它在内部引入了GRU门控单元（输入门，遗忘门，输出门）与内部记忆单元。具体计算见注释【2】。总而言之，LSTM通过门控单元h以及状态单元c的线性自循环，改变以往的信息传播方式，解决了RNN的长期依赖问题（随着输入序列增加，以往的信息无法被学习和利用的问题）

【1】：关于RNN的网络结构与参数共享：https://www.cnblogs.com/wisteria68/p/13488819.html

【2】：关于LSTM：https://zhuanlan.zhihu.com/p/106046810         https://blog.csdn.net/qian99/article/details/88628383

【3】：LSTM实现股票预测：https://zhuanlan.zhihu.com/p/108319473

Q2：GRU（门控循环单元）如何控制时间序列的记忆与遗忘行为？（《百面深度学习》p57）

　　使用了更新门代替遗忘门和记忆门的功能。遗忘多少就会记忆多少作为弥补。

【1】：关于GRU：https://zhuanlan.zhihu.com/p/106276295

（未完待续）

标签：2022,PRML,Prediction,记忆,https,LSTM,zhihu,com,单元
来源： https://www.cnblogs.com/MrMKG/p/16607615.html