RNN

今天来介绍NN的另一个类别，RNN主要是运用在sequence data做预测，也就是任何有序的资料包括语音,句子,时间序列资料（股票走势）等等，有序资料最大的特点就是资料点与资料点之间是有关连的，所以RNN架构最大的特色就在於“记忆”。

下图是RNN的大致架构，假设我们今天的input是一句句子：what time is it ?，依序把每个字放入RNN，可以发现在输入“time”的同时，把“what”放入後产生的output也会一起进入node里面计算（node里有两个颜色），接下来依序如此，到最後放入“？”之後，我们可以看到node里面有前面所有的output(5个颜色），这就是“记忆”。

但上图的结构会有一个问题是，我们会发现越早的input越到後面占比会逐渐变小（就像人类的记忆一样越久远的事情就会越记不清啊），解决的办法是有另外两个架构：LSTM与GRU。

占比会逐渐变小的原因是因为NN透过back propagation来调整w和b的数值，从最後一层往回推到第一层的过程，每次的调整会被前一层（次）的计算影响，步伐会越来越小，这样就导致最刚开头的w和b会是非常小的数值以至於在刚开始NN模型学习效率缓慢。

[reference]
https://www.youtube.com/watch?v=LHXXI4-IEns