Day 22: Recurrent Neural Network — 循环精神网路初探(上)

Recurrent Neural Network 循环精神网路

RNN是一种专门设计用以解决时间序列相关的神经网路，RNN的概念在於将状态在自身网路中无限循环传递，简单来说就是RNN可以将某层计算完成的输出，再回传给该层自己作为输入，因此可以接受更广泛的时间序列结构输入，允许讯息持续存在。

而时间序列问题可以说是当下的答案会受到过去的答案所影响，同时也会影响未来给定的答案的一种特殊情况。因此简略来说，只要答案有所谓的时间相关性，那他就是一个时间相关问题，可以用RNN来解决。

RNN属於递回神经网路，与一般神经网路有相当大的不同。一般神经网路已经储存了相关特定问题萃取出来的资讯，答案已经在训练过程中被固定，所以我们就算丢入新的资料进去，都一定会得到相同的答案。递回神经网路在这之上做出改进，每个神经元除了储存问题的特徵之外，还有一个偷偷储存了历史资讯的小空间，这个历史资讯会在同一层的每个神经元之间共享。虽然每个神经元的特徵权重依然是固定不会改变的，但是那专属小空间并没有被限制，尽管专属空间不大，但每个小空间彼此相连，能够让神经元们透过小空间连结的储存的资讯来得知输入资料的变化、并调整输出，得到一个时间相关的结果。

资料参考:
https://colah.github.io/posts/2015-08-Understanding-LSTMs/

https://medium.com/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E7%9F%A5%E8%AD%98%E6%AD%B7%E7%A8%8B/rnn-%E9%81%9E%E8%BF%B4%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF-%E5%85%A8%E9%9D%A2%E8%AA%8D%E8%AD%98-27e4dd150