Day 23: Recurrent Neural Network — 循环精神网路初探(下)

Recurrent Neural Network 循环精神网路

前面讲述了许多关於RNN循环精神网路的优点，不同於一般精神网路的优点，甚至比一般精神网路还要好的能力，却不代表他没有缺点。

RNN的致命缺点

梯度消失问题（Vanishing gradient problem）
梯度消失问题是一种机器学习中的难题，出现在以梯度下降法和反向传播训练人工神经网路的时候。在每次训练的迭代中，神经网路权重的更新值与误差函数的偏导数成比例，然而在某些情况下，梯度值会几乎消失，使得权重无法得到有效更新，甚至神经网路可能完全无法继续训练。
而为什麽RNN会发生梯度消失的问题呢? 这就是因为他训练的方式是使用Back Propagation Through Time。因为小空间的历史资讯太长了，RNN所使用的训练方法并不是之前所提到的反向传播法(BP, Back Propagation)，而是进阶版本的Back Propagation Through Time，与BP不同的地方就在於BPTT是透过时间来进行训练的。

资料参考:
https://www.gushiciku.cn/pl/p5ok/zh-tw
https://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E6%B6%88%E5%A4%B1%E9%97%AE%E9%A2%98