Day 21 - 天眼CNN 的耳朵和嘴巴 - RNN(2) -LSTM

LSTM vs. Simple RNN

再看一次Simple RNN

图中说明

• 绿色框为一个cell
  

LSTM也具有这种链状结构，但是重复模块具有不同的结构。 而不是只有一个神经网络层，而是有四个以非常特殊的方式进行交互。

在上图中，每条线都承载着整个向量(vector)，从一个节点的输出到另一个节点的输入。 粉色圆圈表示逐点操作，如向量加法/乘法，而黄色框表示学习的神经网络层。 合并的行表示串联，而分叉的行表示要拷贝/复制的内容，并且副本到不同的位置。

长短期记忆模型 LSTM

Understanding LSTM Networks

• LSTM 含长期及短期记忆

• Cell(绿色框)的输入不再是以前一个cell的输出

• Cell内多了"gates"，重点在"focus 焦点"、"forget 忘记"、"remember 记忆"。
  

• 长期记忆
  

• 决定要保留成记忆或忘掉
  

• tanh 为真正输入的值
  

• 短期记忆
  

注:本文是搜寻数个网站及各种不同来源之结果,着重在学习,有些内容已难办别出处,我会尽可能列入出处,若有疏忽或出处不可考,请联络我, 我会列入, 尚请见谅。