深度学习模型

LeNet
LeNet-5为LeCun大神在1998年所提出的卷积神经网络算法。
卷积类神经网路
1.使用卷积核在输入图像上滑动，局部的输入图像上运算出特徵图。
2.每层特徵徒都是使用特徵图卷积核计算，在同样的特徵图中共享了相同的权重和Bias。

架构
LenNet-5共有7层
有两层卷积层(Convolution Layer)、两层池化层(Pooling Layer)、三个全连接层(Fully Connected Layer)。

卷积层--使用的卷积核为5x5的大小，stride为1，每个特徵图使用相同的卷积核。
池化层--上一层的4个节点作为下一层1个节点的输入，将上一层的4个节点求和後取平均。

Alexnet
Alexnet为Alex Krizhevsky与Ilya Sutskever共同发表，在ImageNet大规模视觉辨识挑战赛中错误率低，使得卷积神经网路的兴起。

架构
AlexNet共有8层
有五层卷积层(Convolution Layer)、三个全连接层(Fully Connected Layer)。

用较深的模型架构，输入层尺寸变大(影像大小为224x224 彩色照片)、激活函数则使用ReLU避免因为神经网路层数过深或是梯度过小，而导致梯度消失的问题。