-1. 序

OK，资料分析做完了，
现在要进入演算法的部分，
我们未来几天将从经典卷积神经网路架构中，
寻找适合FER2013资料集的演算法。
最後经由实验挑出最佳的CNN演算法。
在实验结果出来之前，
请让我来介绍一些知名CNN架构吧！

0. 前言

在唐朝，刘禹锡的〈陋室铭〉曾书「山不在高，有仙则名。水不在深，有龙则灵」。
但是，在深度学习的领域应该改为「山就要高，有ResNet则名。水就要深，有VGG则灵」
西元2014年，
〈Very Deep Convolutional Networks for Large-Scale Image Recognition〉横空出世，
当时没有人想到，居然有神经网路可以深到16层，甚至是19层。
它就是VGG Net。

1. VGG16 网路架构详细图解

表格中D栏和E栏分别代表VGG16和VGG19的神经网路架构，
可以发现两者架构基本一样，只是VGG19多了3层卷积层。
VGG的架构可以说是十分简单，
但在当时可是一大创新！
相较於AlexNet的成功，
VGG用多个小卷积核取代单一大卷积核的操作看似随意，
但背後的意义却非常有道理。

1.1 VGG 的优点

1. 采用两层3x3卷积核取代一层5x5卷积核：
   在同样大小的图片区域(感知视野)中，
   提升了网路的深度，就可以用更复杂的非线性函数去学习，
   而且两层3x3比一层5x5的参数量还少，真是一箭双雕！
2. 结构简单：
   使用完全相同的结构，组成一个区块(block)，
   透过不断叠加相同区块的方式增加网路深度。
   简洁又漂亮！
3. 模型加深：
   上一个称霸ImageNet影像辨识竞赛的神经网路是AlexNet，深度也就8层。
   但是VGG证实了模型是可以加到19层，并且是可训练成功的！
   开启了往後模型越来越深的先河，(不过发展到最後有点太深了)

1.2 VGG 的缺点

1. 模型肥大：
   你看看VGG最後的三个全连接层(FC-4096, FC-4096, FC-1000)，
   就知道这个模型效率是很差的，参数量高达147M。

未完待续

实作部分请参考明天的文章

参考资料

1. https://arxiv.org/abs/1409.1556