Day 14 - 神经网络(D)NN 到 卷积神经网络CNN (1)

由标准神经网络NN 到 深度神经网络DNN

复习一下前几天谈的输入层-隐藏层-输出层。

标准神经网络（NN），深度学习本质上是神经网络，各种神经网络的基础就是NN, 一个经典的神经网络图如下图所示，这是一个包含三个层次的神经网络，红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。

深度神经网络(DNN)，当隐藏层多於2时称为深度，DNN与NN主要的区别在於把sigmoid函数替换成了ReLU。原文网址

注: sigmoid函数及ReLU为在类神经网路中使用的激励函数，主要是利用非线性方程序，解决非线性问题，若不使用激励函数，类神经网路即是以线性的方式组合运算，因为隐藏层以及输出层皆是将上层之结果输入，并以线性组合计算，作为这一层的输出，使得输出与输入只存在着线性关系，而现实中，所有问题皆属於非线性问题，因此，若无使用非线性之激励函数，则类神经网路训练出之模型便失去意义。深度学习激励函数介绍

NN或DNN为一种模拟人脑神经系统的方式，它能将一维数据经过Full Connection并学习多次後归纳出该结果。同时，他们是AI发展中不可或缺的因素之一。可以想像，目前DNN常被使用。

全连接层Full Connection : 主要就是分类（Classification），参数很多（可占整个网路参数80%左右，这是使用时的另一个挑战。）

参考: 什么是全连接层（Fully Connected Layer）

现在的任务是去区别是不是猫

当我们得到以下特徵，就可以判断这个是猫了

如果红色神经元被激活就对应到猫，同样地，若猫的特徵不明显，同一层的其他神经元便不会对应到猫。最後我们再把这些找到的特徵组合在一起，发现最符合的是猫，电脑便认为这是猫了

往前一层对子特徵分类，也就是对猫头，猫尾巴，猫腿等分类，比如现在要把猫头的特徵找出来

於是我们下一步的任务就是把猫头的这些子特徵找到，比如眼睛、耳朵。道理和区别猫一样，当我们找到这些特徵时，神经元就被激活了（下图红色圆圈）

注:本文是搜寻数个网站及各种不同来源之结果,着重在学习,有些内容已难办别出处,我会尽可能列入出处,若有疏忽或出处不可考,请联络我, 我会列入, 尚请见谅。