Day 18: 人工神经网路初探 前馈神经网路

Feedforward 前馈神经网路

前馈神经网路是一种neuron之间的连接并不形成循环的人工智慧网路。
前馈神经网路是最简单的神经网路，在这个网路中，资料流动的方向是同个方向(往前)，由输入层开始，流向隐藏层，再流到输出层。这样的网路中并没有回送或者反馈机制。

Error Function

Error是指期待结果与预测结果之间的差值。
神经网路的学习目标是计算出最优化的权重值。当误差达到最小值(理想上是零)，这个权重被认为对於给定的数据集而言是最优化的。我们见过当网路开始学习处理，它初始化权重且使用其中一个activation functions计算每个neuron的输出。然後便会计算误差、调整权重、计算输出且重新计算误差然後拿来比较之前计算的误差，直到找到最小化的误差。给出最小误差值的权重便会被当作最终的权重，在此阶段该网路也会被视为已学习。
以微积分来看，假如函数的一阶导数是零，则这个函数不是最小值就是最大值。找到这个导数为零的最小值就是我们训练神经网路的目标。
因此，神经网路必须具有误差函数，该函数将计算一阶导数并找到误差函数最小的点(权重与bias)，选择误差函数的基准便是看要训练的模组是什麽型态的。
误差函数通常也被称做损失函数(Loss function)，或简称损失(Loss)。

资料参考:
https://afit-r.github.io/feedforward_DNN