随着理论的成熟，丛集运算能力的提升，深度神经网路模型逐渐发挥了巨大的影响力。
- 神经元模型
来自於对动物神经元工作机制的仿真(Simulation)。
- 神经网路
- 感知器学习演算法(Perceptron Learning Algorithm, PLA)
是用来描述神经元模型的一种线性分类器。
- 多层感知器学习演算法(Multi-Layer Perceptron, MLA)
由多个PLA组成，由非线性激活函数的多次复合，构成了强大的计算能力。
- 输入节点(Input Node)：将讯息传送给隐藏节点
- 隐藏节点(Hidden Node)：负责计算并将结果传送给输出节点
- 输出节点(Output Node)：负责对讯息的输出
- 演算法
- 感知器(Perceptron)
- 权值(w)：
如果当前神经元的输入值权值与当前神经元激发值的影响为正相关。；
- 偏移量(b)：
就像常数作用在多项式函数上一样，定义了神经元的激发临界值在空间上对决策边界(Decision Boundary) 的平移影响。
- 决策边界(Decision Boundary)：
设输入向量与权向量的内积为零，可得出 n+1 维的超平面。
- 激励函数(Activation Function)：
激励函数决定神经元在输入情况的触发动作。
- Sigmoid：二焦点曲线函数
- RelU：整流线性单位函数(Rectified Linear Unit)
- 代价函数(Cost Function)
用来描述链式法则中结果值的预测值与真实值的误差。
- 正向传播(Forward Propagation)
从输入层到输出层，依据神经元模型的计算规计算与储存，最後将结果输出。
- 反向传播(Backward Propagation)
根据链式法则中结果值的预测值与真实值的误差，从输出层到输入层的反向顺序，进行相对於代价函数梯度下降运算和参数树更新。
- 叠代运算
神经网路模型的运算过程包括正向传播和反向传播。