课堂笔记 - 深度学习 Deep Learning (10)

在上一篇Error Function中，可以看到依照w的不同决定了线的偏差值多寡，
此篇要介绍的是当随便取了一个值w之後该如何对w进行校正。

• Gradient Descent

图中是上一篇的Error Function点图，目标是E(w)要越趋近於0，也就是要求最低点。
所以可以透过微分去看点在线上的斜率来去调整。

η负责调整梯度下降的幅度，避免一次下降/上升太多 也称为learning rate

1. 当 斜率 > 0 时，会知道点在我们所需的最小偏差值的右边，因此校正为：
   

2. 当 斜率 < 0 时，会知道点在我们所需的最小偏差值的左边，因此校正为：
   

由上可知公式：