Day4：梯度下降法(Gradient descent)

　　梯度下降法经常被使用为优化学习的一种方式，寻找局部最佳解（至於为何是局部，之後会提到），想像有个半圆形的碗，在任何位置放入一颗球，那颗球就会在碗内滚动，每次滚动的高度都会越来越小，直到停在碗底。梯度下降法正是运用这样的方式来计算，求出最佳解。

　　在原有的函式（也就是黑色曲线），随机找到一个点，用微分的方式找到与这曲线的切线，目标是要把这切线变成水平线（也就是切线为零），因此发现这切线不为零的时候，接着调整切线的参数，计算曲线与切线相交的点，再慢慢调整直到找到最佳解。
　　但要注意切线的调整大小，如果调整幅度太大，可能会无法找到最佳解，一直卡在同一个地方，如下图直接把切线调整为零，则永远无法抵达最佳解。

　至於为何只能找到局部最佳解，因为不可能刚好就只有一个凹下去的最佳解，如下图，如果先找到了其中一个局部最佳解，就无法发现有更好的最佳解了，除非用其他资料测试的时候，有发现到原先的解并没有那麽好，才有可能再做调整，因此为什麽机器学习要一直不断的训练，会比一次次更好，有一部份原因正是找到更好的局部最佳解。

　另外，梯度下降法，如果刚好在坡度较为平缓，但并非最佳解的地方，也会使机器学习上颇有困难，如下图。

　虽然梯度下降法仍然有些缺点，但只要透过不断地训练就避免陷入莫名的状况，使得机器越来越好。