【Day 6】机器学习基本功（四）

过度拟合(Overfitting)

昨天我们把模型变得更复杂，让训练的Loss变得更低，但当我们把模型变得越来越复杂的时候，就可能会发生模型虽然在训练上面得到比较好的结果，但在测试上面却不一定会得到比较好的结果，甚至是非常差的结果，这种我们就称之为过度拟合(Overfitting)，因此我们需要选择一个最适合的模型。而除了复杂的模型以外，训练资料太少也有可能会造成Overfitting的发生。

正规化(Regularization)

透过重新定义Loss来避免Overfitting的发生，之前的例子我们只考虑了预测与实际的误差，而现在我们可以将原本的Loss function後面再加上一个额外的项目 $\lambda \sum (w_i)^2$ 来做正规化(Regularization)， $\lambda$ 为一个常数，是我们需要调整的。
加入了那个项目使我们最後找到的权重变更小，而当权重变小，其输入对结果的影响就越小，就能够使function变得更平滑(smooth)，也就可以减少权重的影响，来避免Overfitting的情况发生。

从实际的例子来看，我们可以发现当 $\lambda$ 的值越大，在训练资料上得到的误差越大，这是因为当 $\lambda$ 越大，我们就越倾向於考虑权重的值而减少考虑误差。不过在测试资料上面得到的误差可能会是比较小的，从图中可以看到随着 $\lambda$ 的值越大，测试资料的误差越小，但在 $\lambda = 100$ 之後，测试资料的误差又上升了，因此我们就会选择 $\lambda = 100$ 来得到我们的模型。