人脸辨识-day25 Overfitting、Underfitting

在处理完资料集後，将资料放入模型训练时，会将资料集分为训练集、验证集和测试集，训练集是模型会对训练集中的每个范例进行预测，并将预测结果与目标进行比较，根据比较的结果，学习演算法会更新模型的参数；验证集提供了对在训练集上调适得到模型的无偏评估，验证集可用於正则化中的提前停止，在验证集误差上升时停止训练；测试集可被用来提供对最终模型的无偏评估，必须使用与训练集不一样的资料。

在训练时有可能会出现以下状况：
1.Overfitting(过度学习)
过度学习训练资料，变得无法预测或分辨不是训练资料的其他资料，只是将训练资料死背起来，但只要资料一有变动，预测的错误率提高，将不必要的特徵也记住，只要一出现此特徵就会误认为是某一类别。
解决方式：使用验证集来测试，在模型预测未知的资料时，也是要拥有能正确判断的能力，在每个epoch後准确率要持续的上升。

有可能发生的原因
1.训练资料太少
2.训练时使用太多参数或特徵来训练
可减少模型层数或参数个数
使用Regularization(正规化)的方式将可能有发生异常点处理的问题给处理
3.Weight decay(权重衰减)

2.Underfitting(拟合不足)
在训练误差总是无法降低，预测的准确率很低，这种现象就称为Underfitting，就必需多训练几次模型，因为模型还没学习完资料集，就训练结束。