Day 9 - 目前(传统)的机器学习三步骤(4)-训练之测试

交叉验证 Cross-Validation (wiki)

交叉验证，有时亦称循环估计，是一种统计学上将数据样本切割成较小子集的实用方法。於是可以先在一个子集上做分析，而其它子集则用来做後续对此分析的确认及验证。一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证的目的，是用未用来给模型作训练的新数据，测试模型的性能，以便减少诸如过拟合和选择偏差等问题，并给出模型如何在一个独立的数据集上通用化

1.Cross-validation avoids overlapping test sets

• First step: split data into k subsets of equal size
• Second step: use each subset in turn for testing, the remainder for training

2.Called k-fold cross-validation
3.Often the subsets are stratifified before the cross- validation is performed
4.The error estimates are averaged to yield an overall error estimate

下例说明 3 子集验证 (k=3)

小心Overfitting (过适)

1.(wiki)在统计学中，过适（英语：overfitting，或称拟合过度）是指过於紧密或精确地匹配特定资料集，以致於无法良好地调适其他资料或预测未来的观察结果的现象。
2.(wiki)在统计学习和机器学习中，为了避免或减轻过适现象，须要使用额外的技巧（如模型选择、交叉验证、提前停止、正则化、剪枝、贝叶斯资讯量准则、赤池资讯量准则或dropout）。
3.以下绿线及蓝线是overfitting

注:本文是搜寻数个网站及各种不同来源之结果,着重在学习,有些内容已难办别出处,我会尽可能列入出处,若有疏忽或出处不可考,请联络我, 我会列入, 尚请见谅。