分类模型哪个好？confusion matrix/sensitivity/ specificity

今天来整理一下以前的笔记，聊聊比较分类模型的评判依据：confusion matrix.

下图是常见的confusion matrix的图：

用个例子来解释上图：
假设我们今天根据血压身高体重等资料预测一群人是否有心脏病
TP(true positive)：实际有心脏病且模型预测正确（有）
TN(true negative)：实际没有心脏病且模型预测正确（没有）
FP(false positive)：实际没有心脏病但模型预测说有，又称 type1 error
FN(false negative)：实际有心脏病但模型说没有，又称 type2 error

所谓的true/false表达的是模型预测是否正确，而positive/negative会根据假设对应不同的情况，我们都希望模型预测高，所以会希望TP/FP的数量高，当纯比较数字会有点难以比较不同的模型，所以之後就衍生出了不同的比率，常见的有：

• accuracy: (TP+TN)/(TP + TN + FP + FN)
• sensitivity(recall rate): TP/(TP + FN) 所有positive中模型预测正确比率
• specificity: TN/(FP + TN) 所有negative中模型预测正确比率
• precision: TP/(TP + FP) 模型说positive的数量中有多少真正positive
• F1 score: 2 * (precision * sensitivity) / (precision + sensitivity)

根据不同的情境会使用不同的比率来比较，如果今天识别“有心脏病”的病患是主要目标，那我们就可以选择recall rate当评判标准，反之若识别“没有心脏病”的病患是主要目标的话，就可以使用specificity。