IDS 的检测阈值(The detection threshold of IDS)

混淆矩阵中的敏感性是评估 IDS 性能的常用方法。
. 一旦 IDS 发送警报，就应该对其进行调查和验证，并且工作量会增加。减少误报的数量减少了调查工作量。
. 然而，减少误报警报可能会增加误报案例，导致更多的零日漏洞利用，利用组织获利害关西人未知的漏洞进行攻击。
. “一般来说，提高入侵检测系统的灵敏度会导致更高的误报率，而降低灵敏度会降低误报率。” ( Chapple ) 降低这里的“敏感度”可能是指配置 IDS 以降低检测的积极性和响应性并发送更少的警报。然而，IDS 系统的敏感度究竟是多少？二元分类中灵敏度的操作定义是TP/(TP+FN)。降低灵敏度意味着 FN（假阴性）增加。
. 选项 D 在二元分类器中有意义，如下图所示。IDS的检测阈值是影响灵敏度的实现参数，实现方式各不相同。基於异常的 IDS 可以采用二元或多标签分类器/算法来对事件进行分类，例如 {Attack, Non-attack} 或 { Normal, Suspicious, Attack }。由於存在各种类型的基於异常的 IDS，因此在每种算法中可能会或可能不会使用阈值。此外，在不同算法中提高阈值可能会以不同方式影响灵敏度。

-二元分类模型的分数分布（来源：亚马逊）

S-IDS 和 A-IDS
入侵检测系统按检测方法可分为基於签名（S-IDS）和基於异常（A-IDS）。S-IDS擅长检测已知攻击，而 A-IDS 擅长未知攻击。异常，又名异常值、新奇、噪音、偏差和异常，是指“偏离标准、正常或预期的东西”。（谷歌）
下图很好地总结了异常检测方法。但是，请注意它有一个错字（签名IDS应该是“S-IDS”），大多数CISSP学习指南将基於知识的IDS（K-IDS）视为与签名IDS（S-IDS）相同。

-Laszka、Aron & Abbas、Waseem & Sastry、S & Vorobeychik、Yevgeniy & Koutsoukos、Xenofon。(2016)。入侵检测系统的最佳阈值。10.1145/2898375.2898399。

分类(Classification)
如果事件或流量是使用二元分类器的攻击，则 IDS 可以使用模型（分类器）来确定事件或流量，或者使用多标签分类器对其进行分类，例如正常、可疑或攻击。在分类过程中可以使用作为模型参数的阈值。
将预测概率或评分转换为类别标签的决策由称为“决策阈值”、“判别阈值”或简称为“阈值”的参数控制。对於在 0 或 1 之间的范围内的标准化预测概率或分数，阈值的默认值为 0.5。（Brownlee）

ROC曲线(ROC Curve)
ROC 曲线（接收器操作特性曲线）是显示分类模型在所有分类阈值下的性能的图表。该曲线绘制了两个参数：真阳性率和假阳性率。（谷歌）

-资料来源：谷歌

混淆矩阵(Confusion Matrix)
混淆矩阵是一种评估 IDS 使用的模型性能的工具。它包含有关使用二元或多标签分类器进行的实际和预测分类的信息，例如 {Attack, Non-attack} 或 { Normal, Suspicious, Attack }。

-混淆矩阵（图片来源：数据科学和机器学习）

-混淆矩阵和决策树（图片来源：Judy Shamoun-Baranes）

参考
. 准确率和召回率
. 敏感性和特异性
. 精确召回
. 入侵检测系统的最佳阈值
. 入侵检测系统 – IDS 性能调优 (YouTube)
. 网络入侵检测系统：机器学习和深度学习方法的系统研究
. 大数据环境下使用机器学习算法的入侵检测模型
. 机器学习中的分类算法：它们是如何工作的
. 7种分类算法
. 统计异常检测
. 异常检测
. 灵敏度、特异性、准确性、相关置信区间和 ROC 分析与实用 SAS® 实施
. 评估和调整入侵检测系统
. 什麽是入侵检测系统？最新类型和工具
. 不平衡分类的评估指标之旅
. 不平衡分类的阈值移动简介
. 多标签分类的阈值选择研究
. 分类：阈值（谷歌）
. 多标签分类
. 多类分类（亚马逊）
. 二元分类（亚马逊）
. 在 scikit-learn 中微调分类器
. 机器学习：神经网络

资料来源： Wentz Wu QOTD-20210406
My Blog: https://choson.lifenet.com.tw/