Day 25 : 可解释的 AI - Explain AI (XAI)

• AI 黑箱作业已经被诟病许久，因为 AI 类神经网络的复杂性不似机械学习的树状结构、线性结构容易理解中间判断过程，但随着可解释 AI 技术的出现，理解模型可以协助用於生产的机械学习系统有更佳的解释能力。

• 在 2016 年有研究以 LIME 技术得知，训练出的狼与哈士奇分类器，其实只是判别背景为雪地与否(简报、论文)，李弘毅老师也做了数码宝贝、宝可梦分类研究，经解释原来是*.png 对透明背景处理为黑色，与*.jpg图片的白色背景的差异被 AI 作为判断依据(简报)。

• 在用於生产的机械学习情境，可解释的 AI 用来做为更深刻的讨论用途，XAI 主要希望是

  • 确保演算法公平。
  • 监别出训练资料潜在偏见与问题。
  • 确保演算法与模型符合预期。

• 解释黑箱来监别与修正模型的问题才是 XAI 旨趣，特别是公平与偏见问题，存在性别、种族等偏见问题的 AI 是不允许上线的，已上线的 AI 服务在接收新资料持续训练的过程被带坏了，甚至面对针对 AI 服务的恶意攻击，多用点方法解释黑箱就有必要。

SHAP

• SHAP（SHApley Additive exPlanations）
  可以解释模型特徵之间影响力的模型，主要结合博弈理论与局部解释力，也可以视觉化呈现解释成果。

• 可以解释的工具包含TreeExplainer、DeepExplainer、GradientExplainer、KernelExplainer，对应不同模型的解释器。

• 以下图片红色表示正相关的力道、蓝色表示负相关的力道，各特徵互有拉锯影响力，可以看出何为关键特徵及其影响程度。
  
  
  

• 影像的分类重要性也可以视觉化得知AI主要判断依据，进而解释模型。
  
  - 图片来源: SHAP

• 以下为使用 SHAP 将Fashion MNIST资料集，以 CNN 训练完的各特徵解释对照结果。

  • 

  • 该模型对这 10 个类别分类，对角线红色居多，表示能使其正确预测的主要因素，您可以仔细关注某些分类，譬如第 5 个分类 Coat 与第 3 分类 Pullover、 第 7 分类Shirt 有些形似，红色、蓝色的点都有出现，似乎也有理由让模型判别为 Pullover 或 Shirt 。

小结

• 可解释的 AI 技术本篇引用 SHAP 做说明，仅是诸多解释工具之一， LIME 、 IG 等各有适用情境
• 赋予提供「负责任的 AI 」解释能力，该用途最终回归到提供可靠、可信任、公平的机械学习服务。
  

参考

• Why Should I Trust You? Explaining the Predictions of Any Classifier 简报、论文
• EXPLAINABLE MACHINE LEARNING 简报
• SHAP（SHApley Additive exPlanations）
• LIME