Day 24 : 负责任的 AI - Responsible AI (RAI)

当您用心呵护的机械学习终於实现，期待能满足与提升使用者福祉，您应该有足够的信心与能力对产品负责， AI 产品亦然。
延续系列文对您的机械学习产品生命周期的思考，在资料验证的任务可用 TFDV 视觉化、自动化检视资料的状况 (Day 14) ，在模型训练完成可透过模型分析 TFMA 剖析模型在不同主题切片之下的预测成果 ( Day 23)，现在与您分享驱动资料验证与模型分析的核心思考 - 负责任的 AI (Responsible AI)。

什麽是 Responsible AI？

人工智慧与您的机械学习系统是用以解决现实生活问题的，谈论更有效的建构可以造福所有人的 AI 系统，即是 Responsible AI 的精神。
Responsible AI (RAI) 是现今对机械学习服务的深刻思考，认为各种组织在发展机械学习服务时，应重视服务对象的个体性与特殊性。鉴於资料集的偏斜可能导致预测结果偏颇，诸如升迁预测系统的资料集侧重单一性别以致升迁选拔带有性别定见，人脸生成系统未考虑种族多样性以致偏向当一种族，您原本视为依据数据理所当然的产出也应考虑以人为本的公平性。再者，随着隐私权的议题越见重视，欧盟一般资料保护法规 General Data Protection Regulation (GDPR) 揭示用户有权请求被收集的资料，且有权在特定情况下删除其资料。身为 AI 服务提供者，您如何在训练情境中抽离个资议题去识别化，以及能在各个版本控制中删除特定使用者的数据。面对 AI 服务攻击的恶意，监测与回溯版本控制，解释与理解模型现况，诸多议题汇聚为 Responsible AI 讨论范畴，也成为实践 AI 服务的显学与课题，比起实践的技术，衷於所有人福祉的服务更加重要。
负责任的 AI 关注焦点引述 Google Responsible AI 说明，包含：
- AI 最佳实践 Recommended best practices for AI
  - 设计 AI 系统时应遵循软件开发最佳做法，并且采用「以人为本」的方法运用机器学习技术。
- 公平性 Fairness
  - 随着 AI 对於各领域和社会的影响逐渐增加，建立「公平」且「可包容所有人」的系统至关重要。
- 可解释性 Interpretability
  - 我们必须「了解及信任」 AI 系统，才能确保系统能够如预期般运作。
- 隐私权 Privacy
  - 利用机密资料训练模型时，需要「妥善保护隐私权」。
- 安全性 Security
  - 「辨识潜在威胁」有助於维持 AI 系统安全。
上述的「以人为本」、「公平」、「包容」、「了解及信任」、「妥善保护隐私权」、「辨识潜在威胁」串起您的机械学习系统实践负责任的 AI 方针。

御三家的 Responsible AI 发展

Google
- Google 在 2018 年推出了 AI 原则，之後，TensorFlow 等团队依该原则发展产品，也推出 Responsible AI (RAI) 做法的工具和技巧，成为相当庞大的知识体系。
Azure
- Azure 提出 Responsible ML，并且在文章中介绍诸多工具。
  - 在解读和说明模型行为提出 InterpretML ，是由 Microsoft 所建置的开放原始码解释工具。
  - 减少不公平的工具为 FairLearn ，也是开放原始码套件。
  - 实作差异隐私系统十分困难，开放原始码专案 SmartNoise 可以协助完成任务。
AWS
- 在 AWS Marketplace 有诸多第三方 Responsible AI 服务，诸如Dataiku 有相关功能，Amazon SageMaker Clarify也包含相对应功能，帮助您更能掌握模型。

机器学习工作流程中的 Responsible AI

负责任的 AI 以机械学习服务生命周期各阶段任务须注意事项，本篇延续Google 说明:
1. 界定问题 Define problem
- 我的机器学习系统是为谁而设计？
  
  使用者实际体验系统的方式，对於评估机器学习系统预测、建议及决策的真实作用十分重要。请务必在开发过程中，尽早取得各类型使用者提出的意见。
- 相关工具
  - People + AI (PAIR) Guidebook 是相当有参考价值的提供服务指引。
  - PAIR Explorables 可以直接探索 PAIR 主题。
2. 建购及准备资料 Construct & prepare data
- 我使用的资料集是否具有充分代表性？
  
  你的资料取样方式是否可代表使用者 (例如：将用於所有年龄层，但你只有银发族的训练资料) ，以及是否符合现实环境情况 (例如：将使用一整年，但你只有夏季的训练资料)？
- 我的资料中存在现实环境偏误/人类认知偏误吗？
  
  资料中的潜在偏误可能会形成复杂的回馈循环，加深既有的刻板印象。
- 相关工具
  - Know Your Data
  - TensorFlow Data Validation (TFDV)
  - Data Card 可以将资料集以 HTML 图卡呈现。
3. 建购及训练资料 Build & train model
- 我应该使用什麽方法训练模型？
  
  使用可在模型中建构公平性、可解释性、隐私和安全性的训练方法。
- 相关工具
4. 评估模型 Evaluate model
- 我的模型成效如何？
  
  针对现实环境里的各类使用者、用途和使用情境，评估使用者体验。
- 相关工具
  - Fairness Indicators 公平指引将独立一篇介绍。
  - TensorFlow Model Analysis (TFMA)
  - What-If Tool 以假设性的问题视觉化探索主题。
  - Language Interpretability Tool
  - Explainable AI
  - TensorFlow Privacy
  - TensorBoard
5. 部署及监控 Deploy & monitor
- 是否存在复杂的回馈循环？
  
  即使整体系统设计经过悉心规划，以机器学习为基础的模型在套用到真实的动态资料时，很少能够完美运作。当实际使用的产品发生问题时，请思考该问题是否与任何弱势族群议题相呼应，并考量短期和长期解决方案对於该问题的影响。
- 相关工具

PAIR : People + AI Research

People + AI (PAIR) 是一组使用 AI 进行设计的方法、最佳实践和示例，建议阅读，里面包含您的模型服务如何设计的指引。譬如资料的呈现、按钮的文案，增加使用者信任感的设计、如何有礼貌地拒绝与导引等，可以让您的商业服务更顺遂。
譬如对解释性-信任的解释，提出 AI 服务取得用户信任的主要因素:
- 能力是产品完成工作的能力，力求提供易於识别的有意义的价值的产品。
- 可靠表明您的产品如何始终如一地发挥其能力。根据用户设定的期望，它是否符合品品质标准？仅当您能够满足您已设置并向用户透明地描述的栏时才启动。
- 仁慈是相信受信任方希望为用户做好事的信念。用户从他们与你的产品的关系中得到了什麽，你又从中得到了什麽？对此要诚实和坦率。
- 上图为 PAIR 实际举例，可以改进您 AI 服务体验，也有不少可以上您 AI 服务到位的建言。

小结

一整理下来就头昏了，您可以感受到近期随着对 ML/DL 模型解释力、公平性的需求，各家平台以及开源工具着墨甚多，也是近期人工智慧领域发展的核心，用系统性的从定义、资料、模型到布署的负起建构 AI 服务应有的责任与使命，让所有人都能有所裨益。
其中不乏酷酷的东西，後续将会介绍 AI 解释力与演示公平性的调整实作。