负责任的机器学习专案

机器学习的应用程序，介於使用者面向服务、统计学和计算机科学有所交集的领域。使用者面向服务包含个别用户以及企业用户。当机器学习服务在市场上愈来愈常见的同时，我们也须关注这样的行为改变，所带来的社会影响。商业本身也从各方面在影响人类群体的文化与行为。

当所有的决策都透过机器学习模型取代，模型所反映出来的价值观与影响，就会取代原本透过人类做的决定，原本在人类价值观选择下，会产生的改变跟影响。也因此，每个机器学习产品，都有其影响力和风险存在。对技术的适应，产生的影响可以是好的，也可以是不好的。然而负责任的机器学习专案，则可以透过：人员、流程和技术，这三方面来讨论。

＊图片来源：Responsible Machine Learning

人员

包含审计人员、领域专家、UI/UX专家。

透过人工审计的方式，提高幕後透明度以及对机器学习系统进行更好的安全测试，以增强人类对机器学习的理解和信任。在审计过程，可以检视的细节例如：
(1)机器学习系统清单
(2)提名负责人
(3)对已记录的机器学习系统进行内部执行和技术审查
(4)在部署机器学习系统之前需要技术和执行人员签字
(5)仔细记录、验证和监控所有机器学习系统

而领域专家也在这个过程扮演了重要的角色，不仅确保该产业的资料特性可以被正确的对应到模型之中，在模型解释阶段，也能够透过自身经验提出支持或者发现异常现象。

在一个模型服务上线的时候，该产品的使用介面以及流程设计，也占据了使用者是否能够成功适应新功能的绝大部分原因。举例来说，使用者可能会误解设计不佳的模型解析资讯，从而导致流程失败、客户不满等等。因此透过UI/UX专家的协助，帮助使用者在使用这些新功能的时候，不需改变既有的行为，同时也能与模型推论出来的结果互动。

除了以上三个角色之外，在一个系统能够做到完善之前，也会需要确保客户申诉管道畅通，且根据各个使用案例有继续处理。并且在也要能够设计一些机制，若是根据使用者反映，需要关闭机器学习系统、或人工介入时，也确保系统的执行正确与流畅。

流程

偏见、数据隐私、安全性与合规性、应对方案

在资料输入以及模型训练的过程中去检验是否有偏见存在：
(1)标签或注释的定义。会不会在初期标记资料时就已经有偏见在里面。
(2)不具有代表性的数据。使用的资料能否代表大部分使用者。
(3)与人口群体成员相关的准确数据

检查资料时，需要去观察这些差异是否反映出某种歧视。又资料本身的诠释，是否带有任何的歧视在里面等等。

在用户资料的隐私上，是否确保：
(1)取得用户同意使用
(2)数据收集的法律依据
(3)与隐私政策保持一致
(4)匿名化要求
(5)资料保存要求和限制

在安全性与合规性上，我们前几天已经透过MLOps在金融产业: 4个步骤建立安全ML环境和MLOps在金融产业：看懂金融审计如何导入ML专案(附所需文件清单)讨论金融业的案例。

另外则是针对机器学习的事件应对，不管是机器学习系统，或者是一般系统，都有可能会有故障、意外事件，需要排除以及应对。除了技术上的影响之外，是否也会造成商业上、公司对外的企业形象影响等等，可能也须提前规划与思考。包含系统本身为什麽这样做决策，造成哪些使用者族群的不公平或者伤害，这些影响会需要哪些部门的同事一起来解决这个问题。

技术

负责任的系统，包含可再现性、可解释性、基准模型、模型安全。这些我们都曾经在前几天的文章当中提过。可以再点回去复习一下。

结语

不管是软件专案、机器学习专案，身为开发者以及产品负责人，都应该对於自己所能带来的影响力有所认知。不仅是让自己的工作更有使命感，更重要的事也能够察觉，系统对人类社会可能带来的改变与影响。ML专案本身不仅是，技术上，同时也包含专案相关参与人员、使用者、也包含流程上。这三部分使得一个系统更完善，也更为此负责任。

Reference
[1]. Responsible Machine Learning