It's truly the beginning. Scoping is a big hurdle. - Michael Printup

前言

机器学习的用途非常广泛，同一个商业问题能以各种面向的机器学习方案解决，但其中有些解方的价值是其它解方的数倍之多。
但现今依然有许多团队喜欢一头栽进他们最感兴趣的专案，直到最後才发现同样的时间若选择另一个专案或许能产生数倍的价值。
因此在一头栽进去之前，如果能先停下来找找值得投资且可行的专案，能让我们少走许多冤枉路，今天就来谈谈机器学习产品生命周期的第一个阶段吧。

Scoping

在 Scoping 阶段我们通常需要回答以下问题：

• 要执行哪些专案？
• 成功的指标为何？
• 需要哪些资源 (资料、时间、人力)？

而 Scoping 的整体流程如下：

*图片修改自 MLEP — Scoping process

Diligence 来自法律用语 — 尽职调查 Due Diligence (DD)，此处是指再次确认 AI 方案的可行性与价值 (Return on Investment, ROI)。
以下为各个步骤的详细解释：

• 刻意将 Problem (What to achieve?) 与 Solution (How to achieve?) 拆开，这是因为先确立问题能帮助我们找到更好的解决方案，即使发现该问题不能用 AI 解决也没关系。

• 衡量某专案在技术上是否可行的方法之一为参考外部 benchmark (文献、其他公司、竞争者…)，依照情况还有以下方法：
  
  *图片修改自 MLEP — Diligence on feasibility and value

  其中专案的历史进度可以用来预测未来是否还会有突破，以下图为例，藉由估计专案的周期性进展 (每一季下降多少错误率，此例看起来约为 HLP 的 30％)，可以看到未来力 (曲线)：
  
  Error 随着时间稳定下降，所以可以预期未来还会持续进步

• 通常 MLE 的目标与商业目标会有一段差距，前者着重於应用的能力，後者着重於应用带来的利益，以语音辨识为例，两者的目标可形成一道光谱：
  
  *图片来源：MLEP — Diligence on value

  这需要两者互相妥协，找寻双方都能接受的目标。
  越靠近光谱中间，ML 团队越难只用梯度下降或最佳化测试准确度来解决，所以最好是找出 word-level accuracy 与右边各个目标的连结，但不用太执着，只需要简单做个 fermi estimate 即可。

• 最後两步骤就是确定专案的各项细节，例如：

  • ML 指标 (准确度、precision/recall...)
  • 软件指标 (给定运算资源的 latency、thoroughput...)
  • 商业指标 (预期收益...)
  • 所需资源 (资料、专业人士、是否需要其他团队协助...)
  • 时程

如果很难决定上面的细节，可以考虑与其它类似专案比较 (benchmarking) 或先执行 POC (Proof of Concept)。

以上就是今天的内容啦，终於在第 24 天结束了整个机器学习产品生命周期的介绍，明天就要开始来做 final project 啦!

参考资料

• Coursera — Introduction to Machine Learning in Production
• Full stack deep learning — Lecture 5: ML Projects