部署模型有两个主要的挑战，事实上这两个挑战隐含了机器学习产品生命周期里的 "部署 (Deploy in production)" 与 "维护 (Monitor & Maintain system)" 两个面向：

• 软件引擎的挑战：
  把系统建立起来需要考虑许多面向，以下问题可以帮助我们厘清工作方向：
  1. Real-time or Batch：预测是否需要即时回传？
  2. Cloud vs. Edge/Browser：部署的装置为何？
  3. Compute resources (CPU/GPU/memory)：可用的运算资源为何？
  4. Latency, throughput (QPS)：回传速度要多快？每秒需要做多少次预测？
  5. Logging：尽可能纪录资料，方便做分析或重新训练。
  6. Security and privacy：资料是否涉及隐私？
• 机器学习 (统计上) 的挑战：
  资料通常会随时间改变，有时候是缓慢变化 (Gradual change)，例如语言习惯，有时候则是急骤改变 (Sudden shock)，例如武汉肺炎带来的消费习惯改变让很多信用卡盗刷预警系统失效。
  一般来说，成功的机器学习系统必须能侦测与处理以下的资料变化：
  • 资料漂移 (Data drift) 指的是从训练到服务之间的资料改变，也就是特徵的统计性质改变 (资料分布 X 改变)，像是现在的房子越盖越小。
  • 概念漂移 (Concept drift) 指的则是世界改变使得 Ground Truth 改变，也就是标签的统计性质改变 (映射 X → Y 改变)，像是炒房使得同样大小的房子价格改变。

克服了这两个面向才能确保产品的成功，而部署时还需要考虑部署的模式为何，这部分就等明天再谈啦~

参考资料

• Machine Learning in Production: Why You Should Care About Data and Concept Drift