大家好，在开始之前先祝大家中秋节快乐~~

监控 (Monitor)

最常见的监控方法为仪表板 (Dashboard)，依照专案可选择适当的监控指标，而监控指标的决定则仰赖团队集思广益，想想哪些部份会出错，并找出可以侦测到这些错误的统计值或指标，常见的指标如下：

• Software metrics：用来监控软件面的健康度，确保产品顺利运行。
  例如：
  • 记忆体
  • 运算量
  • Latency
  • Throughput
  • 服务器负载
• Input/Output metrics：监控统计面的健康度，确保演算法表现良好，其中前者监控 X 的分布是否改变 (Data drift)、後者监控演算法的输出 Y 是否改变或使用者取得输出後的行为是否改变 (Concept drift)。
  例如：
  • Input
    • 平均输入长度 (NLP)
    • 平均输入音量 (语音辨识)
    • 缺失值数量
    • 平均图片亮度 (影像处理)
  • Output
    • 回传 "" 的数量 (NLP)
    • 使用者重新搜寻的次数 (搜寻网站)
    • 使用者改为手动输入的次数 (语音辨识)
    • CTR (推荐系统)

部署也是迭代的过程，因此一开始可以使用多种指标，随时间慢慢挑出真的有帮助的就好。

维护 (Maintain)

藉由监控我们可以知道该如何维护系统，例如模型表现下降就得回到 Modeling 甚至 Data 阶段来重新训练或更新模型。

回到 Modeling 阶段时可以选择人工或自动化重新训练，目前大部分应用都是采用人工，但某些应用 (如消费金融网路) 则更常采用自动重新训练。

终於把理论的部分完成了，明天就让我们开始实作简单的模型部署，看看是甚麽感觉吧!

参考资料

• Monitoring ML Models
• Paleyes, A., Urma, R.-G., & Lawrence, N. D. (2020). Challenges in deploying machine learning: A survey of case studies.