常见部署情况

根据需求不同，有不一样的部署模式，常见的情况如下：

• 提供新的产品/功能：常用的设计模式为先从少量的预测开始验证，再慢慢增加流量 (trafic)。
• 自动化/协助人工作业：因为有人力参与，所以提供了更多部署选项，例如影子模式 (Shadow mode)。
• 取代原本的机器学习系统。

有两个主要概念贯穿各种部署模式：逐步增加流量 (搭配监控)、回溯 (Rollback)

部署模式 (Deployment Pattern)

常见的部署模式如下：

• 影子模式 (Shadow mode)：
  人力与机器学习系统同时作业，但机器学习系统的输出在此阶段不作为决策依据。
  主要目的为收集更多可提昇模型表现的资料，与比对预测是否准确。
  影子模式适合用在已有准确系统 (人工或 ML) 的情况，它能帮助我们有效率地验证新系统是否足以作为决策依据。

• 金丝雀模式 (Canary deployment)：
  最初使用极少部份的流量 (例如 5% 或更少) 启动系统进行决策，再慢慢增加流量并监测其表现。
  就跟采矿时的金丝雀一样，此模式能提早预警可能出现的错误，让我们可以滚动式提昇对决策的信心，将预测出错的影响降至最低。

• 蓝绿模式 (Blue green deployment)：
  让 Router 将原本送至旧系统 (蓝) 的流量一次性的全部导引到新系统 (绿)，此模式的优点在於回溯很方便，如果觉得把流量一次全部转向很可怕也可以先从部份流量开始。
  

执行各种部署模式皆需要很多软件工程的配合，而MLOps 工具可以帮助我们实作这些模式。
要注意部署并不是 0 或 1 的概念，而是根据需求选择适当的自动化程度进行部署即可：

其中 AI assistance (帮助人类决策，例如标出可能有缺陷的区域) 与 Partial automation (不确定时就转交给人类决策) 属於人为监督 (Human in the loop)。

前面提到了第一次部署并不是终点，明天就来聊聊剩下的部分吧。

参考资料

• Introduction to Machine Learning in Production
• Ryan Dawson - Navigating ML Deployment