Day 30 : 综合整理 MLOps Level 0 ~ 2

MLOps 是值得持续投入的新兴学门，如同 Day 01 谈到的此系列目的，谈如何从布署机械学习至商业情境(ML in Production)，并关注布署之後所需注意的资料品质、模型版本控制与剪枝、AI 可解释力、错误分析、自动化 ML 到持续布署，期待用 ML 专案生命周期的角度执行 MLOps 需要的。目标很宏大，篇幅与表达能力有限，笔者很享受这趟整理的路程。
30 天过去了，梳理我们在AI落地谈 MLOps 中有那些进展。

技术介绍随着机械学习生命周期推进，系列主轴希望介绍由 Google 开源的 TensorFlow Extended (TFX) 做为用於生产的机械学习框架，也以ML系统生命周期介绍实践与模型优化方法。

MLOps Level 0 ~ 2

系列文的最後，容许笔者将 MLOps 等级划分作为投入用於生产的机械学习的实践路径。以下的等级划分采用 Google 的定义，采等级 0 至 2 ，微软也有机器学习作业成熟度模型的定义分为等级 0 至 5 ，您可以相互对照参考。

一个全手动，没有 CI/CD 的过程，训练与布署之间可能有时间延迟的偏态 Skew 产生，非自动化持续训练，版本追溯有难度，也缺乏主动监控机制，在最初投入产生可行方案时的过渡时期，但较难因应服务崩溃与中断的状况。

MLOps 等级 1 导入自动化训练流程，可以自动持续交付布署模型，另外也有手动训练模型的机制，训练好的模型交付 IT 或维运团队布署上线。
等级 1 已经足够挑战用於生产的情境，模型需手动测试管道与组件，在不频繁的布署、尚只有少数机械学习服务投入生产情境时还可以因应管理，一但您在生产中管理许多 ML 服务，则需要一个 CI/CD 设置来自动构建、测试和部署 ML 的流程。

为了快速可靠地更新生产中的管道，您需要一个强大的自动化 CI/CD 系统。这个自动化的 CI/CD 系统让资料科学团队快速探索特徵工程、模型架构和超参数的新想法。并且可以实现自动构建、测试并将新的管道组件部署到目标环境。
下图为具有自动触发、 CI/CD/CT 与监控的自动化机械学习工作流程。

今年为了 MLOps 做了许多功课，很大一部分要感谢 GCP 的活动 Google Cloud 开发者技术培训计划 / Google Cloud Study Jam (Taiwan and Hong Kong)，解完12组题组(其实早就超过)拿到衣服、背包，又能实际摸索 GCP 各功能，相当优质。
更要感谢 Coursera 开设的 Machine Learning Engineering for Production (MLOps) 课程，当得知吴恩达新课刚好是期待的 MLOps 主题，立马申请助学金完成这4堂优质技术内容，每门课程约需进行4至5周，总是迫不及待想整理与分享，也因此能有更多有趣实用的主题能整理至铁人赛。
本系列范例多以官网或官网修改而成，原因为对照官方文件学习资源较为充足，即便如此官方范例实在是略显繁杂，特别是以 TFX 介绍为主轴不是件容易的事。适逢 2021年5月19 TFX 正式迈入 1.0 稳定版，深感 TFX 中文资源缺乏，於是有了在 iThome 铁人赛贡献与整理的念头。
最後就是感谢能陪我一起煎熬的走完 30 日内容的您，有限篇幅内讲述庞大知识体系着实不易，兴许会随着 MLOps 主题延伸介绍更新，如果对您有帮助就值得了，由衷感谢。