MLOps在金融产业：关於ML系统监控的why, what, how

我们常常听到，在一个ML专案当中，会需要做各种的资料监控。这些资料监控包含哪些呢？

• 开发流程
  在开发流程当中，不管是资料、程序码、模型，都会需要透过版本控制监控，了解到当下的更新是什麽。除此之外当然也包含基础的设施管理，也必须在监控的范围之下。

  ML专案是一个相对其他软件专案，需要更频繁维护的专案，原因来自於当ML模型一上线之後，模型的准度与使用者的行为之间的关系是动态的，我们无法预期进来网站的使用者背景会来自什麽样的类型，也无法预期使用者会怎麽样的使用这个网站。也因此我们会需要做模型以及资料的监控。

  在模型上线之後的模型与资料监控，则可以成为下一次ML系统开发的时候资料参考。以便於往下一轮迭代，或甚至是在模型上线之後，发现到效能不如预期，必须回溯到前一个版本等等。也因此跟模型互动之间的资料，才会被重复提起。

• 团队角色
  关於团队中的角色授权，以及哪些角色在系统当中做了什麽事情，这些监控在一般的软件开发以及部署就已经会被实作了。在金融产业当中，则是因为金融行业本身需要的安全性以及合规性，需要缴交各种报告，也因此会需要这些资料。