学习MLOps前暖身操:why, what, who?

接下来的30天,我们会一起看MLOps的更多层面。从为什麽产业开始谈MLOps开始,以及其包含的技术与非技术面。今天我想谈的是关於学习mlops前必备的3个背景知识,让大家有一个暖身。

1.为什麽谈MLOps?

根据Gartner在2020年的报告指出[1]:“到2024年底,75% 的企业将会转型至维运AI,这将会增加带来5倍以上的串流资料与资料分析的基础架构建设。” (75% of enterprises will shift to operationalizing AI by the end of 2024, driving a 5X increase in streaming data and analytics infrastructures.)

这样的数字能够跟几个现况相互呼应(1)大量的机器学习模型正从实验阶段往产品化阶段迈进(2)随着电脑硬体与演算法的演进,许多相对复杂的问题,也开始能逐渐能够被强化学习、分布式学习等方式逐渐处理(3)随着高速网路基础架构(5G)的提升与边缘设备的开发逐渐完善,机器学习的应用也扩展到更多不同的场景。

这三个现况,也反映出机器学习的专案正在往(1)在产品开发以及交付上更完善(2)挑战的问题难度提高(3)应用的情境更广,这些方向迈进。机器学习从过去研究、了解问题阶段,在未来这几年会更快速的走到产品阶段,更广泛的被大众化使用。

当一项研究走到产品阶段,更广泛的被大众化使用,企业开始把机器学习产品纳入决策的一环,同时开发者也开始往这个方向学习、因应市场的潮流,

2. 什麽是MLOps?

简言之,就是Machine Learning + Devlope Operation,机器学习与系统维运放在一起。

如同上一段所提到,大量的机器学习模型正从实验阶段往产品化阶段迈进。那这样代表的是什麽意思?

机器学习模型在建构的过程当中,参杂了许多实验性的步骤,为了要验证脑中所想的跟目前有的研究结果相互佐证,你可能会需要(1)资料(2)演算法(3)计算资源。也因为是实验,所以在资料上的收集可能并不是十分严谨,也许只是网路上找几个样本资料。演算法也可能不是自己设计的,而是拿别人的框架、甚至预先训练好的模型去使用。在计算的资源上,可能也不在乎是不是只能够跑在自己的电脑上。在一些预先假设的条件下,你的想法与实验出来的结果相符合,於是老板很开心的说:“我们来把它产品化吧!”

“可是...。”这时候你的脑中跑过非常多为了实验而暂且设定、暂且将就的细节。甚至在你的模型开发过程,完全没有想到未来要把机器学习模型变成一个产品,然後这个产品必须要能够符合这个市场上的安全性跟合规性要求、以及支撑很多人在使用你的模型服务的状况。

这时候机器学习模型产品化的过程就包含(1)将程序, 模型, 资料能够重现过去、现在、未来不同版本的实验结果。且在资料、程序的使用上要符合开源授权规范。(2)需要与精通部署、系统监测、开发以及产品环境维护、资源和数据管理、安全等方面的开发人员一起合作。

第二部分也就是大家在谈的devops。

3. 谁需要谈MLOps?

近年来不管是数位转型、AI/ML转型,每间公司都必须学习关於如何将公司的资产与资料放上电脑,以及从当中透过ML找到公司企业决策能依循的pattern。因此,不管是开发人员、专案管理者、企业管理者,都必须至少了解什麽是ML专案,怎麽维运ML专案,可以从专案中取得何者metrics,以及如何评断该专案的价值何在,未来可以如何优化。

当ML专案的模型透明度提高了,也协助决策负责人在使用AI决策时,有更好的防止错误决策机制。整体来说,AI/ML的专案会带来更高程度的自动化、会带来更好的人机协作和信任,从而在整个组织中更好地采用和调整决策。

结语

未来30天,让我们一起学习怎麽把ML专案的为运作得更完整。让企业在做决策、开始落地的时候,各部门可以有更好的沟通与协作方式。

Reference
[1] Gartner Top 10 Trends in Data and Analytics for 2020
https://www.gartner.com/smarterwithgartner/gartner-top-10-trends-in-data-and-analytics-for-2020/


<<:  Day 1:前言

>>:  Day 1 Introduction

Vue CLI建置 & GitHub上传

昨天我们安装好Vue cli今天要来新增一个专案啦~在官网中它介绍了两种方法,那这里会用第二种方法实...

【JavaScript】==和===

【前言】 本系列为个人前端学习之路的学习笔记,在过往的学习过程中累积了很多笔记,如今想藉着IT邦帮忙...

[JS] You Don't Know JavaScript [Scope & Closures] - Limiting Scope Exposure ?

前言 目前为止我们都着重在解释作用域与变量的工作机制,有了这些基础後将进到下一步,首先我们要先探讨不...

DAY18-JAVA的抽象类别(1)

透过继承,我们可以从原有的类别衍生出新的类别,原有的类别称为父类别,而衍生出的类别称为子类别。透过这...

Day 7 python字典

今天我们要介绍的是python的字典,所谓的字典就是指将元素用{}包住并且元素是由一个键(key)配...