Day 08 : ML 工程师职责与分工

资料团队组建

当各行业意识数据带来业务成长新动能时，追求卓越的企业意识到要充分运用企业数据，必须组建专门数据团队，期待专业团队具有提炼数据价值的慧眼，也期待落实至实际产品服务。
依据 LinkedIn 2020 年针对美国新兴工作报告，伴随着数位转型、AI 应用、IOT 物联网及云端的需求，与 AI 及 Data 相关的「 AI 专家」、「资料科学家」和「资料工程师」，以及具有现代布署产品在云端运行相关的「站点可靠工程师 Site Reliability Engineer(SRE)」、「云端工程师」、「後端工程师」职务，都在的关键前 15 名中。
另外值得一提的是，近年因 DevOps 与 SRE 工程文化兴起，企业意识到 DevOps 无限循环的好处，让原本开发、维运各为不同团队明确分工的事情，能彼此溶入循环降低沟通成本， MLOps 需要结合资料工程、资料科学、 SRE /云端/後端/(前端)工程。

被喻为21世纪最性感的工作，基於企业对於数据的重视需求持续增长，技术领域可能包含但不限於 Machine Learning, Data Science, Python, R, Apache Spark ，主要工作为利用资料科学技术洞察数据、执行需求访谈、资料收集、资料清理、模型建置、资料视觉化等任务，并且从事机器学习/深度学习/文字探勘演算法开发应用，具有数据资料解析、数据洞察能力及良好逻辑分析与程序开发能力可胜任。

数据已迅速成为每个公司最宝贵的资源，需要精明可以构建基础设施以保持其井井有条的工程师，企业聘用需求自持续增长。
主要工作：关注如何实践资料基础设施与工作流程，包含资料 ETL、并依数据基础工程需求建构 Apache Kafka、Apache Flink、Hadoop、Apache Spark 等工作流程管道，可以想像是大数据有关工程的部分，并且因为公有云平台的发展， AWS 成为加分或必备技能。

新兴的职务需求，工作重视如何从头开始设计和构建新的数据管道，一直到将它们部署到生产环境，并且能配合错误分析及异常侦测，维持已布署服务的可用及再现性，观察目前机械学习工程师职缺有与 AI 工程师混用的情形，但以专业分工来看，偏重布署及布署後的维运工作，而且是主责在 ML 模型，具有 MLOps 经验尤佳，诸如有 Airflow, Bigquery, Feats, MLFlow, Kubeflow 相关经验，也牵涉自动化 CI/CD 与 CT 的任务。
微软在 Azure 说明什麽是机器学习说明「机器学习工程师的工作是什麽？」如下:
- 机器学习工程师会将来自各种资料管线收集的未经处理资料，转译成可以视需要套用及调整的资料科学模型。
- 机器学习工程师会将该结构化资料连线到与他们共事之资料科学家所定义的模型。
- 此外，机器学习工程师也会开发演算法，并建置可让机器、电脑及机器人处理传入资料并识别模式的程序。

观察不同企业数据团队的期待与任务不一，随着 ML in Production 越来越成熟，会更重视布署与营运的状态，相关人才需求越来越强烈。
目前也观察到学校培育人工智慧领域人才成长趋势，资料科学虽誉为最性感的职业，也是学子在这波AI浪潮下期待的工作，有僧多粥少的情形，但企业也意识到有资料基础建设、ETL、SRE 等工程实务需求，可以透过专业分工及软件开发管理方式合作。
在组建资料分析的最小战斗单位而言， Python for DevOps 一书指出一位资料科学家大约需要3至5位资料工程师及 ML 工程师，故有意踏入数据领域的求职者，加强版本控制、容器化管理、云端平台应用经验，并具备 ML 工程实务所需之资料蒐集、资料清理、特徵工程、模型训练、验证、除错优化及布署营运经验尤佳， MLOps 是很好的加分项目，学校较难培育 ML 工程师人才，需求却更大也更适合资讯工程人才发挥，随着机械学习设计模式成形，期待在需求缺口增加的情况下，业界也能不吝给愿意投入 MLOps 任务者工作机会。
另鉴於学校在近期主打人工智慧产业应用的科系增加，也希望学校跟在学学子意识到所谓的数据分析与应用，不仅是演算法、各种模型调参的问题，也能接触 CI/CD 能力学习环境，对未来职涯发展有正面助益。

MLOps 随着企业关注用於生产的机械学习趋势，ML工程师需求将越来越大，透过引述 Linkin 的观察说明持续增长的趋势，也希望更多角色能实现 AI 落地的目标。
另外微软在 Azure 说明什麽是机器学习一文说明机器学习工程师的工作，可以看出是以ML整体系统为出发到布署营运的工程端对端工作，可见 ML 工程师工作将日益重要。