AI平台初学者工作坊: 从training、tracking到serving

主题说明

本次参加铁人赛的主题是AI平台初学者工作坊: 从training、tracking到serving, 想要使用AI工具说明如何安装AI平台、执行训练、tracking训练参数,最後可以将训练好的model部署到指定的环境让end user可以存取endpoint之後取得推论的结果.

下图是这次主题的示意图:

平台需求

对於Training、training与serving的需求, 分别说明如下:

• Training
  • 需要有一个工具可以执行jupyter notebook
  • 这个jupyter notebook可以是jupyterlab或jupyterHub
  • 需要支援python3环境
  • 需要能自行安装自己所需的package, 例如pytorch、tensorflow与fastai
  • 需要能下载训练完成之後的模型档
• Tracking
  • 可以记录每次执行training时的参数
  • 可以记录每次执行training时的metric
  • 可以列表比较不同training後的结果
• Serving
  • 可以将训练好的model完成部署并提供endpoint
  • 外部使用者可存取endpoint并取得推论结果
  • model serving工具可以自建或使用现成的工具

范例简介

本次的铁人赛预计会以四个范例进行说明, 这四个范例简述如下:

• 范例一:训练图像资料(MNIST)并且部署到自行开发的Web Server
• 范例二:训练文字资料(心血管疾病资料)并且使用seldon整合PVC与MinIO部署model
• 范例三:使用AutoML工具自动产生最佳(较佳)的model
• 范例四:使用现有工具(使用Nilvana)操作影像标注功能, 并且将训练好的model进行部署

最後, 本次的说明以平台工具串接为主, 因此重点不在演算法的撰写、最佳化或调教, 故上述四个范例所使用的jupyter notebook会以现有且公开的文件进行说明, 而且不会强调model的精确度.