范例一:使用MNIST资料进行训练与模型部署

在第一个范例中将会使用MNIST手写办识资料集进行训练与模型部署.

MNIST说明

MNIST database((Modified National Institute of Standards and Technology database)里面有手写数字的图片, 是由美国国家标准暨技术研究院所收集, 可以参考这个网站

会使用MNIST的原因, 一来这个资料集的资料size不会占用过多储存空间(大约需要20多MB), 另一方面目前已有很多MNIST的资料可以看参考, 是初学者执行机器学习应用中常使用的资料集.

下图是MNIST database中的一个图像:数字6

针对MNIST再提供下列资讯:

1. 每张MNIST的大小为28x28 pixel
2. 资料集包含60,000张训练影像档与10,000张测试影像档
3. 下载资料集之後, 解开压缩档会包含二个目录, 分别是train目录与valid目录, 而且在train目录与valid目录下会有0-9共10个目录, 这10个目录就是做为标签(Label)使用, 因为会将所属的数字图像放在所属的目录中, 例如数字6的图像就会放在目录名称为6的目录

在本范例中, 将会在jupyer notebook下载资料集进行使用, 因此不需要事先下载.

范例一的平台工具说明

在本范例所使用的平台工具会使用到JuypterHub, MLflow与Web Server(Django), 如下图所示:

• Trainging
  • 会自行安装JupyterHub, 目的是用来撰写notebook并执行训练
• Tracking
  • 会自行安装MLFlow, 目的是用来记录每次训练的parameter、metric与model
• Serving
  • 会自行安装Web Server(使用Django), 目的是提供endpoint, 让使用者可以存取这个endpoint之後取得推论结果

我们下一篇就来安装JupyterHub

参考资料

http://yann.lecun.com/exdb/mnist/