从第一天到今天, 主轴是从training、tracking到serving. 在第一个范例(fastai, MNIST)中我们使用JupyterHub做training, 使用MLflow做trackning, 而使用Django做Serving, 架构图说明如下:
在第二个范例中, 我们将serving的环境由Django改为Seldon core, 架构图修改如下. 使用Seldon core的好处是安装容易, 因为我们已经有一座K8s, 以helm安装sledon core是一件容易的事, 而且可以整合istio所提供的ingress controller功能(NodePort), 让我们可以在K8s cluster外部存取到模型的endpoint以取得推论结果.
但比较麻烦的事情是我们还要准备pvc让Seldon能够读取model档, 而且放置model档的过程有点麻烦(做法是自已建立一个POD, 再由这个POD mount pvc的空间, 再将model档复制到pvc空间).
最後, 再把MinIO加进来(取代pvc的方式), 架构图如下所示. 加入MinIO之後, 我们可以使用指令将model档存放到MinIO的储存空间, 然後seldon core可以使用s3://
protocol的方式读取model档, 这样可以简化部署model的过程.
到这里讲完第二个范例内容, 下一篇开始说明第三个范例.
<<: Spring Framework X Kotlin Day 27 Kubernetes
>>: Day 17 - Error Handling 错误处理
Hello 大家, 再两天就要放假喏! 迫不期待想要当马铃薯。 接着说媒体後续的动作, 下一个分类是...
主要呈现实作成果 以下内容有参考教学影片,底下有附网址。 (内容包括我的不专业解说分析及在实作过程中...
前言 常常在要使用ORM model或seesion资料之前要确认他们是否为空(Null)。例如se...
Onboarding process 第一周有哪些重点 每个月定期追踪 第三个月是最危险的 ...
1351. Count Negative Numbers in a Sorted Matrix Gi...