在Edge上进行部署(Serving)

上一篇我们已完成口罩影像资料的部署, 这个部署是将model serving在workstation上. 所谓的Nilvana workstation有比较强的系统资源, 而且具有GPU可以执行training. 但GPU的价格较为昂贵, 而且在执行推论时也不一定需要使用GPU, 因此Nilvana同时也推出edge架构, 是一台可执行推论的device, Nilvana的架构如下图

接下来我们就来把前面训练好的model部署在edge上.

首先我们models页面点击Download

接着我们开启edge的操作页面(如下图). 在上方功能列点击New Project.

输入project名称为edenmask

在新project之中还没有入任何model, 我们来上传一个, 请击Upload model键

画面会回到上传model的画面, 请点击右边的Upload

把我们刚刚下载的model上传上去, 完成後如下图

这时回到左侧inference功能, 在edenmak专案中就可以看到我们上传的model.

点击已上传的model之後, 因为我们要取得ednpoint後进行二次开发, 所以点击API Endpoint

下图即是建立好的endpoint资讯页面

使用postman取得推论结果

接着我们来试着使用Postman来存取这个endpoint看看

• 在Postman画面中请输入前项步骤所产生的API url
• 在body的地方选择form-data, 在key栏位选择file并且给一个名称为image, 然後将一张照片上传上来
• 送出之後就可回传推论的结果(如下图), 推论的结果是图片中的人有载好口罩, 而且信心程度是 1.0(真的很有信心)
  

到这里, 我们已经使用Nilvana进行labeling、traning与serving. 经由Nilvana平台执行这些动作都变得很容易使用(不需要再自己手动安装与设定所需工具), 是一个值得推荐的产品