使用Vertex汇出的模型 | ML#Day26

模型训练完成後，除了使用Vertex的一键部署，若想要自行部署或在自己电脑上使用该怎麽做呢?

跟大家分享之前误会的经验，以及正确的使用方式。

起因是这样子，由於在汇出模型的介面说明上，写着会是tensorflow的套件，以及资料夹内真的有看到pb档案。

於是一头栽进去研究如何在python使用tensorflow套件，读取汇出的模型做使用。

虽然pb的确是一种tensorflow的模型格式，网路上也很多资料介绍pb的使用方法，考虑tensorflow的版本和python版本的不同，也试过放到三种环境尝试让模型跑起来，但通通失败。

後来经过Google客服的解答，VertexAI汇出的模型限定两种使用方式：

1. 汇入VertexAI做使用。
2. 使用Google提供专门的container作为环境启用。

所以其他方式皆无法使用汇出的模型

(原来是我不知道要看这边的文件说明......)

参考Google的说明文件

实际的操作笔记

我的环境是mac 。

环境限制

首先有个CPU架构的限制声明，保险起见，还是先确认一下。

检查的指令语法如下

sysctl -a | grep machdep.cpu.features

结果

machdep.cpu.features: FPU VME DE PSE TSC MSR PAE MCE CX8 APIC SEP MTRR PGE MCA CMOV PAT PSE36 CLFSH DS ACPI MMX FXSR SSE SSE2 SS HTT TM PBE SSE3 PCLMULQDQ DTES64 MON DSCPL VMX EST TM2 SSSE3 FMA CX16 TPR PDCM SSE4.1 SSE4.2 x2APIC MOVBE POPCNT AES PCID XSAVE OSXSAVE SEGLIM64 TSCTMR AVX1.0 RDRAND F16C

AVX1.0 表示有支援

汇出模型

把模型下载到自己的电脑上，整个东西是一个资料夹，并非单一档案。

内容如下：

按照文件上的指示，资料夹名称我随便改成「s」

下一步指令照着文件说明，我自己的会改成下面这样。

记得terminal要先移到model-7355706401542373376的上一层位置。

docker run -v `pwd`/model-7355706401542373376/tf-saved-model/s:/models/default  \
-p 8080:8080 \
-it asia-docker.pkg.dev/vertex-ai/automl-tabular/prediction-server-v1

然後就跑起来，超级方便，超级无脑。

然後准备好要预测的资料，将参数设一设存成json档案。

我将档案命名为predict.json

然後按照文件，利用rest的方式将参数送到模型。

curl -X POST --data @predict.json [http://localhost:8080/predict](http://localhost:8080/predict)

发送curl request之後，立刻就可以拿到预测的参数。