Day 12 跑 Tensorflow Serving Docker 范例

又到了跑范例环节，这次要试着学习 Tensorflow Serving，
Tensorflow Serving 是 Tensorflow 专门给 Tensorflow 模型的後端 API 服务。

简单的说，指定模型位置给它读，它就会自动帮你跑一个 server，设计好 API 路径可以直接呼叫。
完全不需要亲自写服务器提供服务，~~所以我之前手刻 server 是刻心酸的~~。

想当初我研究所研究的是 Docker 和 kubernates，但现在我接的案子都还用不到这两个技术。
Docker 的操作细节就略过，因为网路上已经有很多教学了，有问题可以在底下发问。

Tensorflow 给的范例如下。

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA="$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata"

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 \
    -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \
    -e MODEL_NAME=half_plus_two \
    tensorflow/serving &

# Query the model using the predict API
curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

不过很可惜，教学脚本只有给 linux 的指令，所以我得把它微调一下，让 windows 可以执行。
用 %cd% 取代 pwd，用 %var% 取代 $var，以及调整 json 的引号格式。

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

# Start TensorFlow Serving container and open the REST API port
git clone https://github.com/tensorflow/serving

# Location of demo models
set TESTDATA="%cd%/serving/tensorflow_serving/servables/tensorflow/testdata"
echo %TESTDATA%

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 -v "%TESTDATA%/saved_model_half_plus_two_cpu:/models/half_plus_two"  -e MODEL_NAME=half_plus_two  tensorflow/serving

# Query the model using the predict API
curl -d "{\"instances\": [1.0, 2.0, 5.0]}"  -X POST http://localhost:8501/v1/models/half_plus_two:predict 

# Returns => { "predictions": [2.5, 3.0, 4.5] }

回传资料和范例的一致