www.你懂的,色婷婷一区在线观看,水蜜桃在线一区二区

原文: https://makeoptim.com/deep-learning/yiai-serving-flask-mask-rcnn

前言
TensorFlow Serving
- 特性
- 使用
  - 快速開始
  - 創(chuàng)建鏡像
圖像分割 Serving Docker 鏡像
- 創(chuàng)建鏡像
- 本地調(diào)試
Flask
- 安裝
- 使用
圖像分割入口服務(wù)
小結(jié)
參考鏈接

前言

上一篇介紹了如何訓(xùn)練并導(dǎo)出圖像分割模型，得到模型之后是要使用的，本文將為大家介紹如何使用 TensorFlow Serving 和 Flask 部署圖像分割模型服務(wù)。

TensorFlow Serving

TensorFlow Serving 是一個靈活、高性能的機(jī)器學(xué)習(xí)模型服務(wù)系統(tǒng)，專為生產(chǎn)環(huán)境而設(shè)計(jì)。它處理機(jī)器學(xué)習(xí)的推理方面，部署訓(xùn)練后的模型并管理其生命周期，通過高性能、引用計(jì)數(shù)查找表為客戶提供版本化訪問。TensorFlow Serving 提供與 TensorFlow 模型開箱即用的集成，也可以輕松擴(kuò)展以服務(wù)其他類型的模型和數(shù)據(jù)。

特性

可以同時為多個模型或同一模型的多個版本提供服務(wù)
公開 gRPC 和 HTTP 推理端點(diǎn)
允許在不更改任何客戶端代碼的情況下部署新模型版本
支持金絲雀新版本和 A/B 測試實(shí)驗(yàn)?zāi)Ｐ?/li>
由于高效、低開銷的實(shí)現(xiàn)，為推理時間增加了最小的延遲
具有調(diào)度程序，可將單個推理請求分組，以便在 GPU 上聯(lián)合執(zhí)行，并具有可配置的延遲控制
支持多種 servables：Tensorflow 模型，embeddings，vocabularies，功能的轉(zhuǎn)換和非基于 Tensorflow 的機(jī)器學(xué)習(xí)模型

使用

推薦大家用 Docker 的方式來使用 TensorFlow Serving。

快速開始

# 拉取 docker 鏡像
$ docker pull tensorflow/serving
# 下載測試模型數(shù)據(jù)
$ git clone --depth=1 https://github.com/tensorflow/serving
$ TESTDATA="$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata"
# 運(yùn)行模型服務(wù)，并開啟 REST API 端口(8501)
$ docker run --name=serving-test -d -p 8501:8501 \
    -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \
    -e MODEL_NAME=half_plus_two \
    tensorflow/serving

# 請求模型 predict API
$ curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/half_plus_two:predict
# 返回 => { "predictions": [2.5, 3.0, 4.5] }

# 清理
$ docker rm -f serving-test

注：

gRPC 公開的端口 8500

REST API 公開的端口 8501

可選的環(huán)境變量 MODEL_NAME（默認(rèn)為 model）

可選的環(huán)境變量 MODEL_BASE_PATH（默認(rèn)為 /models）

創(chuàng)建鏡像

基于 tensorflow/serving 創(chuàng)建自己的模型鏡像

$ docker run -d --name serving_base tensorflow/serving
# 將模型拷貝到 serving_base 容器中
$ docker cp $TESTDATA/saved_model_half_plus_two_cpu serving_base:/models/half_plus_two
# 設(shè)置模型名稱環(huán)境變量，并將修改 serving_base 后的容器提交為 half_plus_two
$ docker commit --change "ENV MODEL_NAME half_plus_two" serving_base half_plus_two
$ docker rm -f serving_base

運(yùn)行鏡像

$ docker run --name=half_plus_two -d -p 8501:8501 half_plus_two

# 請求模型 predict API
$ curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/half_plus_two:predict
# 返回 => { "predictions": [2.5, 3.0, 4.5] }

# 清理
$ docker rm -f half_plus_two

圖像分割 Serving Docker 鏡像

介紹完 TensorFlow Serving 的基本用法，下面為大家介紹如何構(gòu)建 Serving Docker 鏡像。

創(chuàng)建鏡像

模型導(dǎo)出后，可以得到如下模型

test-mask
├── exported-models
│   └── mask_rcnn_inception_resnet_v2_1024x1024_coco17_gpu-8
│       ├── checkpoint
│       │   ├── checkpoint
│       │   ├── ckpt-0.data-00000-of-00001
│       │   └── ckpt-0.index
│       ├── pipeline.config
│       └── saved_model
│           ├── assets
│           ├── saved_model.pb
│           └── variables

如果大家訓(xùn)練模型不方便，可以前往 https://github.com/CatchZeng/object-detection-api/releases/tag/exported-models 下載 test-mask 的模型，進(jìn)行后面的步驟。

執(zhí)行以下命令，制作 Serving Docker 鏡像。

$ make serving
docker pull tensorflow/serving
Using default tag: latest
latest: Pulling from tensorflow/serving
Digest: sha256:6651f4839e1124dbde75ee531825112af0a6b8ef082c88ab14ca53eb69a2e4bb
Status: Image is up to date for tensorflow/serving:latest
docker.io/tensorflow/serving:latest
docker run -d --name serving_base tensorflow/serving
7239e7a1b83ba7b5c4244973f2b327ba703d19fcdfc451e52221179772a9e61b
# https://stackoverflow.com/a/45552938/14785930
docker exec -it serving_base mkdir -p /models/test-mask/1
docker cp exported-models/mask_rcnn_inception_resnet_v2_1024x1024_coco17_gpu-8/saved_model/. serving_base:/models/test-mask/1
docker commit --change "ENV MODEL_NAME test-mask" serving_base test-mask
sha256:20a3d099a6ce03dad70003752c70b68aeda706c1e6d5434e6b9d945098ab692c
docker rm -f serving_base
serving_base

$ docker images
REPOSITORY                 TAG                  IMAGE ID       CREATED             SIZE
test-mask                  latest               20a3d099a6ce   10 seconds ago      663MB

本地調(diào)試

啟動 Serving

$ docker run -d --name test-mask --rm -p 8500:8500 -p 8501:8501 test-mask

拷貝一張測試圖片到 images/test 下并命名為 test.jpg，然后執(zhí)行以下命令測試 Serving。

$ make serving-test
python deployments/serving/client.py
start request
duration: 17.50s
......
annotated image is saved to /Users/catchzeng/Documents/Code/CatchZeng/object-detection-api/workspace/test-mask/images/test/test_annotated.jpg

test_annotated.jpg

Flask

有了模型鏡像后，還需要一個入口服務(wù)來做對外 API 設(shè)計(jì)和輸入數(shù)據(jù)預(yù)處理，這里通常使用 Flask。

Flask 是一個輕量級的可定制 Web 應(yīng)用框架，使用 Python 語言編寫，較其他同類型框架更為靈活、輕便、安全且容易上手。

安裝

$ conda activate od
$ pip install Flask

使用

創(chuàng)建 app.py

# app.py
from flask import Flask

app = Flask(__name__)


@app.route("/")
def hello_world():
    return "It works!"

運(yùn)行

$ python -m flask run
 * Environment: production
   WARNING: This is a development server. Do not use it in a production deployment.
   Use a production WSGI server instead.
 * Debug mode: off
 * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

請求

? curl http://127.0.0.1:5000
It works!

更多的入門實(shí)例，請參見 https://flask.palletsprojects.com/en/2.0.x/quickstart/。

圖像分割入口服務(wù)

創(chuàng)建鏡像

執(zhí)行以下命令，構(gòu)建 Flask 圖像分割入口服務(wù)鏡像。

$ make flask
cp annotations/label_map.pbtxt deployments/flask
cd deployments/flask && make build
DOCKER_BUILDKIT=0 docker build --tag test-mask-flask .
Sending build context to Docker daemon  66.05kB
Step 1/6 : FROM python:3.8-slim-buster
 ---> 09c82f264230
Step 2/6 : WORKDIR /app
 ---> Using cache
 ---> 38fe51c7abd9
Step 3/6 : RUN pip3 install --no-cache-dir Flask pillow tensorflow==2.6.0
 ---> Using cache
 ---> 7d5da785bd60
Step 4/6 : COPY . .
 ---> Using cache
 ---> f65126d49639
Step 5/6 : RUN rm -rf .vscode README.md Dockerfile Makefile
 ---> Using cache
 ---> eb6dc93afc91
Step 6/6 : CMD [ "python3", "-m" , "flask", "run", "--host=0.0.0.0"]
 ---> Using cache
 ---> 3991ff08b36f
Successfully built 3991ff08b36f
Successfully tagged test-mask-flask:latest

Use 'docker scan' to run Snyk tests against images to find vulnerabilities and learn how to fix them

!!! workspace/test-mask/deployments/flask/object_detection 是從 TensorFlow Object Detection API 中摘取的部分代碼，好處是制作 Docker 鏡像的時候，可以不用安裝 TensorFlow Object Detection API，這樣可以減少生成的鏡像大小(2G 左右)。

運(yùn)行

啟動服務(wù)

$ docker run -d --name test-mask-flask --rm -p 5000:5000 --link test-mask:test-mask -e SERVER_URL="http://test-mask:8501/v1/models/test-mask:predict" test-mask-flask

$ docker ps
CONTAINER ID   IMAGE             COMMAND                  CREATED         STATUS         PORTS                              NAMES
1c78f0e1f31e   test-mask-flask   "python3 -m flask ru…"   2 seconds ago   Up 2 seconds   0.0.0.0:5000->5000/tcp             test-mask-flask
c48d559ab6c5   test-mask         "/usr/bin/tf_serving…"   3 minutes ago   Up 3 minutes   0.0.0.0:8500-8501->8500-8501/tcp   test-mask

請求

image

部署

如果使用 Nginx 部署的話，可以參考 https://github.com/CatchZeng/object-detection-api/blob/master/scripts/workspace/mask/files/deployments/flask/nginx.conf。

server {
    listen 80;
    listen 443 ssl;
    server_name api.makeoptim.com;
    ssl_certificate      /etc/nginx/keys/api.makeoptim.com.pem;
    ssl_certificate_key  /etc/nginx/keys/api.makeoptim.com.key;

    location / {
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_pass http://127.0.0.1:5000/;
    }
}

小結(jié)

本文介紹了如何使用 TensorFlow Serving 和 Flask 部署圖像分割模型服務(wù)，到了這一步，模型才算真正的交付，希望能幫助大家將訓(xùn)練的模型運(yùn)用到實(shí)際項(xiàng)目中。本篇就到這了，咱們下一篇見。

參考鏈接

https://github.com/tensorflow/serving

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

易 AI - 使用 TensorFlow Serving & Flask 部署圖像分割（Mask R-CNN）模型服務(wù)

易 AI - 使用 TensorFlow Serving & Flask 部署圖像分割（Mask R-CNN）模型服務(wù)

前言

TensorFlow Serving

特性

使用

快速開始

創(chuàng)建鏡像

圖像分割 Serving Docker 鏡像

創(chuàng)建鏡像

本地調(diào)試

Flask

安裝

使用

圖像分割入口服務(wù)

創(chuàng)建鏡像

運(yùn)行

部署

小結(jié)

參考鏈接

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

易 AI - 使用 TensorFlow Serving & Flask 部署圖像分割（Mask R-CNN）模型服務(wù)

前言

TensorFlow Serving

特性

使用

快速開始

創(chuàng)建鏡像

圖像分割 Serving Docker 鏡像

創(chuàng)建鏡像

本地調(diào)試

Flask

安裝

使用

圖像分割入口服務(wù)

創(chuàng)建鏡像

運(yùn)行

部署

小結(jié)

參考鏈接

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av