其他分享
首页 > 其他分享> > 【tensorlow】tensorflow-serving初步使用记录

【tensorlow】tensorflow-serving初步使用记录

作者:互联网

概述

tensorflow-serving支持rpc和rest,本文基于rest编写。构建k8s的pod

部署

单模型部署,dockerfile如下:

FROM tensorflow/serving
MAINTAINER zhouwenyang
ADD model /models/${model_name}/${version}
ENV MODEL_NAME=${model_name}

${model_name}和${version}根据自己需要更改。可以使用挂载文件的方式,但是如果部署k8s则需要打进容器,或者使用共享的volumes的方式

多模型部署参考:https://www.jianshu.com/p/d11a5c3dc757

查看模型输入输出情况: http://${host}:${port}/v1/models/${model_name}/metadata

自定义op

预测

根据查看模型的metadata,搞起一个http post接口

接口地址为: http://${host}:${port}/v1/models/${model_name}:predict 

post参数为:

{
  "inputs":{
    "${param1}":${value1},
    "${param2}":${value2},
    "${param3}":${value3},
    "${param4}":${value4}
  }  
}

 

标签:serving,http,name,models,tensorflow,model,tensorlow
来源: https://www.cnblogs.com/zhouwenyang/p/15319868.html