其他分享
首页 > 其他分享> > ONNXRuntime学习笔记(一)

ONNXRuntime学习笔记(一)

作者:互联网

一. DL模型落地步骤

一般情况下,一个DL任务落地的流程一般包含训练和部署两大部分,具体细分我认为可以分为以下几个步骤:

小结:以上流程中很多细微的点没有讲到,但大概总结一下要完成以上流程需要具备的一些能力:

二. 一个小项目

ONNXRuntime是微软出品的机器学习推理库,目前两大深度学习训练框架Pytorch和Tensorflow训练后的模型都可以导出为onnx格式,可以直接用ONNXruntime推理。打算用CIFAR-100数据集训练一个分类模型进行部署。确定一下方案:

  1. 总体目标:训练一个pytorch模型,CIFAR-100数据集测试集acc达到90%;部署后推理效率达到50ms/张, 部署平台为window10+3050Ti+RX5800h.
  2. 模型选择与训练:用VGG结构+ResNet来构建,尽可能轻量。
  3. 导出onnx并量化
  4. 部署:单线程调用ONNXRunTime pythonAPI的demo跑通,单线程调用C++API的demo跑通;进阶完成多线程调用。

标签:训练,ONNXRuntime,onnx,模型,笔记,学习,部署,C++,推理
来源: https://www.cnblogs.com/lee-zq/p/16182606.html