《原创》在torch模型进行trt加速后正确的耗时分析方法

最近，多人反映在torch框架的模型加速后耗时相差不大甚至不如加速前。
首先，可以肯定的是，这种结果存在误判，torch的模型加速以后肯定是有加速效果。那么问题出在耗时方法的统计不正确。
正确的耗时统计应该是这样：
（1）先测试一个batch的数据，使用加速和不加速模型测试推理时间，注意推理时间一定不能够包含数据拷贝时间，这样才能测试真实的模型性能。得出的两个推理耗时也就是直观模型的提速。通过这一步来证实你的加速有效果的，在真实测试时，依旧只统计所有数据的推理时间之和，torch不加速模型一定要同步数据流以后在统计时间。

（2）在用测试集进行测试加速和不加速的模型时，两者的耗时相差不大，是因为加速模型的耗时花费在了数据等待上，也就是没有给模型足够的数据，这并没有测试出模型的真正速度。相比之下（1）中的测试方法就是最简单的消除这种影响。

实践证明，上述的两种方法可以解决上述疑虑。

标签：模型,torch,加速,耗时,测试,推理,trt
来源： https://www.cnblogs.com/chentiao/p/16336239.html