系统相关
首页 > 系统相关> > windows上安装TensorRT

windows上安装TensorRT

作者:互联网

1. 提前安装好CUDA和CUDNN,安装方法,本文不再赘述,请自行百度。
2. 下载TensorRT,链接如下:[https://developer.nvidia.com/nvidia-tensorrt-8x-download](https://developer.nvidia.com/nvidia-tensorrt-8x-download)
下载页面如下图所示:笔者下载的是TensorRT8.2 CUDA 10.2 windows版本
在这里插入图片描述
3. 下载后的文件如下图所示,显然此版本的TensorRT需要配置CUDA10.2、Cudnn8.2:
在这里插入图片描述
将该TensorRT文件解压后,如下图所示:
在这里插入图片描述
核心重点:
将 TensorRT-8.2.2.1\include中头文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include
将TensorRT-8.2.2.1\lib 中所有lib文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib\x64
将TensorRT-8.2.2.1\lib 中所有dll文件copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin

  1. 验证TensorRT是否安装好
    进入 TensorRT-8.2.2.1/samples/sampleMNIST中,用vs2019打开sample_mnist.sln,如下图所示。

在这里插入图片描述
在sample_mnist.sln下,重新生成解决方案,再执行,若出现类似下图的数字,即认为配置TensorRT成功。
在这里插入图片描述
5. 可能出现的问题
在sample_mnist.sln下,可以重新生成解决方案,但执行时会报错,报错内容如下图所示:
在这里插入图片描述
报错内容:[ltWrapper.cpp::nvinfer1::rt::CublasLtWrapper::setupHeuristic::327] Error Code 2: Internal Error (Assertion cublasStatus == CUBLAS_STATUS_SUCCESS failed. )
[01/19/2022-11:26:08] [E] [TRT] 2: [builder.cpp::nvinfer1::builder::Builder::buildSerializedNetwork::609] Error Code 2: Internal Error (Assertion enginePtr != nullptr failed. )
报错原因与解决方案:CUDA10.2与TensorRT8.2的匹配有些问题,需要打CUDA补丁解决。
进入CUDA10.2的下载页面,选择CUDA补丁,下载安装即可。补丁如下图所示。
打上CUDA补丁即可解决CUDA与TensorRT匹配的问题。
在这里插入图片描述

标签:8.2,windows,TensorRT,报错,CUDA,所示,2.1,安装
来源: https://blog.csdn.net/weixin_43917589/article/details/122578198