windows上安装TensorRT

1. 提前安装好CUDA和CUDNN，安装方法，本文不再赘述，请自行百度。
2. 下载TensorRT，链接如下：[https://developer.nvidia.com/nvidia-tensorrt-8x-download](https://developer.nvidia.com/nvidia-tensorrt-8x-download)
下载页面如下图所示：笔者下载的是TensorRT8.2 CUDA 10.2 windows版本

3. 下载后的文件如下图所示，显然此版本的TensorRT需要配置CUDA10.2、Cudnn8.2：

将该TensorRT文件解压后，如下图所示：

核心重点：
将 TensorRT-8.2.2.1\include中头文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include
将TensorRT-8.2.2.1\lib 中所有lib文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib\x64
将TensorRT-8.2.2.1\lib 中所有dll文件copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin

4. 验证TensorRT是否安装好
   进入 TensorRT-8.2.2.1/samples/sampleMNIST中，用vs2019打开sample_mnist.sln，如下图所示。

在sample_mnist.sln下，重新生成解决方案，再执行，若出现类似下图的数字，即认为配置TensorRT成功。

5. 可能出现的问题
在sample_mnist.sln下，可以重新生成解决方案，但执行时会报错，报错内容如下图所示：

报错内容：[ltWrapper.cpp::nvinfer1::rt::CublasLtWrapper::setupHeuristic::327] Error Code 2: Internal Error (Assertion cublasStatus == CUBLAS_STATUS_SUCCESS failed. )
[01/19/2022-11:26:08] [E] [TRT] 2: [builder.cpp::nvinfer1::builder::Builder::buildSerializedNetwork::609] Error Code 2: Internal Error (Assertion enginePtr != nullptr failed. )
报错原因与解决方案：CUDA10.2与TensorRT8.2的匹配有些问题，需要打CUDA补丁解决。
进入CUDA10.2的下载页面，选择CUDA补丁，下载安装即可。补丁如下图所示。
打上CUDA补丁即可解决CUDA与TensorRT匹配的问题。

标签：8.2,windows,TensorRT,报错,CUDA,所示,2.1,安装
来源： https://blog.csdn.net/weixin_43917589/article/details/122578198