TensorRT是可以在NVIDIA各种GPU硬件平台下运行的推理引擎,是一个高性能的深度学习推理优化器,可以为深度学习的落地应用提供低延迟、高吞吐率的部署推理。由C++、CUDA、python三种语言编写成的一个库,其中核心代码的语言为C++和CUDA,但是它也有python的api接口。
✨1 安装TensorRT
🎈1.1 下载
1️⃣TensorRT下载地址
一定要选择对应自己CUDA版本的,比如我的CUDA11.8
我选择了8.6,下载完成后,压缩到指定路径。
🍕1.2 配置
配置与cudnn安装类似:
将 TensorRT-7.2.2.3\include中头文件copy到C:\Program Files\NVIDIA GPU ComputingToolkit\CUDA\v10.2\include
将TensorRT-7.2.2.3\lib中所有lib文件copy到C:\Program Files\NVIDIA GPU
ComputingToolkit\CUDA\v10.2\lib\x64
将TensorRT-7.2.2.3\lib中所有dll文件copy 到C:\Program Files\NVIDIA GPU
ComputingToolkit\CUDA\v10.2\bin
同时将lib路径添加到环境变量
🍔1.3 tenosrrt库安装
进入tensorRT解压路径下的python目录内,利用pip安装与python版本对应的whl文件的tensorrt。
比如,python版本3.9,目录下whl文件:
那么,就应该是pip install tensorrt-8.5.3.1-cp39-none-win_amd64.whl
测试是否安装成功用:
import tensorrt as trt trt.__version__
✨2 测试
🌭2.1 VS2022配置
利用vs打开tensorrt目录下的samples\sampleOnnxMNIST\sample_onnx_mnist.sln
,进行环境配置。
点击一下右侧箭头指向,并找到项目=》属性并打开
- 找到C/C++=》附加包含目录,打开添加tensorrt的include路径
- 找到链接器=》常规=》附加库目录,添加tensorrt的lib路径
- 找到链接器=》输入=》附加依赖项,添加路径
TensorRT解压路径\lib\*.lib
- 为了防止后面执行exe操作闪退,添加getchar();到main函数下
- 开始编译运行
✨2.2 缺少windows sdk问题
最后一步编译时,遇到的第一个错误没有对应的版本的windos sdk。
在官网https://developer.microsoft.com/zh-cn/windows/downloads/sdk-archive/找到合适的sdk版本并安装(点击安装sdk会有个exe文件线上安装)
🎃2.3 生成工具问题
安装完成后出现了没有2017年生成工具。
- 找到电脑上的Visual Studio Installer,打开
- 点击修改
- 找到2017年的生成工具勾选,点击修改进行安装
- 其余版本也一致。
🎄2.4zlibwapi.dll问题
提示问题,找不到zlibwapi.dll。
- 进入官网下载Zlib
- 将下载的压缩包中的
zlibwapi.dll
和zlibwapi.lib
放于CUDA的bin和lib文件夹下
🎆2.5 验证
按照上面的办法处理完错误后,再次编译,便成功完成了。
后面会在TensorRT的bin文件夹下生成sample_onnx_mnist.exe
,双击打开
呈现类似的结果就是成功了