TensorRT安装

简介: TensorRT安装

20210108064808531.png

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的推理引擎,是一个高性能的深度学习推理优化器,可以为深度学习的落地应用提供低延迟、高吞吐率的部署推理。由C++、CUDA、python三种语言编写成的一个库,其中核心代码的语言为C++和CUDA,但是它也有python的api接口。

✨1 安装TensorRT

🎈1.1 下载

1️⃣TensorRT下载地址

一定要选择对应自己CUDA版本的,比如我的CUDA11.8

我选择了8.6,下载完成后,压缩到指定路径。

🍕1.2 配置

配置与cudnn安装类似:

将 TensorRT-7.2.2.3\include中头文件copy到C:\Program Files\NVIDIA GPU ComputingToolkit\CUDA\v10.2\include

将TensorRT-7.2.2.3\lib中所有lib文件copy到C:\Program Files\NVIDIA GPU

ComputingToolkit\CUDA\v10.2\lib\x64

将TensorRT-7.2.2.3\lib中所有dll文件copy 到C:\Program Files\NVIDIA GPU

ComputingToolkit\CUDA\v10.2\bin

同时将lib路径添加到环境变量

🍔1.3 tenosrrt库安装

进入tensorRT解压路径下的python目录内,利用pip安装与python版本对应的whl文件的tensorrt。

比如,python版本3.9,目录下whl文件

那么,就应该是pip install tensorrt-8.5.3.1-cp39-none-win_amd64.whl

测试是否安装成功用:

 import tensorrt as trt
 trt.__version__

✨2 测试

🌭2.1 VS2022配置

利用vs打开tensorrt目录下的samples\sampleOnnxMNIST\sample_onnx_mnist.sln,进行环境配置。

点击一下右侧箭头指向,并找到项目=》属性并打开

  1. 找到C/C++=》附加包含目录,打开添加tensorrt的include路径
  2. 找到链接器=》常规=》附加库目录,添加tensorrt的lib路径
  3. 找到链接器=》输入=》附加依赖项,添加路径TensorRT解压路径\lib\*.lib
  4. 为了防止后面执行exe操作闪退,添加getchar();到main函数下
  5. 11af688171cf4f6c8963d46fdfd76287.png
  6. 开始编译运行
  7. f60e27cec5be41c29d0f4677547c4203.png

✨2.2 缺少windows sdk问题

最后一步编译时,遇到的第一个错误没有对应的版本的windos sdk。

在官网https://developer.microsoft.com/zh-cn/windows/downloads/sdk-archive/找到合适的sdk版本并安装(点击安装sdk会有个exe文件线上安装)

🎃2.3 生成工具问题

安装完成后出现了没有2017年生成工具

  1. 找到电脑上的Visual Studio Installer,打开
  2. 点击修改
  3. ffa8ee9a1b0c4240891e542b4f2d4010.png
  4. 找到2017年的生成工具勾选,点击修改进行安装
  5. bf65f3dce3104722878c76411c614ef0.png
  6. 其余版本也一致。

🎄2.4zlibwapi.dll问题

提示问题,找不到zlibwapi.dll

  1. 进入官网下载Zlib
  2. 0f5b0affd1f64d1eb45682099b805e53.png
  3. 将下载的压缩包中的zlibwapi.dllzlibwapi.lib放于CUDA的bin和lib文件夹下
  4. 31d4dc4caab643fcaa2e16c9eb9982a5.png
  5. 3879ed76faa94ad5aad0e31225581999.png

🎆2.5 验证

按照上面的办法处理完错误后,再次编译,便成功完成了。

后面会在TensorRT的bin文件夹下生成sample_onnx_mnist.exe,双击打开

e497fd38bf8e43e6874f619d7b03e333.png呈现类似的结果就是成功了


相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
并行计算 TensorFlow 算法框架/工具
tensorflow安装GPU版本
tensorflow安装GPU
146 0
tensorflow安装GPU版本
|
机器学习/深度学习 并行计算 PyTorch
安装GPU版本tensorflow、pytorch
安装GPU版本tensorflow、pytorch
安装GPU版本tensorflow、pytorch
|
机器学习/深度学习 缓存 PyTorch
PyTorch 2.0 推理速度测试:与 TensorRT 、ONNX Runtime 进行对比
PyTorch 2.0 于 2022 年 12 月上旬在 NeurIPS 2022 上发布,它新增的 torch.compile 组件引起了广泛关注,因为该组件声称比 PyTorch 的先前版本带来更大的计算速度提升。
863 0
|
2月前
|
并行计算 API C++
Nvidia TensorRT系列01-TensorRT的功能1
NVIDIA TensorRT是一个高性能深度学习推理优化器和运行时,支持C++和Python API。其编程模型分为构建阶段和运行时阶段,前者优化模型,后者执行推理。TensorRT支持多种数据类型和精度,包括FP32、FP16、INT8等,并提供插件机制以扩展支持的操作。
72 0
|
4月前
|
PyTorch 算法框架/工具
Pytorch 安装
Pytorch 安装
44 0
|
5月前
|
Linux TensorFlow 算法框架/工具
安装GPU版本的TensorFlow
【7月更文挑战第3天】安装GPU版本的TensorFlow。
243 1
|
并行计算 Linux TensorFlow
TensorFlow各个GPU版本CUDA和cuDNN对应版本
TensorFlow各个GPU版本CUDA和cuDNN对应版本
TensorFlow各个GPU版本CUDA和cuDNN对应版本
|
前端开发 TensorFlow 算法框架/工具
编译 TensorFlow 模型
编译 TensorFlow 模型
121 0
|
机器学习/深度学习 TensorFlow 调度
YOLOV5 v6.1更新 | TensorRT+TPU+OpenVINO+TFJS+TFLite等平台一键导出和部署
YOLOV5 v6.1更新 | TensorRT+TPU+OpenVINO+TFJS+TFLite等平台一键导出和部署
254 0
|
Web App开发 存储 数据可视化
【Pytorch 安装TensorboardX及使用
【Pytorch 安装TensorboardX及使用
1223 0