TensorRT安装

简介: TensorRT安装

20210108064808531.png

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的推理引擎,是一个高性能的深度学习推理优化器,可以为深度学习的落地应用提供低延迟、高吞吐率的部署推理。由C++、CUDA、python三种语言编写成的一个库,其中核心代码的语言为C++和CUDA,但是它也有python的api接口。

✨1 安装TensorRT

🎈1.1 下载

1️⃣TensorRT下载地址

一定要选择对应自己CUDA版本的,比如我的CUDA11.8

我选择了8.6,下载完成后,压缩到指定路径。

🍕1.2 配置

配置与cudnn安装类似:

将 TensorRT-7.2.2.3\include中头文件copy到C:\Program Files\NVIDIA GPU ComputingToolkit\CUDA\v10.2\include

将TensorRT-7.2.2.3\lib中所有lib文件copy到C:\Program Files\NVIDIA GPU

ComputingToolkit\CUDA\v10.2\lib\x64

将TensorRT-7.2.2.3\lib中所有dll文件copy 到C:\Program Files\NVIDIA GPU

ComputingToolkit\CUDA\v10.2\bin

同时将lib路径添加到环境变量

🍔1.3 tenosrrt库安装

进入tensorRT解压路径下的python目录内,利用pip安装与python版本对应的whl文件的tensorrt。

比如,python版本3.9,目录下whl文件

那么,就应该是pip install tensorrt-8.5.3.1-cp39-none-win_amd64.whl

测试是否安装成功用:

 import tensorrt as trt
 trt.__version__

✨2 测试

🌭2.1 VS2022配置

利用vs打开tensorrt目录下的samples\sampleOnnxMNIST\sample_onnx_mnist.sln,进行环境配置。

点击一下右侧箭头指向,并找到项目=》属性并打开

  1. 找到C/C++=》附加包含目录,打开添加tensorrt的include路径
  2. 找到链接器=》常规=》附加库目录,添加tensorrt的lib路径
  3. 找到链接器=》输入=》附加依赖项,添加路径TensorRT解压路径\lib\*.lib
  4. 为了防止后面执行exe操作闪退,添加getchar();到main函数下
  5. 11af688171cf4f6c8963d46fdfd76287.png
  6. 开始编译运行
  7. f60e27cec5be41c29d0f4677547c4203.png

✨2.2 缺少windows sdk问题

最后一步编译时,遇到的第一个错误没有对应的版本的windos sdk。

在官网https://developer.microsoft.com/zh-cn/windows/downloads/sdk-archive/找到合适的sdk版本并安装(点击安装sdk会有个exe文件线上安装)

🎃2.3 生成工具问题

安装完成后出现了没有2017年生成工具

  1. 找到电脑上的Visual Studio Installer,打开
  2. 点击修改
  3. ffa8ee9a1b0c4240891e542b4f2d4010.png
  4. 找到2017年的生成工具勾选,点击修改进行安装
  5. bf65f3dce3104722878c76411c614ef0.png
  6. 其余版本也一致。

🎄2.4zlibwapi.dll问题

提示问题,找不到zlibwapi.dll

  1. 进入官网下载Zlib
  2. 0f5b0affd1f64d1eb45682099b805e53.png
  3. 将下载的压缩包中的zlibwapi.dllzlibwapi.lib放于CUDA的bin和lib文件夹下
  4. 31d4dc4caab643fcaa2e16c9eb9982a5.png
  5. 3879ed76faa94ad5aad0e31225581999.png

🎆2.5 验证

按照上面的办法处理完错误后,再次编译,便成功完成了。

后面会在TensorRT的bin文件夹下生成sample_onnx_mnist.exe,双击打开

e497fd38bf8e43e6874f619d7b03e333.png呈现类似的结果就是成功了


相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
机器学习/深度学习 监控 算法
图像去雾综述
图像去雾综述
|
缓存 并行计算 C++
实践教程|旋转目标检测模型-TensorRT 部署(C++)
实践教程|旋转目标检测模型-TensorRT 部署(C++)
862 0
|
机器学习/深度学习 存储 并行计算
一篇就够:高性能推理引擎理论与实践 (TensorRT)
本文分享了关于 NVIDIA 推出的高性能的深度学习推理引擎 TensorRT 的背后理论知识和实践操作指南。
16162 9
一篇就够:高性能推理引擎理论与实践 (TensorRT)
|
并行计算 C++ 异构计算
【环境配置】安装windows版本的TensorRt
【环境配置】安装windows版本的TensorRt
2336 4
|
9月前
|
机器学习/深度学习 人工智能 Rust
茶叶的病害与健康状态图像数据集(10,000 张图片已划分)| AI训练适用于目标检测任务
本数据集包含10,000张标注茶叶图像,覆盖8类常见病害与健康状态,适用于目标检测、图像分类等AI任务。已划分训练、验证与测试集,支持YOLO等主流框架,助力智慧农业与病害智能诊断研究。
1849 37
茶叶的病害与健康状态图像数据集(10,000 张图片已划分)| AI训练适用于目标检测任务
|
PyTorch 算法框架/工具
Jetson学习笔记(四):pth(torch模型文件)转trt(tensorrt引擎文件)实操
关于如何使用torch2trt工具将PyTorch模型转换为TensorRT引擎文件的实操指南。
965 1
Jetson学习笔记(四):pth(torch模型文件)转trt(tensorrt引擎文件)实操
|
XML JSON 数据可视化
数据集学习笔记(二): 转换不同类型的数据集用于模型训练(XML、VOC、YOLO、COCO、JSON、PNG)
本文详细介绍了不同数据集格式之间的转换方法,包括YOLO、VOC、COCO、JSON、TXT和PNG等格式,以及如何可视化验证数据集。
5282 1
数据集学习笔记(二): 转换不同类型的数据集用于模型训练(XML、VOC、YOLO、COCO、JSON、PNG)
|
JavaScript
如何在 vue3 中使用 jsx/tsx?(上)
如何在 vue3 中使用 jsx/tsx?(上)
937 0
|
C# 数据安全/隐私保护 计算机视觉
C#开发者的新选择:使用ImageSharp进行图像处理
C#开发者的新选择:使用ImageSharp进行图像处理
2105 8
|
机器学习/深度学习 传感器 编解码
【多传感器融合】BEVFusion: 激光雷达和摄像头融合框架 NeurIPS 2022
BEVFusion提出一个融合多摄像头和激光雷达数据的框架,可用于3D检测。在自动驾驶领域,通过独立处理并融合摄像头和激光雷达数据,可以显著提升3D对象检测的准确性和稳健性,尤其是在激光雷达可能出现故障的真实场景中。
5380 57
【多传感器融合】BEVFusion: 激光雷达和摄像头融合框架 NeurIPS 2022