TensorRT安装

简介: TensorRT安装

20210108064808531.png

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的推理引擎,是一个高性能的深度学习推理优化器,可以为深度学习的落地应用提供低延迟、高吞吐率的部署推理。由C++、CUDA、python三种语言编写成的一个库,其中核心代码的语言为C++和CUDA,但是它也有python的api接口。

✨1 安装TensorRT

🎈1.1 下载

1️⃣TensorRT下载地址

一定要选择对应自己CUDA版本的,比如我的CUDA11.8

我选择了8.6,下载完成后,压缩到指定路径。

🍕1.2 配置

配置与cudnn安装类似:

将 TensorRT-7.2.2.3\include中头文件copy到C:\Program Files\NVIDIA GPU ComputingToolkit\CUDA\v10.2\include

将TensorRT-7.2.2.3\lib中所有lib文件copy到C:\Program Files\NVIDIA GPU

ComputingToolkit\CUDA\v10.2\lib\x64

将TensorRT-7.2.2.3\lib中所有dll文件copy 到C:\Program Files\NVIDIA GPU

ComputingToolkit\CUDA\v10.2\bin

同时将lib路径添加到环境变量

🍔1.3 tenosrrt库安装

进入tensorRT解压路径下的python目录内,利用pip安装与python版本对应的whl文件的tensorrt。

比如,python版本3.9,目录下whl文件:

那么,就应该是pip install tensorrt-8.5.3.1-cp39-none-win_amd64.whl

测试是否安装成功用:

 import tensorrt as trt
 trt.__version__

✨2 测试

🌭2.1 VS2022配置

利用vs打开tensorrt目录下的samples\sampleOnnxMNIST\sample_onnx_mnist.sln,进行环境配置。

点击一下右侧箭头指向,并找到项目=》属性并打开

  1. 找到C/C++=》附加包含目录,打开添加tensorrt的include路径
  2. 找到链接器=》常规=》附加库目录,添加tensorrt的lib路径
  3. 找到链接器=》输入=》附加依赖项,添加路径TensorRT解压路径\lib\*.lib
  4. 为了防止后面执行exe操作闪退,添加getchar();到main函数下
  5. 11af688171cf4f6c8963d46fdfd76287.png
  6. 开始编译运行
  7. f60e27cec5be41c29d0f4677547c4203.png

✨2.2 缺少windows sdk问题

最后一步编译时,遇到的第一个错误没有对应的版本的windos sdk。

在官网https://developer.microsoft.com/zh-cn/windows/downloads/sdk-archive/找到合适的sdk版本并安装(点击安装sdk会有个exe文件线上安装)

🎃2.3 生成工具问题

安装完成后出现了没有2017年生成工具。

  1. 找到电脑上的Visual Studio Installer,打开
  2. 点击修改
  3. ffa8ee9a1b0c4240891e542b4f2d4010.png
  4. 找到2017年的生成工具勾选,点击修改进行安装
  5. bf65f3dce3104722878c76411c614ef0.png
  6. 其余版本也一致。

🎄2.4zlibwapi.dll问题

提示问题,找不到zlibwapi.dll。

  1. 进入官网下载Zlib
  2. 0f5b0affd1f64d1eb45682099b805e53.png
  3. 将下载的压缩包中的zlibwapi.dll和zlibwapi.lib放于CUDA的bin和lib文件夹下
  4. 31d4dc4caab643fcaa2e16c9eb9982a5.png
  5. 3879ed76faa94ad5aad0e31225581999.png

🎆2.5 验证

按照上面的办法处理完错误后,再次编译,便成功完成了。

后面会在TensorRT的bin文件夹下生成sample_onnx_mnist.exe,双击打开

e497fd38bf8e43e6874f619d7b03e333.png呈现类似的结果就是成功了


相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
缓存 并行计算 C++
实践教程|旋转目标检测模型-TensorRT 部署(C++)
实践教程|旋转目标检测模型-TensorRT 部署(C++)
924 0
|
并行计算 C++ 异构计算
【环境配置】安装windows版本的TensorRt
【环境配置】安装windows版本的TensorRt
2455 4
|
8月前
|
人工智能 开发框架 机器人
智能体(Agent)全面解析:什么是智能体agent
智能体(Agent)是具备自主思考、决策与工具调用能力的AI执行者,超越传统问答机器人。它以LLM为大脑、工具为手脚、AgentType为思维模式,支持低代码(如Coze)与专业开发(如LangChain)双路径构建,可融合RAG增强知识,实现复杂任务自动化。(239字)
7279 0
|
机器学习/深度学习 人工智能 Rust
茶叶的病害与健康状态图像数据集(10,000 张图片已划分)| AI训练适用于目标检测任务
本数据集包含10,000张标注茶叶图像,覆盖8类常见病害与健康状态,适用于目标检测、图像分类等AI任务。已划分训练、验证与测试集,支持YOLO等主流框架,助力智慧农业与病害智能诊断研究。
2260 37
茶叶的病害与健康状态图像数据集(10,000 张图片已划分)| AI训练适用于目标检测任务
|
PyTorch 算法框架/工具
Jetson学习笔记(四):pth(torch模型文件)转trt(tensorrt引擎文件)实操
关于如何使用torch2trt工具将PyTorch模型转换为TensorRT引擎文件的实操指南。
1046 1
Jetson学习笔记(四):pth(torch模型文件)转trt(tensorrt引擎文件)实操
|
机器学习/深度学习 人工智能 算法
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
本文介绍了如何使用 Python 和 YOLO v8 开发专属的 AI 视觉目标检测模型。首先讲解了 YOLO 的基本概念及其高效精准的特点,接着详细说明了环境搭建步骤,包括安装 Python、PyCharm 和 Ultralytics 库。随后引导读者加载预训练模型进行图片验证,并准备数据集以训练自定义模型。最后,展示了如何验证训练好的模型并提供示例代码。通过本文,你将学会从零开始打造自己的目标检测系统,满足实际场景需求。
17176 1
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
|
XML JSON 数据可视化
数据集学习笔记(二): 转换不同类型的数据集用于模型训练(XML、VOC、YOLO、COCO、JSON、PNG)
本文详细介绍了不同数据集格式之间的转换方法,包括YOLO、VOC、COCO、JSON、TXT和PNG等格式,以及如何可视化验证数据集。
5519 1
数据集学习笔记(二): 转换不同类型的数据集用于模型训练(XML、VOC、YOLO、COCO、JSON、PNG)
|
机器学习/深度学习 并行计算 PyTorch
从零开始下载torch+cu(无痛版)
这篇文章提供了一个详细的无痛版教程,指导如何从零开始下载并配置支持CUDA的PyTorch GPU版本,包括查看Cuda版本、在官网检索下载包名、下载指定的torch、torchvision、torchaudio库,并在深度学习环境中安装和测试是否成功。
从零开始下载torch+cu(无痛版)
|
存储 机器学习/深度学习 分布式计算
Hadoop配置文件hdfs-site.xml
【7月更文挑战第17天】
1598 5
|
机器学习/深度学习 编解码 算法
YOLOv8改进 | 主干网络 | 增加网络结构增强小目标检测能力【独家创新——附结构图】
YOLOv8在小目标检测上存在挑战,因卷积导致信息丢失。本文教程将原网络结构替换为更适合小目标检测的backbone,并提供结构图。通过讲解原理和手把手教学,指导如何修改代码,提供完整代码实现,适合新手实践。文章探讨了大特征图对小目标检测的重要性,如细节保留、定位精度、特征丰富度和上下文信息,并介绍了FPN等方法。YOLOv8流程包括预处理、特征提取、融合和检测。修改后的网络结构增加了上采样和concatenate步骤,以利用更大特征图检测小目标。完整代码和修改后的结构图可在文中链接获取。
11321 2