TensorRT实战-基本框架

简介: 上篇博文4_TensorRT概况主要讲了Nvida TensorRT的编程API,本篇主要通过一个简单、完整的例子来讲解如何将一个Caffe模型(GoogleNet模型)通过TensorRT进行推理加速。

上篇博文4_TensorRT概况主要讲了Nvida TensorRT的编程API,本篇主要通过一个简单、完整的例子来讲解如何将一个Caffe模型(GoogleNet模型)通过TensorRT进行推理加速。


系统环境


本示例运行的系统环境如下:


  • 硬件环境:Jetson TX2


  • 软件环境:


  • JetPack:V4.2
  • CUDA:CUDA ToolKit for L4T V10.0
  • cuDNN:
  • cuDNN on Target 7.3
  • TensorRT On Target 5.0
  • Computer Vison:
  • OpenCV on Target 3.3.1
  • VisionWorks on target  1.6
  • MultiMedia API:  32.1


TensorRT基本框架


SampleGoogleNet类实现了基于GoogleNet模型的TensorRT网络构建、engine创建、推理等接口。


class SampleGoogleNet
{ 
  public:
      SampleGoogleNet(const samplesCommon::CaffeSampleParams& params)
          : mParams(params)
      {
      }
      //!
      //! 创建TensorRT网络
      //!
      bool build();
      //!
      //! 运行TensorRT推理引擎
      //!
      bool infer();
      //!
      //! 清理运行时创建的状态、资源
      //!
      bool teardown();
      samplesCommon::CaffeSampleParams mParams;
  private:
      std::shared_ptr<nvinfer1::ICudaEngine> mEngine = nullptr; //用于运行网络TensorRT引擎
      //!
      //! 该函数为GoogleNet解析一个Caffe模型,并创建一个TensorRT网络
      //!
      void constructNetwork(SampleUniquePtr<nvinfer1::IBuilder>& builder, SampleUniquePtr<nvinfer1::INetworkDefinition>& network, SampleUniquePtr<nvcaffeparser1::ICaffeParser>& parser);
};


配置参数


构建TensorRT时,需要几个比较重要的参数,这些参数一般在TensorRT应用启动时由命令行传入或者使用默认的配置参数。大部分参数都是在构建TensorRT网络时需要的配置参数,先分别列出如下:


  • batchSize:批量输入的数量


  • dalCore:是否使用DLA(Deep Learning Accelerate


  • dataDirs:网络模型数据存放的位置


  • inputTensorNames:用作输入的Tensor的数量


  • outputTensorNames:用作输出的Tensor的数量


  • 下面这两个参数用于基于Caffe的神经网络配置:


  • prototxtFileName:网络原型配置文件


  • weightsFileName:网络权重文件


构建(网络、推理引擎)


SampleGoogleNet::build(),该函数通过解析caffe模型创建GoogleNet网络,并构建用于运行GoogleNet (mEngine)的引擎。


//创建用于推理的Builder
  auto builder = SampleUniquePtr<nvinfer1::IBuilder>(nvinfer1::createInferBuilder(gLogger));
    if (!builder)
        return false;
  //通过builder创建网络定义
    auto network = SampleUniquePtr<nvinfer1::INetworkDefinition>(builder->createNetwork());
    if (!network)
        return false;
  //创建用于解析caffe网络模型的parser
    auto parser = SampleUniquePtr<nvcaffeparser1::ICaffeParser>(nvcaffeparser1::createCaffeParser());
    if (!parser)
        return false;
  //通过builder、network、parser、配置参数构建网络定义
    constructNetwork(builder, network, parser);
  constructNetwork函数定义如下:
  {
    const nvcaffeparser1::IBlobNameToTensor* blobNameToTensor = parser->parse(
        locateFile(mParams.prototxtFileName, mParams.dataDirs).c_str(),//加载网络原型配置文件
        locateFile(mParams.weightsFileName, mParams.dataDirs).c_str(),//加载网络训练权重文件
        *network,//网络定义
        nvinfer1::DataType::kFLOAT);//权重和张量的精度类型为FP32 format
    //遍历outputTensorNames,通过blobNameToTensor->find函数转换为对应的Tensor,最后通过markOutput将该Tensor标记为网络的输出量。
      for (auto& s : mParams.outputTensorNames)
          network->markOutput(*blobNameToTensor->find(s.c_str()));
    //根据batchSize设置最大的batchsize。
      builder->setMaxBatchSize(mParams.batchSize);
    //设置最大的工作空间大小。
      builder->setMaxWorkspaceSize(16_MB);
    //根据dlaCore决定是否启用DLA功能。
      samplesCommon::enableDLA(builder.get(), mParams.dlaCore);
  }
  //根据构建好的网络定义创建Cuda推理引擎。
    mEngine = std::shared_ptr<nvinfer1::ICudaEngine>(builder->buildCudaEngine(*network), samplesCommon::InferDeleter());
    if (!mEngine)
        return false;


推理


SampleGoogleNet::infer(),这个函数是示例的主要执行函数。它分配缓冲区、设置输入并执行引擎。


//创建RAII缓冲区(BufferManager类处理主机和设备(GPU)缓冲区分配和释放)管理结构。
  //BufferManager这个RAII类处理主机和设备缓冲区的分配和释放,主机和设备缓冲区之间的memcpy来辅助推理,调试转储来验证推
    //理。BufferManager类用于简化缓冲区管理以及缓冲区与引擎之间的任何交互
    samplesCommon::BufferManager buffers(mEngine, mParams.batchSize);
  //创建推理引擎运行上下文
    auto context = SampleUniquePtr<nvinfer1::IExecutionContext>(mEngine->createExecutionContext());
    if (!context)
        return false;
    //获取主机缓冲区并将主机输入缓冲区设置为所有零
    for (auto& input : mParams.inputTensorNames)
        memset(buffers.getHostBuffer(input), 0, buffers.size(input));
    //将数据通过memory从主机输入缓冲区拷贝到设备输入缓冲区
    buffers.copyInputToDevice();
  //执行推理 
    bool status = context->execute(mParams.batchSize, buffers.getDeviceBindings().data());
    if (!status)
        return false;
    //推理完成之后,将数据通过memcopy从设备输出缓冲区拷贝到主机输出缓冲区
    buffers.copyOutputToHost();


资源清理


nvcaffeparser1::shutdownProtobufLibrary();资源清理主要涉及到parser所使用的protobuf的清理。


总结


本文通过一个十分简单的示例,讲解了如何将一个网络模型部署到TensorRT上的编码过程。需要注意的是,文中所使用的网络模型为Caffe,使用到的parser也为ICaffeParser,TensorRT同时还支持ONX、UFF格式的parser,后续会总结如何通过这两类parser导入其他不同的网络模型,例如,tensorflow等。在执行推理时,需要涉及到数据在GPU缓存与CPU缓存之间的拷贝过程,该过程比较繁琐,文中使用BufferMannager很好的封装了这些过程,后续再开发TensorRT网络时可能借鉴这一思想。


相关文章
|
机器学习/深度学习 存储 并行计算
一篇就够:高性能推理引擎理论与实践 (TensorRT)
本文分享了关于 NVIDIA 推出的高性能的深度学习推理引擎 TensorRT 的背后理论知识和实践操作指南。
16333 9
一篇就够:高性能推理引擎理论与实践 (TensorRT)
|
机器学习/深度学习 人工智能 达摩院
10万亿!达摩院发布全球最大AI预训练模型M6
今天,阿里巴巴达摩院公布多模态大模型M6最新进展,其参数已从万亿跃迁至10万亿,成为全球最大的AI预训练模型。
9594 0
10万亿!达摩院发布全球最大AI预训练模型M6
|
3月前
Qoder 调整模型上下文长度
Qoder 模型上下文不可调整
179 0
|
机器学习/深度学习 缓存 PyTorch
131_推理加速:ONNX与TensorRT深度技术解析与LLM模型转换优化实践
在大语言模型(LLM)时代,高效的推理加速已成为部署高性能AI应用的关键挑战。随着模型规模的不断扩大(从BERT的数亿参数到GPT-4的数千亿参数),推理过程的计算成本和延迟问题日益突出。ONNX(开放神经网络交换格式)和TensorRT作为业界领先的推理优化框架,为LLM的高效部署提供了强大的技术支持。本文将深入探讨LLM推理加速的核心原理,详细讲解PyTorch模型转换为ONNX和TensorRT的完整流程,并结合2025年最新优化技术,提供可落地的代码实现与性能调优方案。
2264 4
|
5月前
|
SQL 人工智能 安全
为什么你的AI Agent总输出垃圾?因为你没装“技能插件”
本文揭示AI Agent“做事乱”的根源:并非模型能力不足,而是缺乏可执行的技能插件(Skill)。文章指出,大模型缺的不是推理力,而是“怎么做”的上下文——如读文件、查数据库、调API等实操能力。通过MCP协议+工具函数,Skill将业务知识封装为即插即用的数字资产,让Agent从“纸上谈兵的参谋”升级为“自带工具箱的施工队”。
|
4月前
|
人工智能 运维 安全
阿里云发布Qwen Cloud,加速AI出海!
阿里云在新加坡发布面向海外的AI战略升级:推出全新AI官网Qwen Cloud、Agent产品MuleRun、智能体编程平台Qoder及桌面智能体QoderWork,并完成云基础设施Agentic化改造,全面支持Agent原生开发与部署。
462 0
|
6月前
|
存储 安全 物联网
系统科学与哲学方法论
本大纲系统整合系统科学(老三论、新三论、复杂系统论)与唯物辩证法核心原理(对立统一、内外因、主次矛盾等),强调实践论指导,揭示系统演化共性规律,为系统规划与数字化转型提供哲学方法论支撑。
501 1
|
6月前
|
自然语言处理 安全
Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents(论文解读)
本文提出的JailAgent框架,通过不修改用户提示词的隐式攻击方式,实现了对LLM智能体推理轨迹与记忆检索的高效劫持,兼具高攻击成功率、强泛化性、高隐蔽性与低计算开销,为LLM智能体的红队测试与安全评估提供了全新范式。
314 2
|
7月前
|
安全 开发者
🎉ESA邀友赢好礼第1期获奖名单出炉!快看有没有你?
阿里云ESA“邀友助力第1期”活动(2025.12.11–2026.03.15)圆满收官!用户分享邀请链接,好友0元试用ESA基础版即可赢取免费额度及棒球帽、T恤、水杯等实物好礼。数万开发者踊跃参与,现公示获奖名单及发放安排。
|
存储 Unix 数据挖掘
RAID5数据恢复—zfs文件系统下重组RAID5阵列的方法详解
RAID5数据恢复环境: 一台存储上有一组由12块SCSI硬盘(11块数据盘+1块热备盘)组建的RAID5磁盘阵列,FreeBSD操作系统+zfs文件系统。 RAID5故障: