Tensor RT学习笔记(四)

简介:

构建阶段:
在构建阶段,TensorRT采用网络定义,执行优化并生成推理引擎。
构建阶段可能需要相当长的时间,尤其是在嵌入式平台上运行时。 因此,典型的应用程序将构建一次引擎,然后将其序列化以备后用。
构建阶段在层图上执行以下优化::

  • 消除其输出不使用卷积,偏差和ReLU操作融合的图层
  • 具有足够相似参数和相同源张量的操作聚合(例如,GoogleNet v5初始模块中的1x1卷积)
  • 通过将层输出指向正确的最终目的地来合并连接层。

此外,构建阶段还在虚拟数据上运行图层以从其内核目录中选择最快的,并在适当的情况下执行加权预格式化和内存优化。
执行阶段:
在执行阶段,运行以下任务:

  • 运行时执行优化的引擎。
  • 引擎使用GPU上的输入和输出缓冲区运行推理任务。

命令行包装器( Command Line Wrapper):
样本目录中包含一个名为giexec的TensorRT命令行包装器。 它对基于随机数据的网络进行基准测试和从这些模型生成序列化引擎非常有用。
命令行参数如下所示:

Mandatory params :
--deploy = <file> Caffe deploy file
--output = <name> Output blob name(can be specified
    multiple times)
    Optional params :
--model = <file> Caffe model file(default = no model,
    random weights
    used)
    --batch = N Set batch size(default = 1)
    --device = N Set cuda device to N(default = 0)
    --iterations = N Run N iterations(default = 10)
    --avgRuns = N Set avgRuns to N - perf is measured as an
    average of
    avgRuns(default = 10)
    --workspace = N Set workspace size in megabytes(default =
        16)
    --half2 Run in paired fp16 mode(default = false)
    --int8 Run in int8 mode(default = false)
    --verbose Use verbose logging(default = false)
    --hostTime Measure host time rather than GPU time
    (default =
        false)
    --engine = <file> Generate a serialized GIE engine
    --calib = <file> Read INT8 calibration cache file

例如:

giexec --deploy=mnist.prototxt --model=mnist.caffemodel --
output=prob

如果没有提供模型,则生成随机权重。
TensorRT Lite:
包含在Python API中的是一个高度抽象的界面,称为TensorRT Lite。 TensorRT Lite API在构建引擎和执行推理时处理几乎所有事情,因此用户只需创建引擎并开始处理数据即可。
TensorRT Lite API位于tensorrt.lite中,包含一个名为Engine的类。 引擎构造函数接受模型定义以及输入和输出图层,并构建围绕它的完整引擎以进行推理。
在内部,Lite引擎为您创建记录器,TensorRT引擎,运行时和上下文,然后为引擎分配GPU内存。
自定义记录器,插件,校准器和分析器等功能可以从构造函数传递。
timg

目录
相关文章
|
4月前
|
缓存 边缘计算 网络协议
阿里云国际站:CDN配置新手教程 从添加域名到CNAME解析全流程
不少开发者第一次认真研究 阿里云CDN配置新手教程,不是因为提前做好了技术规划,而是网站已经被突然涌入的流量拖到几乎打不开。加速、抗压、省带宽,这些需求推着人去搞清楚 CDN 到底是什么,以及为什么配置完域名、做完解析,效果不会立刻出现。理清核心概念,后面的操作才不容易跑偏。
899 0
|
5月前
|
人工智能 安全 机器人
AI智能体的开发技术
AI智能体是具备“像人一样思考、规划与执行”能力的智能系统,核心由四大模块构成:以大模型为“大脑”,实现语义理解与提示词调控;以规划推理为“思考”,支持任务拆解与自我纠错;以记忆管理为“知识库”,融合长短时记忆与检索增强;以工具调用为“四肢”,实现多模态交互与多智能体协同。#AI智能体 #AI大模型
|
5月前
|
运维 小程序 安全
医疗机构搭建互联网医院:平台开发选型与部署实施指南
本文剖析互联网医院平台建设关键:非仅前端功能,更重系统架构、多源对接(HIS/EMR/医保等)、模块化部署与数据安全。强调中台服务、分阶段上线及云混合架构,确保业务协同、稳定运维与长期合规。
|
8月前
|
存储 人工智能 运维
企业做数据治理要多少钱?大型企业怎么做数据治理2026年实操指南
2026年,数据正式入表成核心资产。大型企业数据治理投入动辄数百万至千万,但常陷“投入无底洞”。瓴羊Dataphin以OneData方法论+AI智能体(Data Agent),提供3万–300万元/年灵活方案,TCO降低40%–65%,实现建模提效5–10倍、运维减负70%、算力节省30%,加速数据资产入表与业务变现。(239字)
|
10月前
|
人工智能 自然语言处理 API
AI应用开发-003-Coze平台
智能体是具备感知、决策与行动能力的AI系统,由大语言模型、记忆、规划、工具使用和行动五大核心构成。通过Coze平台可零代码搭建智能体,结合插件、知识库与工作流,实现个性化AI应用,广泛应用于客服、助理、开发等场景。
1343 2
AI应用开发-003-Coze平台
|
10月前
|
安全 数据可视化 物联网
智慧工地人员定位系统从核心技术对比到技术优势详解(一)
智慧工地人员定位系统融合UWB、北斗、蓝牙等多源技术,实现室内外厘米级至米级精准定位,支持三维可视化、AR导航与工业级防护,兼顾安全管控、效率提升与复杂场景适配。如果您想进一步了解人员定位的案例,欢迎关注、评论留言~也可搜索维构lbs智能定位。
|
测试技术
Fast网络速度测试工具
Fast是由Netflix提供的网络速度测试工具,可快速测量用户的下载、上传速度及延迟。其全球可用、无广告干扰,并支持多种设备。测试自动进行,结果以Mbps显示。此外,用户可通过“Show more info”查看上传速度和延迟(含缓冲膨胀)。Fast以其简单快捷的特点,帮助用户了解网络性能并解决潜在问题,是评估网速的理想选择。
2325 0
Fast网络速度测试工具
|
11月前
|
监控 安全 网络安全
静态IP怎么选购及静态IP的优势
本文介绍静态IP购买与优质网络代理服务的优势,涵盖稳定性、安全性和匿名性。静态IP适合企业及长期连接需求,优质代理服务保障隐私,动态住宅IP灵活多变。通过对比各类IP特点,帮助用户根据实际需求选择最佳网络解决方案,提升上网体验与安全性。(238字)
|
存储 前端开发 数据处理
《开发者必看的应用商店突围实战手册》
本文聚焦编程工具上架应用商店的全流程实战,拆解工具从审核通关到冷启动增长的核心逻辑。文章指出,多数编程工具上架遇阻或曝光低迷,根源在于忽视平台生态规则与用户决策逻辑,而非技术硬伤。核心围绕生态适配、合规打磨、体验优化、上架材料构建、审核应对、冷启动推广六大关键环节,详解如何精准匹配不同应用商店属性、把控数据隐私与权限合规细节、优化核心功能触达与使用体验、打造高转化上架材料、高效应对审核问题,以及通过平台资源对接、技术社区推广、生态联动实现用户增长。强调上架不是终点,而是技术价值落地的起点,唯有兼顾平台规则、用户需求与持续迭代,才能让优质编程工具突破隐性门槛,在海量应用中脱颖而出。
338 5
|
SQL 监控 Oracle