CUDA实践指南(二十九)

简介:

额外的硬件数据:
计算能力没有描述某些硬件功能。 例如,主机和设备之间的内核执行与异步数据传输重叠的能力在大多数但不是所有具有计算能力1.1的GPU上均可用。 在这种情况下,请调用cudaGetDeviceProperties()来确定设备是否具备某种功能。 例如,设备属性结构的asyncEngineCount字段指示重叠的内核执行和数据传输是否可能(并且,如果是的话,可以有多少并发传输是可能的); 同样,canMapHostMemory字段指示是否可以执行零拷贝数据传输。
CUDA运行时和驱动程序API版本:
CUDA Driver API和CUDA Runtime是CUDA的两种编程接口。 它们的版本号使开发人员能够检查与这些API相关的功能,并确定应用程序是否需要比当前安装的版本更新(更高版本)的版本。 这很重要,因为CUDA驱动程序API向后兼容,但不兼容,这意味着针对特定版本的Driver API编译的应用程序,插件和库(包括CUDA Runtime)将在后续(稍后) 司机版本。 但是,针对特定版本的Driver API编译的应用程序,插件和库(包括CUDA Runtime)可能无法在早期版本的驱动程序上使用,如图13所示。
1

计算能力目标:
如果对运行时会出现的硬件的计算能力产生怀疑,最好假定计算能力为2.0,如CUDA C编程指南关于技术和功能规格部分所定义的那样。
要定位特定版本的NVIDIA硬件和CUDA软件,请使用nvcc的-arch,-code和-gencode选项。 例如,使用warp shuffle操作的代码必须使用-arch = sm_30(或更高的计算能力)进行编译。
CUDA Runtime:
CUDA软件环境的主机运行时组件只能由主机功能使用。 它提供了以下功能:

  • 设备管理
  • 上下文管理
  • 内存管理
  • 代码模块管理
  • 执行控制
  • 纹理参考管理
  • 与OpenGL和Direct3D的互操作性

与较低级别的CUDA驱动程序API相比,CUDA Runtime通过提供隐式初始化,上下文管理和设备代码模块管理极大地简化了设备管理。 由nvcc生成的C / C ++主机代码利用CUDA运行时,所以链接到该代码的应用程序将取决于CUDA运行时; 同样,使用cuBLAS,cuFFT和其他CUDA工具包库的代码也将取决于这些库在内部使用的CUDA运行时。
组成CUDA运行时API的功能在CUDA工具包参考手册中进行了说明。
CUDA Runtime处理内核加载并设置内核参数并在启动内核之前启动配置。 隐式驱动程序版本检查,代码初始化,CUDA上下文管理,CUDA模块管理(立方体到函数映射),内核配置和参数传递都由CUDA运行时执行。
它由两个主要部分组成:

  • C风格的函数接口(cuda_runtime_api.h)。
  • 构建在C风格函数之上的C ++式便利包装器(cuda_runtime.h)。
目录
相关文章
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
景区博物馆最新应用:历史IP复活,移动AI数字人互动屏打造文旅爆款体验
世优波塔移动AI数字人互动屏,以高精度建模与AI大模型技术“复活”历史人物,打造可对话、会讲解、能导览的沉浸式文旅体验。通过自然语言交互、智能移动导引与多设备联动,让文物“开口说话”,让文化“活”起来,重新定义博物馆、景区与传统文化的连接方式,开启智慧文旅新纪元。
707 0
|
机器学习/深度学习 人工智能 算法
快瞳犬种识别效果图示,120种狗品种精准覆盖
犬种识别技术已从实验室走向大众,基于深度学习的卷积神经网络(CNN)和YOLO系列算法,可高效实现犬种分类与目标检测。本文介绍了快瞳犬种识别的技术原理、训练代码及应用场景,包括宠物管理、遗传疾病研究、公共安全、城市管理及遗失宠物寻找等。通过Python代码加载YOLOv8模型并进行训练,模型能在图像中标注犬种及其边界框,为智慧生活提供技术支持。
1149 33
|
人工智能 运维 监控
首个云上 AI 原生全栈可观测平台来了!
9月21日,2024 云栖大会,阿里云发布全新的 AI 原生全栈可观测平台,首次实现云上 AI 大模型从训练到推理再到应用的全链路实时观测、告警与诊断。
1858 118
|
机器学习/深度学习 并行计算 API
Qwen2.5-1M: 支持100万Tokens上下文的开源Qwen模型
两个月前,Qwen团队升级了 Qwen2.5-Turbo,使其支持最多一百万个Tokens的上下文长度。今天,Qwen正式推出开源的 Qwen2.5-1M 模型及其对应的推理框架支持。
3407 28
|
机器学习/深度学习 计算机视觉 索引
YOLOv11改进策略【Conv和Transformer】| ECCV-2024 Histogram Transformer 直方图自注意力 适用于噪声大,图像质量低的检测任务
YOLOv11改进策略【Conv和Transformer】| ECCV-2024 Histogram Transformer 直方图自注意力 适用于噪声大,图像质量低的检测任务
725 9
YOLOv11改进策略【Conv和Transformer】| ECCV-2024 Histogram Transformer 直方图自注意力 适用于噪声大,图像质量低的检测任务
|
机器学习/深度学习 人工智能 自然语言处理
AI如何预测体育比赛结果
AI预测体育比赛结果依赖于历史数据、球员表现、球队状态等多因素。通过数据收集与处理、机器学习模型(如回归分析、神经网络)、模拟与蒙特卡洛方法、实时数据分析及自然语言处理等技术,AI能识别影响比赛的关键模式,评估胜负概率,并结合统计学与优化算法不断调整预测,提升准确性。
|
SQL 数据库
在mybatis-plus怎么使用自定义的sql语句
在mybatis-plus怎么使用自定义的sql语句
1573 0
|
存储 Ubuntu 机器人
机械臂手眼标定详解
这篇文章是关于机械臂手眼标定的详细教程,包括了使用ROS1 Noetic和Realsense D415相机在Ubuntu 20.04环境下进行标定的步骤和配置方法。
4092 0
机械臂手眼标定详解
|
安全 UED
麒麟的版本 V10 (Lance) V10 (Tercel) 有什么区别
【6月更文挑战第26天】麒麟的版本 V10 (Lance) V10 (Tercel) 有什么区别
14440 2
|
机器学习/深度学习 人工智能 监控
AI行为分析
**AI行为分析融合视觉技术,自动监测与理解人类及动物行为。在教育中,它监控课堂行为,提升教学质量;在安防领域,确保公共安全,预警异常事件;科研中,助力动物行为研究,推动神经科学探索。技术进步正拓宽其应用边界,强化安全管理与决策支持。**
900 6