CUDA实践指南(三十四)

简介:

可修改的状态:
ECC模式
启用和禁用ECC报告。
ECC重置
清除单位和双位ECC错误计数。 计算模式指示计算进程是否可以在GPU上运行,以及它们是否运行
完全或同时与其他计算过程。
持久性模式指示当没有应用程序连接到GPU时,NVIDIA驱动程序是否保持加载状态。 在大多数情况下最好启用此选项。
GPU重置
通过辅助总线重置重新初始化GPU硬件和软件状态。

NVML:
NVIDIA管理库(NVML)是一个基于C的界面,可以直接访问通过nvidia-smi公开的查询和命令,作为构建第三方系统管理应用程序的平台。 NVML API可通过NVIDIA开发人员网站作为Tesla Deployment Kit的一部分通过单个头文件提供,并附有PDF文档,存根库和示例应用程序; 请参阅http://developer.nvidia.com/tesla-deployment-kit。 每个新版本的NVML都是向后兼容的。
为NVML API提供了一组额外的Perl和Python绑定。 这些绑定公开了与基于C的接口相同的功能,并提供向后兼容性。 Perl绑定通过CPAN提供,并通过PyPI提供Python绑定。
所有这些产品(nvidia-smi,NVML和NVML语言绑定)都随每个新的CUDA版本而更新,并提供大致相同的功能。 有关更多信息,请参见http://developer.nvidia.com/nvidia-management-library-nvml。
群集管理工具:
管理您的GPU集群将有助于实现最大的GPU利用率,并帮助您和您的用户获得最佳性能。 许多业界最受欢迎的集群管理工具现在都通过NVML支持CUDA GPU。 有关这些工具的列表,请参阅http://developer.nvidia.com/cluster-management。
编译器JIT高速缓存管理工具:
应用程序在运行时加载的任何PTX设备代码都将由设备驱动程序进一步编译为二进制代码。 这就是所谓的即时编译(JIT)。 即时编译增加了应用程序加载时间,但允许应用程序从最新的编译器改进中受益。 它也是应用程序在编译应用程序时不存在的设备上运行的唯一方式。
当使用PTX设备代码的JIT编译时,NVIDIA驱动程序将产生的二进制代码缓存在磁盘上。 此行为的某些方面(如缓存位置和最大缓存大小)可以通过使用环境变量进行控制; 请参阅CUDA C编程指南的即时编译。
CUDA_VISIBLE_DEVICES:
通过CUDA_VISIBLE_DEVICES环境变量,可以重新排列安装的CUDA设备的集合,这些设备将在CUDA应用程序启动之前被CUDA应用程序显示并枚举。
对于应用程序可见的设备应该按照可枚举设备的系统范围列表包含在逗号分隔列表中。 例如,要仅使用来自系统范围设备列表的设备0和2,请在启动应用程序之前设置CUDA_VISIBLE_DEVICES = 0,2。 然后,应用程序将分别将这些设备列为设备0和设备1

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
Kubernetes Go 调度
Kubeflow-Trainer-架构学习指南
本指南系统解析Kubeflow Trainer架构,涵盖核心设计、目录结构与代码逻辑,结合学习路径与实战建议,助你掌握这一Kubernetes原生机器学习训练平台的原理与应用。
1112 139
|
搜索推荐 Android开发 UED
信息检索系统评估指标的层级分析:从单点精确度到整体性能度量
本文深入探讨了信息检索系统(如搜索引擎)的评估机制,从用户行为特征出发,设计了一系列量化指标以衡量搜索结果的相关性和有效性。核心内容包括精确度(Precision)、Precision@K(聚焦前K个结果)、Average Precision@K(考虑位置权重)以及MAP@K(系统整体性能评估)。通过实际案例分析,展示了如何用这些指标评估搜索系统的质量,并强调高质量系统需在多维度上表现优异,以契合用户真实需求和行为模式。文章为优化信息检索系统提供了科学指导框架。
904 7
信息检索系统评估指标的层级分析:从单点精确度到整体性能度量
|
数据采集 Web App开发 监控
深度解析:使用ChromeDriver和webdriver_manager实现无头浏览器爬虫
在现代网络爬虫实践中,动态网页加载和反爬虫机制增加了数据采集的难度。采用无头浏览器技术(如Selenium与ChromeDriver)可有效模拟用户行为、执行JavaScript,获取动态内容。通过设置代理IP、伪装User-Agent和处理Cookies,提升爬虫隐蔽性和稳定性。该方案适用于电商价格监控、社交媒体数据采集和招聘信息抓取等场景,实现更高效的数据获取。
1256 2
深度解析:使用ChromeDriver和webdriver_manager实现无头浏览器爬虫
|
算法 Linux
Linux copy时排除某文件/目录
Linux copy时排除某文件/目录
1246 0
|
Linux 编解码 Python
FFmpeg开发笔记(二十四)Linux环境给FFmpeg集成AV1的编解码器
AV1是一种高效免费的视频编码标准,由AOM联盟制定,相比H.265压缩率提升约27%。各大流媒体平台倾向使用AV1。本文介绍了如何在Linux环境下为FFmpeg集成AV1编解码库libaom、libdav1d和libsvtav1。涉及下载源码、配置、编译和安装步骤,包括设置环境变量以启用这三个库。
2285 3
FFmpeg开发笔记(二十四)Linux环境给FFmpeg集成AV1的编解码器
|
开发框架 JavaScript 前端开发
分享7个.NET开源、功能强大的快速开发框架
分享7个.NET开源、功能强大的快速开发框架
1344 1
|
机器学习/深度学习 数据采集 人工智能
人类生产力的解放?揭晓从大模型到AIGC的新魔法
本文从介绍大模型的概念延伸到大模型的革命意义。作者讲述了通过大模型的加持,让AIGC有了更多的可能性。
127695 6
|
机器学习/深度学习 并行计算 vr&ar
一文读懂:为什么GPU比CPU更快?
文章主要介绍了GPU与CPU的区别,以及为何GPU比CPU更快的原因。文章首先解释了CPU和GPU的不同设计理念,指出CPU适合延迟优化,而GPU则适合带宽优化。通过比喻,阐述了CPU和GPU在处理数据任务上的差异。接着从架构核心、内存架构、并行性、即时编译、编程模型、响应方式和应用方向等多个角度详细比较了CPU和GPU的工作方式不同之处。此外,文章还介绍了国产GPU的发展情况,指出其发展相对滞后,并分析了其发展难题和当前的发展机遇。
一文读懂:为什么GPU比CPU更快?
|
IDE 开发工具 C++
快速开始c,配置Clion
快速开始c,配置Clion
677 0
Linux系统调试篇——Linux错误码介绍
Linux系统调试篇——Linux错误码介绍