本节书摘来自华章计算机《CUDA C编程权威指南》一书中的第2章，第2.4节，作者 [美] 马克斯·格罗斯曼（Max Grossman），译 颜成钢 殷建 李亮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
2.4 设备管理
NVIDIA提供了几个查询和管理GPU设备的方法。学会如何查询GPU设备信息是很重要的，因为在运行时你可以使用它来帮助设置内核执行配置。
在本节，你将通过以下两种方法学习查询和管理GPU设备：
- CUDA运行时API函数
- NVIDIA系统管理界面（nvidia-smi）命令行实用程序
2.4.1 使用运行时API查询GPU信息
在CUDA运行时API中有很多函数可以帮助管理这些设备。可以使用以下函数查询关于GPU设备的所有信息：
cudaDeviceProp结构体返回GPU设备的属性，可以通过以下网址查看其内容：
代码清单2-8提供了一个示例，查询了大家通常感兴趣的一般属性。可以使用下列命令编译并运行：
根据你的配置，checkDeviceInfor将返回所安装设备的不同信息。下面是一个输出示例：
2.4.2 确定最优GPU
一些系统支持多GPU。在每个GPU都不同的情况下，选择性能最好的GPU运行核函数是非常重要的。通过比较GPU包含的多处理器的数量选出计算能力最佳的GPU。如果你有一个多GPU系统，可以使用以下代码来选择计算能力最优的设备：
2.4.3 使用nvidia-smi查询GPU信息
nvidia-smi是一个命令行工具，用于管理和监控GPU设备，并允许查询和修改设备状态。
你可以从命令行调用nvidia-smi。例如，要确定系统中安装了多少个GPU以及每个GPU的设备ID，可以使用以下命令：
你可以使用以下命令获取GPU 0的详细信息：
可以利用下列参数精简nvidia-smi的显示信息：
- MEMORY
- UTILIZATION
- ECC
- TEMPERATURE
- POWER
- CLOCK
- COMPUTE
- PIDS
- PERFORMANCE
- SUPPORTED_CLOCKS
- PAGE_RETIREMENT
- ACCOUNTING
例如，若只显示设备内存信息，可使用以下命令：
若只显示设备使用信息，可使用以下命令：
2.4.4 在运行时设置设备
支持多GPU的系统是很常见的。对于一个有N个GPU的系统，nvidia-smi从0到N―1标记设备ID。使用环境变量CUDA_VISIBLE_DEVICES，就可以在运行时指定所选的GPU且无须更改应用程序。
设置运行时环境变量CUDA_VISIBLE_DEVICES=2。nvidia驱动程序会屏蔽其他GPU，这时设备2作为设备0出现在应用程序中。
也可以使用CUDA_VISIBLE_DEVICES指定多个设备。例如，如果想测试GPU 2和GPU 3，可以设置CUDA_VISIBLE_DEVICES = 2, 3。然后，在运行时，nvidia驱动程序将只使用ID为2和3的设备，并且会将设备ID分别映射为0和1。
