随着NVIDIA不断推出基于新架构的GPU产品，机器学习框架需要相应地更新以支持这些硬件。本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，并详细分析了问题根源及其解决方案，以期为遇到类似情况的开发者提供参考。
在Anaconda虚拟环境（"development"）中使用VSCode进行开发时，将开发硬件更换为RTX 5070 Ti后，PyTorch运行时出现以下错误提示：
NVIDIA GeForce RTX 5070 Ti with CUDA capability sm_120 is not compatible with the current PyTorch installation.
The current PyTorch install supports CUDA capabilities sm_50 sm_60 sm_61 sm_70 sm_75 sm_80 sm_86 sm_90.
...
RuntimeError: CUDA error: no kernel image is available for execution on the device
经分析，问题的核心在于PyTorch稳定版的预编译二进制文件不支持sm_120计算能力。RTX 5070 Ti采用了较新的架构，需要更新的CUDA版本以及对应的PyTorch构建版本才能正常工作。
解决方案分析与实施
1、使用PyTorch Nightly构建版本
首先采用的解决方案是使用PyTorch官方提供的Nightly构建版本。该版本通常包含对最新硬件的支持，但可能存在一定的不稳定性。具体实施步骤如下：
- 清理现有环境
conda activate development
pip uninstall torch torchvision torchaudio -y
pip cache purge
- 安装支持CUDA 12.8的Nightly构建版本
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128
通过这一命令，可以安装支持CUDA 12.8的PyTorch版本，该版本能够支持RTX 5070 Ti的sm_120架构。
2、环境变量配置尝试
初期曾考虑通过配置
TORCH_CUDA_ARCH_LIST
环境变量来解决问题：
set TORCH_CUDA_ARCH_LIST=12.0
但是这种方法对已安装的预编译二进制文件没有实质性影响。因为该环境变量主要在从源码编译PyTorch时发挥作用，而非控制已安装版本的行为。
3、CUDA工具包更新
为确保系统环境的完整性，同时安装了最新的CUDA工具包（CUDA 12.8）。这一步骤对于确保驱动程序、CUDA库与PyTorch版本的兼容性至关重要。完成安装后，通过
torch.version.cuda
可以验证CUDA版本已成功更新为12.8，且系统能够正确识别RTX 5070 Ti的硬件属性。
结果与经验
经过上述调整，成功解决了RTX 5070 Ti与PyTorch的兼容性问题。系统现在能够正确识别并充分利用GPU的计算能力。从这次问题解决过程中，可以总结出以下几点技术经验：
深度学习开发环境在面对新硬件时，需要关注多个层面的兼容性。对于最新的GPU架构，稳定版的预编译框架可能缺乏支持，此时Nightly构建版本或从源码编译是更可行的方案。
环境变量如
TORCH_CUDA_ARCH_LIST
的作用范围和时机需要准确理解。该变量主要影响编译过程，对预编译的二进制文件无效，这一点在问题诊断中尤为重要。
确保CUDA工具包、驱动程序与深度学习框架版本的一致性是解决兼容性问题的基础。在升级任何一个组件时，都需要考虑其他组件的相应调整。
环境重建有时是解决复杂依赖问题的最直接方法。完全卸载现有组件并安装最新版本最终解决了问题，这种方法虽简单但往往有效。
总结
新一代GPU如RTX 5070 Ti在深度学习环境中的应用，可能需要超出常规配置的特殊处理。本文记录的经验表明，使用最新的CUDA版本、采用Nightly构建版本以及确保环境各组件间的一致性，是解决此类问题的关键策略。
对于需要使用最新硬件的深度学习从业者而言，了解这些策略并灵活应用，将有助于更高效地配置开发环境，避免在技术细节上消耗过多时间。
https://avoid.overfit.cn/post/2924df9d6e17436180bbbe799928e378
