ONNX 优化技巧：加速模型推理
【8月更文第27天】ONNX (Open Neural Network Exchange) 是一个开放格式，用于表示机器学习模型，使模型能够在多种框架之间进行转换。ONNX Runtime (ORT) 是一个高效的推理引擎，旨在加速模型的部署。本文将介绍如何使用 ONNX Runtime 和相关工具来优化模型的推理速度和资源消耗。
英伟达新一代GPU架构（50系列显卡）PyTorch兼容性解决方案
本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，分析其根源为预编译二进制文件不支持sm_120架构，并提出解决方案：使用PyTorch Nightly版本、更新CUDA工具包至12.8。通过清理环境并安装支持新架构的组件，成功解决兼容性问题。文章总结了深度学习环境中硬件与框架兼容性的关键策略，强调Nightly构建版本和环境一致性的重要性，为开发者提供参考。
Nvidia Jetson Orin系列配置教程
本文是Nvidia Jetson Orin系列的配置教程，介绍了两种安装方法：通过Nvidia SDK Manager进行安装和通过本地镜像烧录进行安装。第一种方法包括下载SDK Manager、安装和使用工具进行Jetson系列硬件的配置。第二种方法包括下载官方镜像、使用Etcher烧录镜像、安装镜像、安装开发环境以及检查开发环境是否配置成功。文中还提供了CUDA、cuDNN、TensorRT和OpenCV的检查命令和预期结果。