Triton入门教程：安装与编写和运行简单Triton内核
Triton是一款开源GPU编程语言与编译器，专为AI和深度学习领域设计，提供高性能GPU代码开发的高效途径。它支持通过Python编写自定义GPU内核，性能接近专家级CUDA代码，但无需掌握底层CUDA知识。本文全面介绍了Triton的核心功能、安装方法、基础应用、高级优化策略，以及与CUDA和PyTorch的技术对比。此外，还探讨了其在实际项目中的应用场景，如加速Transformer模型训练和实现高效的量化计算内核。Triton简化了GPU编程流程，降低了开发门槛，同时保持高性能表现，成为连接高级框架与底层硬件的重要工具。
比扩散策略更高效的生成模型：流匹配的理论基础与Pytorch代码实现
扩散模型和流匹配是生成高分辨率数据（如图像和机器人轨迹）的先进技术。扩散模型通过逐步去噪生成数据，其代表应用Stable Diffusion已扩展至机器人学领域形成“扩散策略”。流匹配作为更通用的方法，通过学习时间依赖的速度场将噪声转化为目标分布，适用于图像生成和机器人轨迹生成，且通常以较少资源实现更快生成。
本文深入解析流匹配在图像生成中的应用，核心思想是将图像视为随机变量的实现，并通过速度场将源分布转换为目标分布。文中提供了一维模型训练实例，展示了如何用神经网络学习速度场，以及使用最大均值差异（MMD）改进训练效果。与扩散模型相比，流匹配结构简单，资源需求低，适合多模态分布生成。
PyTorch CUDA内存管理优化：深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制，特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因，并通过实际案例（如Llama 1B模型训练）展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术，显著提升了内存使用效率，减少了系统调用开销。此外，文章还介绍了高级优化方法，包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
AI鱼类识别技术原理及示例代码
本文详细解析了AI鱼类识别的代码示例，涵盖深度学习框架选择、数据集处理、模型构建与训练优化全流程。内容包括技术选型对比（如TensorFlow、PyTorch、YOLO系列）、数据准备流程（开源数据集与标注规范）、完整代码示例（以PyTorch版ResNet50改进模型为例）以及模型优化策略（如量化压缩、知识蒸馏）。此外，还提供了典型应用场景（如渔业资源监测系统）、模型评估指标及开源项目推荐，并针对常见问题（小样本、水下模糊、类别不平衡等）提出解决方案。
英伟达新一代GPU架构（50系列显卡）PyTorch兼容性解决方案
本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，分析其根源为预编译二进制文件不支持sm_120架构，并提出解决方案：使用PyTorch Nightly版本、更新CUDA工具包至12.8。通过清理环境并安装支持新架构的组件，成功解决兼容性问题。文章总结了深度学习环境中硬件与框架兼容性的关键策略，强调Nightly构建版本和环境一致性的重要性，为开发者提供参考。
【pytorch】【202504】关于torch.nn.Linear
小白从开始这段代码展示了`nn.Linear`的使用及其背后的原理。
此外，小白还深入研究了PyTorch的核心类`torch.nn.Module`以及其子类`torch.nn.Linear`的源码。`grad_fn`作为张量的一个属性，用于指导反向传播
进一步地，小白探讨了`requires_grad`与叶子节点（leaf tensor）的关系。叶子节点是指在计算图中没有前驱操作的张量，只有设置了`requires_grad=True`的叶子节点才会在反向传播时保存梯度。
最后，小白学习了PyTorch中的三种梯度模式
通过以上学习小白对PyTorch的自动求导机制有了更深刻的理解。