【pytorch】【202504】关于torch.nn.Linear
小白从开始这段代码展示了`nn.Linear`的使用及其背后的原理。
此外，小白还深入研究了PyTorch的核心类`torch.nn.Module`以及其子类`torch.nn.Linear`的源码。`grad_fn`作为张量的一个属性，用于指导反向传播
进一步地，小白探讨了`requires_grad`与叶子节点（leaf tensor）的关系。叶子节点是指在计算图中没有前驱操作的张量，只有设置了`requires_grad=True`的叶子节点才会在反向传播时保存梯度。
最后，小白学习了PyTorch中的三种梯度模式
通过以上学习小白对PyTorch的自动求导机制有了更深刻的理解。
9个主流GAN损失函数的数学原理和Pytorch代码实现：从经典模型到现代变体
生成对抗网络（GAN）的训练效果高度依赖于损失函数的选择。本文介绍了经典GAN损失函数理论，并用PyTorch实现多种变体，包括原始GAN、LS-GAN、WGAN及WGAN-GP等。通过分析其原理与优劣，如LS-GAN提升训练稳定性、WGAN-GP改善图像质量，展示了不同场景下损失函数的设计思路。代码实现覆盖生成器与判别器的核心逻辑，为实际应用提供了重要参考。未来可探索组合优化与自适应设计以提升性能。
NPU上如何使能pytorch图模式
本文介绍了PyTorch的`torch.compile`技术和TorchAir的相关内容。`torch.compile`通过将动态图转换为静态图并结合JIT编译，提升模型推理和训练效率。示例代码展示了如何使用`torch.compile`优化模型。TorchAir是昇腾为PyTorch提供的图模式扩展库，支持在昇腾设备上进行高效训练和推理。它基于Dynamo特性，将计算图转换为Ascend IR，并通过图引擎优化执行。文章还提供了TorchAir的使用示例及功能配置方法。
融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题，文章提出利用UCC和UCX等统一通信框架实现高效数据传输，并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战，如计算能力不平衡、内存容量差异及通信性能优化，文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性，但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开，供读者参考实践。