【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
【AI系统】计算图的控制流实现
计算图作为有向无环图（DAG），能够抽象神经网络模型，但在编程中遇到控制流语句（如if、else、while、for）时，如何表示成为难题。引入控制流后，开发者可构建更复杂的模型结构，但部署含控制流的模型至不支持Python的设备上较为困难。目前，PyTorch仅支持Python控制流，而TensorFlow通过引入控制流原语来解决此问题。计算图的动态与静态实现各有优劣，动态图易于调试，静态图利于优化。
【AI系统】动态图与静态图转换
从 TensorFlow、PyTorch 到 PaddlePaddle、MindSpore、MegEngine，主流 AI 框架经历了动静分离、动静结合到动静统一的发展过程。这些框架通过动态图转静态图技术，实现了计算效率与灵活性的平衡，显著提升了 AI 开发效率和产品应用的便利性。
【AI系统】数据并行
数据并行是一种在分布式AI系统中广泛应用的技术，通过将数据集划分成多个子集并在不同计算节点上并行处理，以提高计算效率和速度。在大规模机器学习和深度学习训练中，数据并行可以显著加快模型训练速度，减少训练时间，提升模型性能。每个计算节点接收完整的模型副本，但处理不同的数据子集，从而分摊计算任务，提高处理速度和效率。数据并行按同步方式可分为同步数据并行和异步数据并行，按实现方式包括数据并行、分布式数据并行、完全分片的数据并行等。其中，分布式数据并行（DDP）是当前应用最广泛的并行算法之一，通过高效的梯度聚合和参数同步机制，确保模型一致性，适用于大型NPU集群和AI系统。
【AI系统】计算图与自动微分
自动求导利用链式法则计算雅可比矩阵，从结果节点逆向追溯计算路径，适用于神经网络训练中损失值对网络参数的梯度计算。AI框架中，自动微分与反向传播紧密相连，通过构建计算图实现高效梯度计算，支持动态和静态计算图两种模式。动态图如PyTorch，适合灵活调试；静态图如TensorFlow，利于性能优化。
【AI系统】计算图的调度与执行
深度学习训练过程涉及前向计算、计算损失及更新权重参数。AI框架通过计算图统一表示训练过程，算子作为计算图的节点，由后端硬件高效执行。计算图调度包括算子间的调度、并发调度和异构调度，确保计算资源的有效利用。图执行模式分为单算子执行、整图下沉执行和图切分多设备执行，适应不同场景需求。以PyTorch为例，其算子执行通过两次调度选择合适的Kernel进行张量操作，并支持自动求导。
【AI系统】计算图原理
本文介绍了AI框架中使用计算图来抽象神经网络计算的必要性和优势，探讨了计算图的基本构成，包括标量、向量、矩阵、张量等数据结构及其操作，并详细解释了计算图如何帮助解决AI工程化中的挑战。此外，文章还通过PyTorch实例展示了动态计算图的特点和实现方法，包括节点（张量或函数）和边（依赖关系）的定义，以及如何通过自定义Function实现正向和反向传播逻辑。
【AI系统】计算图基本介绍
近年来，AI框架如TensorFlow和PyTorch通过计算图描述神经网络，推动了AI技术的发展。计算图不仅抽象了神经网络的计算表达，还支持了模型算子的高效执行、梯度计算及参数训练。随着模型复杂度增加，如MOE、GAN、Attention Transformer等，AI框架需具备快速分析模型结构的能力，以优化训练效率。计算图与自动微分紧密结合，实现了从前向计算到反向传播的全流程自动化。
【AI系统】自动微分的挑战&未来
本文详细探讨了自动微分的原理与实现，包括其在AI框架中的应用实例，指出自动微分技术面临的两大挑战——易用性和高效性能。文章分析了数学表达与程序表达间的差异对自动微分实现的影响，讨论了控制流表达、复杂数据类型、语言特性的处理难题，以及物理系统模拟对自动微分的需求。此外，还探讨了提高自动微分性能的方法，如合理选择中间结果存储点以平衡内存占用与运行速度。最后展望了自动微分的未来发展，特别是可微编程的概念及其在AI领域的应用前景。
【AI系统】动手实现 PyTorch 微分
本文介绍了使用操作符重载（OO）编程方式实现的自动微分，特别是采用反向模式（Reverse Mode）的实现方法。文中详细解释了操作符重载的基本概念及其在自动微分中的应用，以及反向模式的工作原理。通过 Python 示例代码，演示了如何手动实现类似 PyTorch 中自动微分的核心机制，包括定义 `Variable` 类、`Tape` 结构以及实现基本的数学运算符重载。最后，通过一个具体的数学函数示例展示了如何利用上述机制计算梯度，帮助读者理解反向模式自动微分的全过程。