AI系统专家/移动视觉/强化学习
本文介绍了AI框架在数学上对自动微分的表达和处理，以及其在多线程算子加速、GPU/NPU支持、代码编译优化等方面的技术挑战。文章详细梳理了AI框架的发展历程，从萌芽阶段到深化阶段，探讨了不同阶段的关键技术和代表性框架。同时，文章展望了AI框架的未来趋势，包括全场景支持、易用性提升、大规模分布式支持和科学计算融合。
本文介绍昇思MindSpore的并行训练技术，包括张量重排布、自动微分等，旨在简化并行策略搜索，提高大规模模型训练效率。文章探讨了大模型带来的挑战及现有框架的局限性，详细说明了MindSpore如何通过技术创新解决这些问题，实现高效的大模型训练。
混合并行融合了数据并行、模型并行和流水线并行，旨在高效利用计算资源，尤其适合大规模深度学习模型训练。通过将模型和数据合理分配至多个设备，混合并行不仅提升了计算效率，还优化了内存使用，使得在有限的硬件条件下也能处理超大型模型。3D混合并行（DP+PP+TP）是最先进的形式，需至少8个GPU实现。此策略通过拓扑感知3D映射最大化计算效率，减少通信开销，是当前深度学习训练框架如Deepspeed和Colossal AI的核心技术之一。
本文深入探讨了AI框架中针对权重数据、优化器数据和梯度数据的分布式并行实现，特别是在PyTorch框架下的具体方案。文章首先回顾了通用数据并行和分布式数据并行的概念，重点讨论了同步与异步数据并行的差异。接着，文章详细介绍了如何在PyTorch中实现弹性数据并行，特别是完全分片数据并行（FSDP）的机制，包括其如何通过分片模型状态和剩余状态来减少内存消耗，提高训练效率。此外，文章还探讨了混合精度训练、损失缩放和内存消耗估算等关键技术，为理解和实施高效的分布式训练提供了全面的指导。
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
在大模型训练中，单个设备难以满足计算和存储需求，分布式训练成为必要。模型并行是其中关键技术之一，通过将模型计算任务拆分至不同设备上执行，提高训练效率。模型并行主要包括朴素模型并行、张量并行和流水线并行。流水线并行通过将模型的不同层分配到不同设备上，采用微批次处理，提高设备利用率。Gpipe和PipeDream是两种流行的流水线并行方案，前者通过重叠前向和反向传播提升效率，后者则通过1F1B策略实现交错执行，最大化利用计算资源。
从 TensorFlow、PyTorch 到 PaddlePaddle、MindSpore、MegEngine，主流 AI 框架经历了动静分离、动静结合到动静统一的发展过程。这些框架通过动态图转静态图技术，实现了计算效率与灵活性的平衡，显著提升了 AI 开发效率和产品应用的便利性。
当前主流AI框架采用计算图抽象神经网络计算，以张量和算子为核心元素，有效表达模型计算逻辑。计算图不仅简化数据流动，支持内存优化和算子调度，还促进了自动微分功能的实现，区分静态图和动态图两种形式。未来，计算图将在图神经网络、大数据融合、推理部署及科学计算等领域持续演进，适应更复杂的计算需求。
数据并行是一种在分布式AI系统中广泛应用的技术，通过将数据集划分成多个子集并在不同计算节点上并行处理，以提高计算效率和速度。在大规模机器学习和深度学习训练中，数据并行可以显著加快模型训练速度，减少训练时间，提升模型性能。每个计算节点接收完整的模型副本，但处理不同的数据子集，从而分摊计算任务，提高处理速度和效率。数据并行按同步方式可分为同步数据并行和异步数据并行，按实现方式包括数据并行、分布式数据并行、完全分片的数据并行等。其中，分布式数据并行（DDP）是当前应用最广泛的并行算法之一，通过高效的梯度聚合和参数同步机制，确保模型一致性，适用于大型NPU集群和AI系统。
分布式训练通过将任务分配至多个节点，显著提升模型训练效率与精度。本文聚焦PyTorch2.0中的分布式训练技术，涵盖数据并行、模型并行及混合并行等策略，以及DDP、RPC等核心组件的应用，旨在帮助开发者针对不同场景选择最合适的训练方式，实现高效的大模型训练。
自动求导利用链式法则计算雅可比矩阵，从结果节点逆向追溯计算路径，适用于神经网络训练中损失值对网络参数的梯度计算。AI框架中，自动微分与反向传播紧密相连，通过构建计算图实现高效梯度计算，支持动态和静态计算图两种模式。动态图如PyTorch，适合灵活调试；静态图如TensorFlow，利于性能优化。
深度学习训练过程涉及前向计算、计算损失及更新权重参数。AI框架通过计算图统一表示训练过程，算子作为计算图的节点，由后端硬件高效执行。计算图调度包括算子间的调度、并发调度和异构调度，确保计算资源的有效利用。图执行模式分为单算子执行、整图下沉执行和图切分多设备执行，适应不同场景需求。以PyTorch为例，其算子执行通过两次调度选择合适的Kernel进行张量操作，并支持自动求导。
本文介绍了AI框架中使用计算图来抽象神经网络计算的必要性和优势，探讨了计算图的基本构成，包括标量、向量、矩阵、张量等数据结构及其操作，并详细解释了计算图如何帮助解决AI工程化中的挑战。此外，文章还通过PyTorch实例展示了动态计算图的特点和实现方法，包括节点（张量或函数）和边（依赖关系）的定义，以及如何通过自定义Function实现正向和反向传播逻辑。
自动微分是一种高效准确的计算机程序求导技术，广泛应用于计算流体力学、大气科学、工业设计仿真优化等领域。随着机器学习的发展，自动微分技术与编程语言、计算框架紧密结合，成为AI框架的核心功能之一。本文介绍了自动微分的基本概念及其与手动微分、数值微分和符号微分的区别和优势。
本文介绍华为自研AI框架昇思MindSpore，一个面向全场景的AI计算框架，旨在提供统一、高效、安全的平台，支持AI算法研究与生产部署。文章详细阐述了MindSpore的定位、架构、特性及在端边云全场景下的应用优势，强调其动静态图统一、联邦学习支持及高性能优化等亮点。
本文介绍了CPU和GPU的基础内存知识，NCHWX内存排布格式，以及MNN推理引擎如何通过数据内存重新排布进行内核优化，特别是针对WinoGrad卷积计算的优化方法，通过NC4HW4数据格式重排，有效利用了SIMD指令集特性，减少了cache miss，提高了计算效率。
本文介绍了AI算法、神经网络及AI框架的基础概念，探讨了神经网络的作用、训练目的以及AI框架如何简化模型设计、训练与验证过程。文章还概述了AI框架的发展历程和技术演进，强调了国内外主要AI框架的特点及其对AI技术发展的推动作用。
本文详细介绍Winograd优化算法，该算法通过增加加法操作来减少乘法操作，从而加速卷积计算。文章首先回顾Im2Col技术和空间组合优化，然后深入讲解Winograd算法原理及其在一维和二维卷积中的应用，最后讨论算法的局限性和实现步骤。Winograd算法在特定卷积参数下表现优异，但其应用范围受限。
Caffe 作为早期的 AI 框架，采用 Im2Col 方法优化卷积计算。Im2Col 将卷积操作转换为矩阵乘法，通过将输入数据重排为连续内存中的矩阵，减少内存访问次数，提高计算效率。该方法首先将输入图像转换为矩阵，然后利用 GEMM 库加速计算，最后将结果转换回原格式。这种方式显著提升了卷积计算的速度，尤其适用于通道数较多的卷积层。
本文详细介绍了卷积的数学原理及其在卷积神经网络（CNN）中的应用。卷积作为一种特殊的线性运算，是CNN处理图像任务的核心。文章从卷积的数学定义出发，通过信号处理的例子解释了卷积的过程，随后介绍了CNN中卷积计算的细节，包括卷积核、步长、填充等概念。文中还探讨了卷积的物理意义、性质及优化手段，如张量运算和内存布局优化。最后，提供了基于PyTorch的卷积实现示例，帮助读者理解和实现卷积计算。
本文详细介绍了AI模型在不同框架间的转换方法，包括直接转换和规范式转换两种方式。直接转换涉及从源框架直接生成目标框架的模型文件，而规范式转换则通过一个中间标准格式（如ONNX）作为桥梁，实现模型的跨框架迁移。文中还提供了具体的转换流程和技术细节，以及模型转换工具的概览，帮助用户解决训练环境与部署环境不匹配的问题。
推理引擎的Kernel层负责执行底层数学运算，如矩阵乘法、卷积等，直接影响推理速度与效率。它与Runtime层紧密配合，通过算法优化、内存布局调整、汇编优化及调度优化等手段，实现高性能计算。Kernel层针对不同硬件（如CPU、GPU）进行特定优化，支持NEON、AVX、CUDA等技术，确保在多种平台上高效运行。
本文深入探讨了计算图的优化策略，包括算子替换、数据类型转换、存储优化等，旨在提升模型性能和资源利用效率。特别介绍了Flash Attention算法，通过分块计算和重算策略优化Transformer模型的注意力机制，显著减少了内存访问次数，提升了计算效率。此外，文章还讨论了内存优化技术，如Inplace operation和Memory sharing，进一步减少内存消耗，提高计算性能。
模型转换技术旨在解决深度学习模型在不同框架间的兼容性问题，通过格式转换和图优化，将训练框架生成的模型适配到推理框架中，实现高效部署。这一过程涉及模型格式转换、计算图优化、算子统一及输入输出支持等多个环节，确保模型能在特定硬件上快速、准确地运行。推理引擎作为核心组件，通过优化阶段和运行阶段，实现模型的加载、优化和高效执行。面对不同框架的模型文件格式和网络结构，推理引擎需具备高度的灵活性和兼容性，以支持多样化的应用场景。
模型压缩旨在通过减少存储空间、降低计算量和提高计算效率，降低模型部署成本，同时保持模型性能。主要技术包括模型量化、参数剪枝、知识蒸馏和低秩分解，广泛应用于移动设备、物联网、在线服务系统、大模型及自动驾驶等领域。
本文概述了模型剪枝的概念、方法及流程，旨在通过移除神经网络中冗余或不重要的参数，实现模型规模的减小和效率的提升。剪枝不仅有助于降低模型的存储和计算需求，还能增强模型的泛化能力。文章详细介绍了剪枝的定义、分类、不同阶段的剪枝流程，以及多种剪枝算法，如基于参数重要性的方法、结构化剪枝、动态剪枝和基于优化算法的全局剪枝策略。通过这些方法，可以在保持模型性能的同时，显著提高模型的计算速度和部署灵活性。
模型量化是将浮点数模型参数转化为低比特整数表示的技术，旨在减少模型大小、内存消耗及推理延迟，但会带来精度损失。本文介绍量化的基本原理、优势及挑战，涵盖量化训练、动态与静态离线量化等方法，并探讨线性与非线性量化、饱和与非饱和量化等技术细节。
本文介绍感知量化训练（QAT）流程，旨在减少神经网络从FP32量化至INT8时的精度损失。通过在模型中插入伪量化节点（FakeQuant）模拟量化误差，并在训练中最小化这些误差，使模型适应量化环境。文章还探讨了伪量化节点的作用、正向与反向传播处理、TensorRT中的QAT模型高效推理，以及QAT与PTQ的对比，提供了实践技巧，如从良好校准的PTQ模型开始、采用余弦退火学习率计划等。
本文深入解析知识蒸馏(Knowledge Distillation, KD)，一种将大型教师模型的知识高效转移至小型学生模型的技术，旨在减少模型复杂度和计算开销，同时保持高性能。文章涵盖知识蒸馏的基本原理、不同类型的知识（如响应、特征、关系知识）、蒸馏方式（离线、在线、自蒸馏）及Hinton的经典算法，为读者提供全面的理解。
本文详细介绍了训练后量化技术，涵盖动态和静态量化方法，旨在将模型权重和激活从浮点数转换为整数，以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制，文章探讨了如何平衡模型精度与性能，同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
MobileViT系列是基于Vision Transformer（ViT）架构设计的轻量级视觉模型，专为移动设备和嵌入式系统优化。MobileViT V1通过结合局部卷积和全局Transformer机制，实现了高性能与低资源消耗的平衡。V2进一步优化了Transformer中的多头自注意力机制，引入了线性复杂度的可分离自注意力，显著提升了计算效率。V3则对融合模块进行了简化，用1x1卷积替代3x3卷积，减少了参数量，同时引入了残差连接，进一步提升了模型性能。这些改进使MobileViT系列在保持高效的同时，能够在资源受限的设备上运行，表现出色。
本文介绍了GhostNet系列网络，重点讲解了GhostNet V1和V2的改进。V1提出了Ghost Module，通过廉价操作生成更多特征图，构建轻量级网络。V2在此基础上引入了解耦全连接注意力（DFC）机制，增强了模型捕捉长距离依赖的能力，同时保持了高效的计算性能，特别适合移动设备。文章详细对比了V2与V1的区别，包括结构改进和性能提升。
本文介绍了EfficientNet系列模型，特别是EfficientNet V1和V2。EfficientNet V1通过NAS技术同时探索网络的宽度、深度和分辨率对模型性能的影响，提出了复合模型缩放方法，以平衡三者关系，实现高效模型扩展。EfficientNet V2在此基础上，引入Fused-MBConv模块，采用渐进式学习策略和自适应正则化技术，进一步提升了模型的训练速度和推理效率。
本文介绍了FBNet系列的三种版本，从FBNetV1基于NAS的轻量级网络设计，到FBNetV2通过DMaskingNAS增加搜索空间，再到FBNetV3联合搜索网络结构与训练参数，展示了如何利用NAS技术优化网络结构和提升模型性能。文章详细解释了各版本的技术特点和实现方法，为读者提供了深入了解和应用NAS技术的宝贵资料。
本文介绍了AI算法、神经网络及其应用，解释了为何神经网络需要训练及AI框架的作用。通过解析深度学习的数学原理与反向求导算法，阐述了AI框架如何作为模型设计、训练和验证的标准工具，支持算法封装、数据调用及计算资源管理，强调了AI框架的发展历程和技术迭代。
本文详细介绍 MobileNet 系列模型，重点探讨其轻量化设计原则。从 MobileNetV1 开始，通过深度可分离卷积和宽度乘数减少参数量，实现低延迟、低功耗。后续版本 V2、V3、V4 逐步引入线性瓶颈、逆残差、Squeeze-and-Excitation 模块、新型激活函数 h-swish、NAS 搜索等技术，持续优化性能。特别是 MobileNetV4，通过通用倒瓶颈（UIB）和 Mobile MQA 技术，大幅提升模型效率，达到硬件无关的 Pareto 最优。文章结合最新深度学习技术，全面解析各版本的改进与设计思路。
本文介绍了ShuffleNet系列模型，特别是其轻量化设计。ShuffleNet V1通过引入Pointwise Group Convolution和Channel Shuffle技术，在减少计算量的同时保持模型准确性。V2版本则进一步优化，考虑了设备运算速度，提出了四个轻量级网络设计原则，并通过Channel Split技术减少了内存访问成本，提升了模型效率。
本文概述了SqueezeNet及其后续版本SqueezeNext，两者均致力于设计轻量级的神经网络模型。SqueezeNet通过引入Fire模块，显著减少了模型参数量，实现了与AlexNet相当的精度，但参数量仅为后者1/50。SqueezeNext则进一步优化，不仅减少了参数量，还提升了模型运行速度和能效，特别适合在资源受限的设备上部署。文中详细介绍了这两个模型的核心设计理念、关键组件以及其实现方式，为理解和应用轻量化模型提供了宝贵资料。
本文介绍了几种轻量级的 Transformer 模型，旨在解决传统 Transformer 参数庞大、计算资源消耗大的问题。主要包括 **MobileVit** 和 **MobileFormer** 系列，以及 **EfficientFormer**。MobileVit 通过结合 CNN 和 Transformer 的优势，实现了轻量级视觉模型，特别适合移动设备。MobileFormer 则通过并行结构融合了 MobileNet 和 Transformer，增强了模型的局部和全局表达能力。
本文继续探讨CNN模型的小型化，涵盖ESPNet、FBNet、EfficientNet和GhostNet系列。ESPNet系列通过高效空间金字塔卷积减少运算量；FBNet系列采用基于NAS的轻量化网络设计；EfficientNet系列通过复合缩放方法平衡网络深度、宽度和分辨率；GhostNet系列则通过Ghost模块生成更多特征图，减少计算成本。各系列均旨在提升模型效率和性能，适用于移动和边缘设备。
本文详细介绍华为昇腾推理引擎 MindIE，涵盖其基本介绍、关键功能特性及三大组件：MindIE-Service、MindIE-Torch 和 MindIE-RT。文章深入探讨了各组件在服务化部署、大模型推理和推理运行时方面的功能和应用场景，旨在帮助读者全面了解 MindIE 如何支持 AI 业务的高效运行和模型的快速部署。
本文详细介绍了推理引擎的基本概念、特点、技术挑战及架构设计。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，实现智能决策和自动化处理。文章首先概述了推理引擎的四大特点：轻量、通用、易用和高效，接着探讨了其面临的三大技术挑战：需求复杂性与程序大小的权衡、算力需求与资源碎片化的矛盾、执行效率与模型精度的双重要求。随后，文章深入分析了推理引擎的整体架构，包括优化阶段的模型转换工具、模型压缩、端侧学习等关键技术，以及运行阶段的调度层、执行层等核心组件。最后，通过具体的开发流程示例，展示了如何使用推理引擎进行模型的加载、配置、数据预处理、推理执行及结果后处理。
本文深入探讨了AI推理系统架构，特别是以NVIDIA Triton Inference Server为核心，涵盖推理、部署、服务化三大环节。Triton通过高性能、可扩展、多框架支持等特点，提供了一站式的模型服务解决方案。文章还介绍了模型预编排、推理引擎、返回与监控等功能，以及自定义Backend开发和模型生命周期管理的最佳实践，如金丝雀发布和回滚策略，旨在帮助构建高效、可靠的AI应用。
本文概述了神经网络模型在云侧和边缘侧部署的特点与挑战。云侧部署凭借强大的计算能力和集中的数据管理，适合高吞吐量应用，但面临高成本、网络延迟等问题；边缘侧部署则通过模型优化和硬件加速降低延迟和能耗，适用于资源受限的环境，但存在算力限制、数据分散等挑战。两种方式各有优劣，需根据实际需求选择。
推理系统是一种专门用于部署和执行神经网络模型预测任务的AI系统，类似于Web服务或移动端应用，但专注于AI模型的部署与运行。它支持将模型部署到云端或边缘端，处理用户请求。本文介绍了训练与推理的基本流程、两者差异、推理系统的优化目标及挑战，并对比了推理系统与推理引擎的流程结构，强调了设计推理系统时需考虑的优化目标，如灵活性、延迟、吞吐量、高效率、扩展性和可靠性。同时，文章还讨论了推理系统与推理引擎的区别，帮助读者深入了解推理引擎的核心技术。
本文深入探讨了推理系统与推理引擎的概念及其实现方法，涵盖模型小型化、离线优化压缩、在线部署与优化等多个方面。通过具体应用实例，如人脸Landmark识别、人脸检测与手势识别等，展示了推理系统在实际场景中的强大功能。同时，文章还讨论了维护推理系统时需考虑的关键问题，包括API设计、数据质量保障、网络延迟优化等，为读者提供了全面的理论与实践指南。
本文介绍了算子的基本概念及其在编程和数学中的作用，重点探讨了CANN算子在AI编程和神经网络中的应用，特别是华为CANN算子在AI CPU上的架构和开发要求。CANN是华为推出的异构计算架构，旨在优化AI处理器的计算效率，支持多种AI框架，涵盖AI Core和AI CPU算子，以适应不同类型的计算需求。文中还详细说明了AI CPU算子的开发流程和适用场景，为开发者提供了宝贵的指导。
本文介绍了昇腾 AI 异构计算架构 CANN，涵盖硬件层面的达·芬奇架构和软件层面的全栈支持，旨在提供高性能神经网络计算所需的硬件基础和软件环境。通过多层级架构，CANN 实现了高效的 AI 应用开发与性能优化，支持多种主流 AI 框架，并提供丰富的开发工具和接口，助力开发者快速构建和优化神经网络模型。
本文深入探讨了手写算子调度的关键因素及高性能算子库的介绍，通过计算分析指标和 RoofLine 模型评估计算与访存瓶颈，提出了循环、指令、存储三大优化策略，并介绍了 TVM 和 Triton 两种 DSL 开发算子的方法及其在实际应用中的表现。
AI编译器采用多层架构，首先通过前端优化将不同框架的模型转化为统一的Graph IR并进行计算图级别的优化，如图算融合、内存优化等。接着，通过后端优化，将优化后的计算图转换为TensorIR，针对单个算子进行具体实现优化，包括循环优化、算子融合等，以适应不同的硬件架构，最终生成高效执行的机器代码。后端优化是提升算子性能的关键步骤，涉及复杂的优化策略和技术。
发表了文章
2024-12-19
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-09
发表了文章
2024-12-08
