ZOMI酱
ZOMI酱_个人页
ZOMI酱
文章
159
问答
0
视频
0
个人介绍
AI系统专家/移动视觉/强化学习
擅长的技术
-
发表了文章 2024-12-09
【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
-
发表了文章 2024-12-09
【AI系统】数据并行
数据并行是一种在分布式AI系统中广泛应用的技术，通过将数据集划分成多个子集并在不同计算节点上并行处理，以提高计算效率和速度。在大规模机器学习和深度学习训练中，数据并行可以显著加快模型训练速度，减少训练时间，提升模型性能。每个计算节点接收完整的模型副本，但处理不同的数据子集，从而分摊计算任务，提高处理速度和效率。数据并行按同步方式可分为同步数据并行和异步数据并行，按实现方式包括数据并行、分布式数据并行、完全分片的数据并行等。其中，分布式数据并行（DDP）是当前应用最广泛的并行算法之一，通过高效的梯度聚合和参数同步机制，确保模型一致性，适用于大型NPU集群和AI系统。
-
发表了文章 2024-12-08
【AI系统】卷积操作原理
本文详细介绍了卷积的数学原理及其在卷积神经网络（CNN）中的应用。卷积作为一种特殊的线性运算，是CNN处理图像任务的核心。文章从卷积的数学定义出发，通过信号处理的例子解释了卷积的过程，随后介绍了CNN中卷积计算的细节，包括卷积核、步长、填充等概念。文中还探讨了卷积的物理意义、性质及优化手段，如张量运算和内存布局优化。最后，提供了基于PyTorch的卷积实现示例，帮助读者理解和实现卷积计算。
-
发表了文章 2024-12-08
【AI系统】Kernel 层架构
推理引擎的Kernel层负责执行底层数学运算，如矩阵乘法、卷积等，直接影响推理速度与效率。它与Runtime层紧密配合，通过算法优化、内存布局调整、汇编优化及调度优化等手段，实现高性能计算。Kernel层针对不同硬件（如CPU、GPU）进行特定优化，支持NEON、AVX、CUDA等技术，确保在多种平台上高效运行。
-
发表了文章 2024-12-08
【AI系统】计算图的优化策略
本文深入探讨了计算图的优化策略，包括算子替换、数据类型转换、存储优化等，旨在提升模型性能和资源利用效率。特别介绍了Flash Attention算法，通过分块计算和重算策略优化Transformer模型的注意力机制，显著减少了内存访问次数，提升了计算效率。此外，文章还讨论了内存优化技术，如Inplace operation和Memory sharing，进一步减少内存消耗，提高计算性能。
-
发表了文章 2024-12-08
【AI系统】模型压缩基本介绍
模型压缩旨在通过减少存储空间、降低计算量和提高计算效率，降低模型部署成本，同时保持模型性能。主要技术包括模型量化、参数剪枝、知识蒸馏和低秩分解，广泛应用于移动设备、物联网、在线服务系统、大模型及自动驾驶等领域。
-
发表了文章 2024-12-08
【AI系统】感知量化训练 QAT
本文介绍感知量化训练（QAT）流程，旨在减少神经网络从FP32量化至INT8时的精度损失。通过在模型中插入伪量化节点（FakeQuant）模拟量化误差，并在训练中最小化这些误差，使模型适应量化环境。文章还探讨了伪量化节点的作用、正向与反向传播处理、TensorRT中的QAT模型高效推理，以及QAT与PTQ的对比，提供了实践技巧，如从良好校准的PTQ模型开始、采用余弦退火学习率计划等。
-
发表了文章 2024-12-07
【AI系统】MobileVit 系列
MobileViT系列是基于Vision Transformer（ViT）架构设计的轻量级视觉模型，专为移动设备和嵌入式系统优化。MobileViT V1通过结合局部卷积和全局Transformer机制，实现了高性能与低资源消耗的平衡。V2进一步优化了Transformer中的多头自注意力机制，引入了线性复杂度的可分离自注意力，显著提升了计算效率。V3则对融合模块进行了简化，用1x1卷积替代3x3卷积，减少了参数量，同时引入了残差连接，进一步提升了模型性能。这些改进使MobileViT系列在保持高效的同时，能够在资源受限的设备上运行，表现出色。
-
发表了文章 2024-12-07
【AI系统】EfficientNet 系列
本文介绍了EfficientNet系列模型，特别是EfficientNet V1和V2。EfficientNet V1通过NAS技术同时探索网络的宽度、深度和分辨率对模型性能的影响，提出了复合模型缩放方法，以平衡三者关系，实现高效模型扩展。EfficientNet V2在此基础上，引入Fused-MBConv模块，采用渐进式学习策略和自适应正则化技术，进一步提升了模型的训练速度和推理效率。
-
发表了文章 2024-12-06
【AI系统】推理引擎架构
本文详细介绍了推理引擎的基本概念、特点、技术挑战及架构设计。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，实现智能决策和自动化处理。文章首先概述了推理引擎的四大特点：轻量、通用、易用和高效，接着探讨了其面临的三大技术挑战：需求复杂性与程序大小的权衡、算力需求与资源碎片化的矛盾、执行效率与模型精度的双重要求。随后，文章深入分析了推理引擎的整体架构，包括优化阶段的模型转换工具、模型压缩、端侧学习等关键技术，以及运行阶段的调度层、执行层等核心组件。最后，通过具体的开发流程示例，展示了如何使用推理引擎进行模型的加载、配置、数据预处理、推理执行及结果后处理。
-
发表了文章 2024-12-05
【AI系统】推理系统架构
本文深入探讨了AI推理系统架构，特别是以NVIDIA Triton Inference Server为核心，涵盖推理、部署、服务化三大环节。Triton通过高性能、可扩展、多框架支持等特点，提供了一站式的模型服务解决方案。文章还介绍了模型预编排、推理引擎、返回与监控等功能，以及自定义Backend开发和模型生命周期管理的最佳实践，如金丝雀发布和回滚策略，旨在帮助构建高效、可靠的AI应用。
-
发表了文章 2024-12-02
【AI系统】LLVM 架构设计和原理
本文介绍了LLVM的诞生背景及其与GCC的区别，重点阐述了LLVM的架构特点，包括其组件独立性、中间表示（IR）的优势及整体架构。通过Clang+LLVM的实际编译案例，展示了从C代码到可执行文件的全过程，突显了LLVM在编译器领域的创新与优势。
-
发表了文章 2024-12-02
【AI系统】SIMD & SIMT 与芯片架构
本文深入解析了SIMD（单指令多数据）与SIMT（单指令多线程）的计算本质及其在AI芯片中的应用，特别是NVIDIA CUDA如何实现这两种计算模式。SIMD通过单指令对多个数据进行操作，提高数据并行处理能力；而SIMT则在GPU上实现了多线程并行，每个线程独立执行相同指令，增强了灵活性和性能。文章详细探讨了两者的硬件结构、编程模型及硬件执行模型的区别与联系，为理解现代AI计算架构提供了理论基础。
-
发表了文章 2024-12-02
【AI系统】SIMD & SIMT 与 CUDA 关系
本文深入解析了AI芯片中SIMD和SIMT的计算本质，基于NVIDIA CUDA实现的对比，探讨了不同并行编程模型，包括串行(SISD)、数据并行(SIMD)和多线程(MIMD/SPMD)。文章详细介绍了各模型的特点及应用场景，特别强调了英伟达GPU中的SIMT机制如何通过SPMD编程模型实现高效并行计算，以及SIMD、SIMT、SPMD之间的关系和区别。
-
发表了文章 2024-11-29
【AI系统】昇腾 AI 处理器
本文介绍华为昇腾AI处理器的架构与卷积加速原理，基于达芬奇架构设计，支持云边端一体化解决方案，具备高能效比和强大的3D Cube矩阵计算单元。文章详细解析了昇腾AI处理器的核心组件及其高效的数据处理机制，旨在通过软硬件优化实现高效的卷积计算加速。
-
发表了文章 2024-11-29
【AI系统】昇腾 AI 架构介绍
昇腾计算产业基于华为昇腾系列处理器，涵盖硬件、基础软件、应用使能等，构建全栈AI计算基础设施。华为通过开放硬件、开源软件，支持多框架，推动AI技术在端、边、云的广泛应用，促进AI产业生态繁荣。
-
发表了文章 2024-11-29
【AI系统】寒武纪介绍
中科寒武纪科技股份有限公司，成立于2016年，致力于打造云边端一体、软硬件协同的智能芯片产品和平台化基础系统软件。寒武纪的产品线涵盖了终端智能处理器IP、边缘端和云端智能加速卡，形成了从1A处理器核到思元系列MLU100、MLU200、MLU300的完整布局。其核心技术包括高效的MLU Core架构和Cambricon Neuware软件栈，支持高性能AI计算，助力机器更好地理解和服务人类。
-
发表了文章 2024-11-29
【AI系统】谷歌 TPU v4 与光路交换
TPU v4 是谷歌在 TPU v3 发布四年后推出的最新一代 AI 加速器，采用了 7nm 工艺，MXU 数量翻倍，内存容量和带宽显著提升。TPU v4 引入了 Sparse Core 以优化稀疏计算，首次采用了 3D Torus 互联方式，通过 Palomar 光路开关芯片减少系统延迟和功耗。TPU v4 Pod 实现了 1.126 Exaflops 的 BF16 峰值算力，展现了谷歌在大规模并行计算领域的突破。然而，TPU v4 也面临着系统成熟度低、拓扑僵硬和负载均衡问题等挑战。
-
发表了文章 2024-11-28
【AI系统】谷歌 TPU 历史发展
本文详细介绍了谷歌TPU的发展历程及其在AI领域的应用。TPU是谷歌为加速机器学习任务设计的专用集成电路，自2016年首次推出以来，经历了多次迭代升级，包括TPU v1、v2、v3、v4及Edge TPU等版本。文章分析了各代TPU的技术革新，如低精度计算、脉动阵列、专用硬件设计等，并探讨了TPU在数据中心和边缘计算中的实际应用效果，以及谷歌如何通过TPU推动移动计算体验的进步。
-
发表了文章 2024-11-28
【AI系统】NV Switch 深度解析
英伟达的NVSwitch技术是高性能计算领域的重大突破，旨在解决多GPU系统中数据传输的瓶颈问题。通过提供比PCIe高10倍的带宽，NVLink实现了GPU间的直接数据交换，减少了延迟，提高了吞吐量。NVSwitch则进一步推动了这一技术的发展，支持更多NVLink接口，实现无阻塞的全互联GPU系统，极大提升了数据交换效率和系统灵活性，为构建强大的计算集群奠定了基础。
-
发表了文章 2024-11-28
【AI系统】Tensor Core 深度剖析
Tensor Core 是英伟达 GPU 的关键技术，专为加速深度学习计算设计，尤其擅长矩阵乘法和卷积运算。通过混合精度计算，Tensor Core 使用半精度（FP16）输入输出，内部以全精度（FP32）计算，确保精度同时提高效率。相比传统 CUDA Core，Tensor Core 每个时钟周期可执行 64 个浮点运算，大幅提升计算速度。其工作原理包括指令流水线、线程执行等多级优化，确保高效并行处理。通过分块、分配和并行执行策略，Tensor Core 能有效处理大规模矩阵计算，极大加速神经网络模型的训练和推断。
-
发表了文章 2024-11-28
【AI系统】Tensor Core 基本原理
本文深入介绍了英伟达GPU中的Tensor Core，一种专为加速深度学习设计的硬件单元。文章从发展历程、卷积计算、混合精度训练及基本原理等方面，详细解析了Tensor Core的工作机制及其在深度学习中的应用，旨在帮助读者全面理解Tensor Core技术。通过具体代码示例，展示了如何在CUDA编程中利用Tensor Core实现高效的矩阵运算，从而加速模型训练和推理过程。
-
发表了文章 2024-11-28
【AI系统】GPU 架构与 CUDA 关系
本文介绍了英伟达GPU硬件基础概念，重点解析了A100 GPU架构中的GPC、TPC、SM等组件及其功能。接着深入讲解了CUDA并行计算平台和编程模型，特别是CUDA线程层次结构。最后，文章探讨了如何根据CUDA核心数量、核心频率等因素计算GPU的算力峰值，这对于评估大模型训练的算力需求至关重要。
-
发表了文章 2024-11-28
【AI系统】为什么 GPU 适用于 AI
本文探讨了GPU在AI计算中的应用，从卷积计算的基本原理入手，解析了GPU线程分级与AI计算模式的关系，以及矩阵乘法如何通过GPU编程提升算力利用率。文章还介绍了计算强度的概念，分析了不同数据结构对计算强度的影响，以及GPU中Tensor Core的作用，强调了在不同存储位置下，找到计算强度与矩阵大小的最佳平衡点对AI计算系统优化的重要性。
-
发表了文章 2024-11-27
【AI系统】GPU 工作原理
本文详细解析了AI计算体系中的GPU工作原理，重点介绍了GPU与CPU在架构上的差异，强调了GPU在并行计算方面的优势。文章通过$AX+Y$的例子，展示了GPU如何通过并行和并发提高计算效率，并深入探讨了GPU的缓存机制及线程原理，解释了GPU如何通过大量线程和Warp来掩盖延迟问题，实现高效计算。
-
发表了文章 2024-11-27
【AI系统】超异构计算
本文探讨了计算机架构发展的黄金十年，重点介绍了异构计算和超异构计算的概念及其在AI芯片发展中的应用。文章首先回顾了AI芯片发展的三个阶段，随后详细阐述了异构计算的优势和应用场景，如性能飞跃、灵活定制、降低成本和降低功耗。接着，文章分析了超异构计算的出现背景、基本特征及其面临的挑战，包括软件层的复杂性和硬件定义软件与软件定义硬件之间的权衡。最后，展望了超异构计算的未来，强调了跨平台统一计算架构的重要性，以及构建开放生态系统的必要性。
-
发表了文章 2024-11-27
【AI系统】CPU 指令集架构
本文介绍了指令集架构（ISA）的基本概念，探讨了CISC与RISC两种主要的指令集架构设计思路，分析了它们的优缺点及应用场景。文章还简述了ISA的历史发展，包括x86、ARM、MIPS、Alpha和RISC-V等常见架构的特点。最后，文章讨论了CPU的并行处理架构，如SISD、SIMD、MISD、MIMD和SIMT，并概述了这些架构在服务器、PC及嵌入式领域的应用情况。
-
发表了文章 2024-11-27
【AI系统】CPU 基础
CPU，即中央处理器，是计算机的核心组件，负责执行指令和数据计算，协调计算机各部件运作。自1946年ENIAC问世以来，CPU经历了从弱小到强大的发展历程。本文将介绍CPU的基本概念、发展历史及内部结构，探讨世界首个CPU的诞生、冯·诺依曼架构的影响，以及现代CPU的组成与工作原理。从4004到酷睿i系列，Intel与AMD的竞争推动了CPU技术的飞速进步。CPU由算术逻辑单元、存储单元和控制单元三大部分组成，各司其职，共同完成指令的取指、解码、执行和写回过程。
-
发表了文章 2024-11-26
【AI系统】大模型的到来
大模型的兴起，让系统工程师能在前所未有的集群规模上解决复杂工程问题，显著降低成本和时间。本文探讨了大模型的发展历程、技术架构、支持模态及应用领域，特别分析了AI系统与AI基础设施的区别及其对大模型的影响。随着大模型进入爆发期，AI系统的重要性日益凸显，不仅影响着算法的选择与发展，也成为推动大模型研究与应用的关键力量。
-
发表了文章 2024-11-26
【AI系统】AI系统架构的组成
本文概述了AI系统的组成，从AI训练与推理框架、AI编译与计算架构到AI硬件与体系结构，详细介绍了各层的功能与技术细节。同时，探讨了AI系统生态的广泛领域，包括核心系统软硬件、AI算法和框架以及更广泛的生态组成部分，强调了在模型训练、推理、安全与隐私等方面的技术挑战与解决方案。
-
发表了文章 2024-11-26
【AI系统】AI系统概述与设计目标
本文介绍了AI系统的全栈架构，涵盖设计目标、组成和生态。AI系统旨在连接硬件与应用，提供高效的模型服务和开发支持。文中探讨了高效编程语言、开发框架、工具链的重要性，以及AI任务系统级支持、自动编译优化和云原生自动分布式化等关键设计目标。此外，还详细讨论了AI训练与推理框架、AI编译与计算架构、AI硬件与体系结构等组成部分，以及AI算法和框架、更广泛的生态系统等。
-
发表了文章 2024-11-26
【AI系统】AI的领域、场景与行业应用
本文概述了AI的历史、现状及发展趋势，涵盖AI系统的初步设计原则，并深入探讨了AI在计算机视觉、自然语言处理和音频处理三个领域的具体应用。同时，文中还介绍了AI在金融、医疗、教育、互联网及自动驾驶等行业中的广泛应用，强调了AI基础设施的重要性及其对企业竞争力的影响。通过阅读本文，读者不仅可以获得系统的AI知识，还能激发对AI系统研究的兴趣，掌握相关的设计原则与方法。
-
发表了文章 2024-10-11
【AI系统】AI 框架与编译器的作用
AI框架如PyTorch和TensorFlow提供丰富的API，简化神经网络模型的实现与训练，抽象硬件操作并自动管理内存。AI编译器将高级语言编写的模型转换为硬件可执行代码，通过多层次优化提升性能。这使得算法工程师可以专注于模型设计与创新，而无需关注底层计算细节。AI框架和编译器不仅提高开发效率，还能充分利用硬件资源，是推动AI系统性能提升的关键技术。访问昇腾社区官网或下载APP，获取更多AI学习资源和参与各类活动。
-
发表了文章 2024-10-11
【AI系统】AI系统的生态
在快速发展的AI领域，系统生态变得愈加复杂多元，涵盖核心软硬件、算法、框架及广泛的应用领域。本文深入剖析AI生态构成及其对技术进步的重要性，强调健康生态对促进技术创新、提升开发效率及加速商业化的作用。从核心硬件到算法框架，再到安全与隐私保护，全方位解读AI生态的构建与未来发展。
-
发表了文章 2024-10-11
【AI系统】AI系统的组成
本文详细解析了AI系统的多层次架构，涵盖应用与开发层、AI框架层、编译与运行时及硬件体系结构等，阐述各部分如何协同支撑AI应用的开发与运行，提升整体性能与效率，并随著AI技术进步持续演进。从编程语言到AI芯片设计，每一层都对系统的最终表现起着至关重要的作用。
-
发表了文章 2024-10-10
【AI系统】AI系统的设计目标与挑战
本文探讨了AI系统设计的核心目标及其面临的挑战。AI系统作为硬件与应用间的桥梁，需提升开发效率、优化用户体验，并支持数据处理、模型训练等全生命周期环节。此外，还需在系统级上灵活支持多样化AI任务，应对新技术带来的挑战，如动态图支持、大规模部署及安全需求。未来，AI系统设计将更注重高效、灵活与安全。
-
发表了文章 2024-10-10
【AI系统】AI 学习方法与算法现状
在人工智能的历史长河中，我们见证了从规则驱动系统到现代机器学习模型的转变。AI的学习方法基于深度神经网络，通过前向传播、反向传播和梯度更新不断优化权重，实现从训练到推理的过程。当前，AI算法如CNN、RNN、GNN和GAN等在各自领域取得突破，推动技术进步的同时也带来了更大的挑战，要求算法工程师与系统设计师紧密合作，共同拓展AI技术的边界。
-
发表了文章 2024-10-10
【AI系统】AI在不同领域的应用与行业影响
本文探讨了人工智能在计算机视觉、自然语言处理及音频处理等领域的广泛应用，并展示了其在自动驾驶、安全监控、搜索引擎优化、客户服务、语音识别及多个行业的革新作用，强调了AI基础设施与系统创新对未来社会的影响与价值。
-
发表了文章 2024-10-10
【AI系统】AI的历史、现状与理论基础
人工智能（AI）作为一门跨学科的研究领域，其目标是模拟、延伸和扩展人的智能。本文旨在概述AI的历史发展、当前趋势以及理论基础，为读者提供一个系统的视角。
-
发表了文章 2023-07-23
AI框架跟计算图什么关系？PyTorch如何表达计算图？
目前主流的深度学习框架都选择使用计算图来抽象神经网络计算表达，通过通用的数据结构（张量）来理解、表达和执行神经网络模型，通过计算图可以把 AI 系统化的问题形象地表示出来。 本节将会以AI概念落地的时候，遇到的一些问题与挑战，因此引出了计算图的概念来对神经网络模型进行统一抽象。接着展开什么是计算，计算图的基本构成来深入了解诶计算图。最后简单地学习PyTorch如何表达计算图。
-
发表了文章 2023-07-21
我真的想知道，AI框架的编程范式怎么理解？
我给领导汇报AI框架用函数式编程好，没讲明白，说函数式就是写函数那样方便，都被领导吊飞了，啥玩意，写啥不是写函数，狗屁不通！ 网上搜说用tensorflow那就是用声明式编程，用pytorch就是命令式编程。有兄弟能讲清楚，AI框架的编程范式到底如何区分？AI框架中的不同编程范式有什么作用吗？
-
发表了文章 2023-07-18
2023了，学习深度学习框架哪个比较好？
都2023年，才来回答这个问题，自然毫无悬念地选择PyTorch，TensorFlow在大模型这一波浪潮中没有起死回生，有点惋惜，现在GLM、GPT、LLaMA等各种大模型都是基于PyTorch框架构建。这个事情已经水落石出。不过呢，我觉得可以一起去回顾下，在AI框架发展的过程中，都沉陷了哪些技术点，为什么一开始这么多人在纠结到底用哪个框架。
-
发表了文章 2023-03-03
【推理引擎：核心原理】系列来啦！从入门到昇腾！
《AI推理引擎：核心原理》这个系列的内容：从推理系统整体架构开始，然后到模型小型化、模型压缩，在真正推理之前需要进行模型转换和图优化，最后到kernel和runtime优化。
暂无更多信息
-
发表了文章
2024-12-19
【AI系统】AI 框架之争
-
发表了文章
2024-12-09
【AI系统】昇思MindSpore并行
-
发表了文章
2024-12-09
【AI系统】混合并行
-
发表了文章
2024-12-09
【AI系统】完全分片数据并行 FSDP
-
发表了文章
2024-12-09
【AI系统】张量并行
-
发表了文章
2024-12-09
【AI系统】流水并行
-
发表了文章
2024-12-09
【AI系统】计算图的控制流实现
-
发表了文章
2024-12-09
【AI系统】动态图与静态图转换
-
发表了文章
2024-12-09
【AI系统】计算图挑战与未来
-
发表了文章
2024-12-09
【AI系统】数据并行
-
发表了文章
2024-12-09
【AI系统】并行训练基本介绍
-
发表了文章
2024-12-09
【AI系统】计算图与自动微分
-
发表了文章
2024-12-09
【AI系统】计算图的调度与执行
-
发表了文章
2024-12-09
【AI系统】计算图原理
-
发表了文章
2024-12-09
【AI系统】计算图基本介绍
-
发表了文章
2024-12-09
【AI系统】自动微分的挑战&未来
-
发表了文章
2024-12-09
【AI系统】动手实现 PyTorch 微分
-
发表了文章
2024-12-09
【AI系统】微分实现方式
-
发表了文章
2024-12-09
【AI系统】动手实现自动微分
-
发表了文章
2024-12-08
【AI系统】微分计算模式
滑动查看更多
暂无更多信息
暂无更多信息