【AI系统】AI系统的组成
本文详细解析了AI系统的多层次架构，涵盖应用与开发层、AI框架层、编译与运行时及硬件体系结构等，阐述各部分如何协同支撑AI应用的开发与运行，提升整体性能与效率，并随著AI技术进步持续演进。从编程语言到AI芯片设计，每一层都对系统的最终表现起着至关重要的作用。
【AI系统】数据并行
数据并行是一种在分布式AI系统中广泛应用的技术，通过将数据集划分成多个子集并在不同计算节点上并行处理，以提高计算效率和速度。在大规模机器学习和深度学习训练中，数据并行可以显著加快模型训练速度，减少训练时间，提升模型性能。每个计算节点接收完整的模型副本，但处理不同的数据子集，从而分摊计算任务，提高处理速度和效率。数据并行按同步方式可分为同步数据并行和异步数据并行，按实现方式包括数据并行、分布式数据并行、完全分片的数据并行等。其中，分布式数据并行（DDP）是当前应用最广泛的并行算法之一，通过高效的梯度聚合和参数同步机制，确保模型一致性，适用于大型NPU集群和AI系统。
MindIE BenchMark
MindIE Benchmark工具通过部署昇腾服务化配套包，以终端命令方式测试大语言模型在不同配置下的推理性能和精度。它支持Client和Engine两种推理模式：Client模式适用于多用户并发场景，兼容多种接口；Engine模式直接调用底层API，测量NPU卡的真实性能。该工具支持多个数据集进行精度和性能测试，如CEval 5-shot、CMMLU、GSM8K等，并将结果保存为本地csv文件。评测方法包括调用大模型输入题目，解析返回结果并与正确答案比较，计算平均分和其他指标如准确率、EM等。
国产NAS也支持本地部署DeepSeek了：极空间Z423上手
极空间Z423 NAS新增本地部署DeepSeek大模型功能，支持7B和14B两种参数量级模型。本文通过实际测试展示了其性能表现：14B模型运行缓慢，Token输出速度低于每秒10个，而7B模型速度稍快但仍不理想。硬件资源占用高，温度显著上升，风扇噪音增大。作者建议优化交互逻辑、提供局域网接口及更好GPU支持，并预测未来NAS可能加入GPU或NPU以提升推理能力。此功能目前更像战略布局，为后续硬件升级铺垫。
服务化参数调优实战
本文介绍了服务化性能调优的全流程，以Llama3-8B模型为例。首先需完成MindIE环境安装、下载模型权重与测试数据集。接着通过计算npuMemSize和maxBatchSize，maxPrefillBatchSize（272）与maxPrefillTokens，并更新配置进行性能测试。结果显示，参数调优后吞吐量提升18%。此方法为大模型性能优化提供了实用指导。
了解集合通信与模型并行策略
了解集合通信基础概念及常见的集合通信原语；以及大模型并行策略：包括数据并行、流水并行、张量并行和专家并行。
