【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
【AI系统】数据并行
数据并行是一种在分布式AI系统中广泛应用的技术，通过将数据集划分成多个子集并在不同计算节点上并行处理，以提高计算效率和速度。在大规模机器学习和深度学习训练中，数据并行可以显著加快模型训练速度，减少训练时间，提升模型性能。每个计算节点接收完整的模型副本，但处理不同的数据子集，从而分摊计算任务，提高处理速度和效率。数据并行按同步方式可分为同步数据并行和异步数据并行，按实现方式包括数据并行、分布式数据并行、完全分片的数据并行等。其中，分布式数据并行（DDP）是当前应用最广泛的并行算法之一，通过高效的梯度聚合和参数同步机制，确保模型一致性，适用于大型NPU集群和AI系统。
《跨越平台壁垒：C++ 人工智能模型在移动设备的部署之路》
在AI技术蓬勃发展的今天，C++因其卓越性能和高效资源利用，在AI模型开发中占据重要地位。将C++实现的AI模型部署至移动设备，实现快速响应与离线运行，成为当前技术热点。本文探讨了C++模型在移动设备上的部署挑战与解决方案，包括模型优化、跨平台适配、硬件加速及性能调试，展望了未来移动AI应用的广阔前景。
GenCast：谷歌DeepMind推出的AI气象预测模型
GenCast是由谷歌DeepMind推出的革命性AI气象预测模型，基于扩散模型技术，提供长达15天的全球天气预报。该模型在97.2%的预测任务中超越了全球顶尖的中期天气预报系统ENS，尤其在极端天气事件的预测上表现突出。GenCast能在8分钟内生成预报，显著提高预测效率，并且已经开源，包括代码和模型权重，支持更广泛的天气预报社区和研究。
【AI系统】指令和存储优化
在AI编译器底层，除了广泛应用的循环优化外，还存在指令优化和存储优化两大类。指令优化通过利用硬件提供的特殊加速指令，如向量化和张量化，提高计算效率；存储优化则关注如何高效管理数据存储与访问，减少延迟，提高整体计算效率。这些技术共同作用，极大提升了AI系统的性能。
AscendC从入门到精通系列（二）基于Kernel直调开发AscendC算子
本文介绍了AscendC算子的开发流程，包括核函数开发、算子类定义及其实现、核函数的CPU和NPU侧运行验证。通过具体示例`add_custom.cpp`，详细展示了如何使用Ascend C完成算子核函数的定义、初始化、数据搬运和计算过程，并提供了完整的CPU和NPU侧调用程序代码，帮助开发者理解和实践AscendC算子的开发。
如何使用Ascend的ATB加速库？
ATB加速库专为Transformer模型优化设计，基于华为Ascend AI处理器，提升训练和推理效率。本文档详细介绍了如何实现一个ATB算子，涵盖基础Operation、插件机制和Graph Frame三种方式，从环境准备、算子创建、资源管理到最终执行，提供了完整的代码示例和步骤指南，帮助开发者快速掌握ATB算子的开发流程。
Ascend Extension for PyTorch是个what？
Ascend Extension for PyTorch 是针对华为昇腾处理器的PyTorch框架适配插件，旨在让PyTorch开发者能充分利用昇腾AI处理器的强大计算能力。此扩展通过最小化对原生PyTorch的改动，实现了对昇腾NPU的支持，包括动态图特性、自动微分等功能的完整继承，并提供了与原生PyTorch一致的使用体验。项目详情及源码可在昇腾社区获取。
Ascend Extension for PyTorch的源码解析
本文介绍了Ascend对PyTorch代码的适配过程，包括源码下载、编译步骤及常见问题，详细解析了torch-npu编译后的文件结构和三种实现昇腾NPU算子调用的方式：通过torch的register方式、定义算子方式和API重定向映射方式。这对于开发者理解和使用Ascend平台上的PyTorch具有重要指导意义。
“芯片围城”下国产AI要放缓？答案或截然相反
12月2日，美国对华实施新一轮出口限制，将140余家中国企业列入贸易限制清单。对此，中国多个行业协会呼吁国内企业谨慎选择美国芯片。尽管受限企业表示影响有限，但此事件引发了关于AI领域芯片供应的担忧。华为云推出的昇腾AI云服务，提供全栈自主的算力解决方案，包括大规模算力集群、AI框架等，旨在应对AI算力需求，确保算力供给的稳定性和安全性，助力中国AI产业持续发展。