【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时，若安装了GPU版本的onnxruntime（`onnxruntime-gpu`），可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`，并根据官方文档适配NPU，通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码，使用`--use_cann`参数构建，并安装生成的whl包。最后，配置CANNExecutionProvider进行推理。
国产NAS也支持本地部署DeepSeek了：极空间Z423上手
极空间Z423 NAS新增本地部署DeepSeek大模型功能，支持7B和14B两种参数量级模型。本文通过实际测试展示了其性能表现：14B模型运行缓慢，Token输出速度低于每秒10个，而7B模型速度稍快但仍不理想。硬件资源占用高，温度显著上升，风扇噪音增大。作者建议优化交互逻辑、提供局域网接口及更好GPU支持，并预测未来NAS可能加入GPU或NPU以提升推理能力。此功能目前更像战略布局，为后续硬件升级铺垫。
【AI系统】谷歌 TPU v4 与光路交换
TPU v4 是谷歌在 TPU v3 发布四年后推出的最新一代 AI 加速器，采用了 7nm 工艺，MXU 数量翻倍，内存容量和带宽显著提升。TPU v4 引入了 Sparse Core 以优化稀疏计算，首次采用了 3D Torus 互联方式，通过 Palomar 光路开关芯片减少系统延迟和功耗。TPU v4 Pod 实现了 1.126 Exaflops 的 BF16 峰值算力，展现了谷歌在大规模并行计算领域的突破。然而，TPU v4 也面临着系统成熟度低、拓扑僵硬和负载均衡问题等挑战。
【AI系统】谷歌 TPU v1-脉动阵列
本文详细分析了谷歌TPU v1的架构与设计，重点介绍了其核心组件如DDR3 DRAM、矩阵乘法单元（MXU）、累加器及控制指令单元，特别是MXU中脉动阵列的工作机制。通过对比TPU v1与CPU、GPU在服务器环境中的表现，展示了TPU v1在提升神经网络计算吞吐量方面的显著优势，尤其是在低延迟和高能效方面。
2023阿里云GPU服务器学生优惠价格表
2023阿里云GPU服务器学生优惠价格表，阿里云GPU租用费用价格表，GPU计算卡包括NVIDIA V100计算卡、T4计算卡、A10计算卡和A100计算卡，GPU云服务器gn6i可享受3折优惠，阿里云百科分享阿里云GPU服务器学生优惠价格、GPU服务器收费价格表、GPU服务器多少钱一个小时等费用明细表：
【AI系统】NPU 基础
近年来，AI技术迅猛发展，催生了NPU和TPU等AI专用处理器，这些处理器专为加速深度学习任务设计，相比传统CPU和GPU，展现出更高效率和性能。本文将介绍AI芯片的概念、技术发展、部署方式及应用场景，涵盖从数据中心到边缘设备的广泛领域，探讨其如何成为AI技术落地的关键推手。
