阿里云与麒麟软件签署全面合作协议
近日，麒麟软件与阿里云签署全面合作协议。双方明确建立长期、稳定的战略合作伙伴关系，在操作系统+人工智能领域展开深度合作，共同推动信息产业技术高速发展。
2023阿里云GPU服务器配置选择及租用价格表
2023阿里云GPU服务器配置选择及租用价格表，阿里云GPU服务器租用价格表包括包年包月价格、一个小时收费以及学生GPU服务器租用费用，阿里云GPU计算卡包括NVIDIA V100计算卡、T4计算卡、A10计算卡和A100计算卡，GPU云服务器gn6i可享受3折优惠，阿里云百科分享阿里云GPU服务器租用价格表、GPU一个小时多少钱以及学生GPU服务器收费价格表
AMD加码AI PC，三年路线图公布
在昨日举办的“Advancing AI”峰会上,AMD CEO Lisa Su除了带来精彩的MI 300系列芯片介绍外,“Ryzen AI”也成为了她昨天演讲中不可忽略的一个重点。IDC在日前发布的一份白皮书中也表示,到2024年,人工智能将成为PC行业的“必备功能和主流选择”。
以中国市场为例,根据IDC提供的数据,2024年中国新增的个人电脑将有54.7%是人工智能个人电脑,但在2023年这一比例仅为8.1%。展望2027年,这个数字将快速飙升至84.6% 。
【AI系统】超异构计算
本文探讨了计算机架构发展的黄金十年，重点介绍了异构计算和超异构计算的概念及其在AI芯片发展中的应用。文章首先回顾了AI芯片发展的三个阶段，随后详细阐述了异构计算的优势和应用场景，如性能飞跃、灵活定制、降低成本和降低功耗。接着，文章分析了超异构计算的出现背景、基本特征及其面临的挑战，包括软件层的复杂性和硬件定义软件与软件定义硬件之间的权衡。最后，展望了超异构计算的未来，强调了跨平台统一计算架构的重要性，以及构建开放生态系统的必要性。
【AI系统】完全分片数据并行 FSDP
本文深入探讨了AI框架中针对权重数据、优化器数据和梯度数据的分布式并行实现，特别是在PyTorch框架下的具体方案。文章首先回顾了通用数据并行和分布式数据并行的概念，重点讨论了同步与异步数据并行的差异。接着，文章详细介绍了如何在PyTorch中实现弹性数据并行，特别是完全分片数据并行（FSDP）的机制，包括其如何通过分片模型状态和剩余状态来减少内存消耗，提高训练效率。此外，文章还探讨了混合精度训练、损失缩放和内存消耗估算等关键技术，为理解和实施高效的分布式训练提供了全面的指导。
sam模型迁移昇腾训练loss不收敛问题的解决办法
在将SAM模型迁移到昇腾平台时，遇到了精度问题。具体表现为NPU训练的loss图从一开始就未收敛，而GPU则正常收敛。通过使用Ascend开源仓的msprobe工具进行精度对比，发现NPU丢失了image_embedding的梯度，原因在于torch_npu版本与PyTorch不匹配，导致`repeat_interleave_backward_tensor`函数调用失败。最终通过选择与PyTorch配套的torch_npu版本解决了问题，loss图恢复正常。
服务化参数调优实战
本文介绍了服务化性能调优的全流程，以Llama3-8B模型为例。首先需完成MindIE环境安装、下载模型权重与测试数据集。接着通过计算npuMemSize和maxBatchSize，maxPrefillBatchSize（272）与maxPrefillTokens，并更新配置进行性能测试。结果显示，参数调优后吞吐量提升18%。此方法为大模型性能优化提供了实用指导。
