刚刚，寒武纪发布了首款云端AI芯片MLU100：进军服务器市场
5 月 3 日，智能芯片公司寒武纪科技在上海举办了 2018 产品发布会。会上，寒武纪正式发布了多个最新一代终端 IP 产品——采用 7nm 工艺的终端芯片 Cambricon 1M、首款云端智能芯片 MLU100 及搭载了 MLU100 的云端智能处理计算卡。
阿里云GPU服务器V100 GPU计算卡价格表
阿里云GPU服务器V100 GPU计算卡价格表，阿里云GPU服务器租用价格表包括包年包月价格、一个小时收费以及学生GPU服务器租用费用，阿里云GPU计算卡包括NVIDIA V100计算卡、T4计算卡、A10计算卡和A100计算卡，GPU云服务器gn6i可享受3折优惠，阿里云百科分享阿里云GPU服务器租用价格表、GPU一个小时多少钱以及学生GPU服务器收费价格表
开启智能新时代：2024年中国AI大模型产业发展报告
【4月更文挑战第6天】2024年，中国AI大模型产业蓬勃发展，成为科技和经济增长新引擎。人民网财经研究院与至顶科技联合发布报告，详述产业发展背景、现状、挑战与趋势。政策支持下，AI大模型技术进步显著，在办公、制造等领域广泛应用。报告提及云侧与端侧大模型，以及科大讯飞、百度、阿里巴巴等企业的大模型案例。挑战包括算力瓶颈、资源消耗及训练数据不足。未来趋势包括云侧与端侧模型的分化、通用与专用模型并存、大模型开源及芯片技术升级。
阿里云引领智算集群网络架构的新一轮变革
11月8日至10日，CCF ChinaNet（中国网络大会）在江苏张家港召开，众多院士、教授和技术领袖共聚一堂，探讨网络未来发展方向。阿里云研发副总裁蔡德忠发表主题演讲，展望智算技术发展趋势，提出智算网络架构变革的新思路，发布高通量以太网协议和ENode+超节点系统规划，引起广泛关注。阿里云HPN7.0引领智算以太网生态蓬勃发展，成为业界标杆。未来，X10规模的智算集群将面临新的挑战，Ethernet将成为主流方案，推动Scale up与Scale out的融合架构，提升整体系统性能。
【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
