阿里云引领智算集群网络架构的新一轮变革
11月8日至10日，CCF ChinaNet（中国网络大会）在江苏张家港召开，众多院士、教授和技术领袖共聚一堂，探讨网络未来发展方向。阿里云研发副总裁蔡德忠发表主题演讲，展望智算技术发展趋势，提出智算网络架构变革的新思路，发布高通量以太网协议和ENode+超节点系统规划，引起广泛关注。阿里云HPN7.0引领智算以太网生态蓬勃发展，成为业界标杆。未来，X10规模的智算集群将面临新的挑战，Ethernet将成为主流方案，推动Scale up与Scale out的融合架构，提升整体系统性能。
【AI系统】谷歌 TPU v4 与光路交换
TPU v4 是谷歌在 TPU v3 发布四年后推出的最新一代 AI 加速器，采用了 7nm 工艺，MXU 数量翻倍，内存容量和带宽显著提升。TPU v4 引入了 Sparse Core 以优化稀疏计算，首次采用了 3D Torus 互联方式，通过 Palomar 光路开关芯片减少系统延迟和功耗。TPU v4 Pod 实现了 1.126 Exaflops 的 BF16 峰值算力，展现了谷歌在大规模并行计算领域的突破。然而，TPU v4 也面临着系统成熟度低、拓扑僵硬和负载均衡问题等挑战。
【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
智谱开源端侧大语言和多模态模型GLM-Edge系列！
GLM-Edge系列模型是由智谱开源，专为端侧应用设计的大语言对话模型和多模态理解模型，包括GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B和GLM-Edge-V-5B四种尺寸。这些模型针对手机、车机及PC等不同平台进行了优化，通过量化的技术手段，实现了高效运行。例如，在高通骁龙8 Elite平台上，1.5B对话模型和2B多模态模型能够达到每秒60 tokens以上的解码速度，而通过应用投机采样技术，这一数字可提升至100 tokens以上。
《脉动阵列：AI硬件加速的“秘密武器”》
脉动阵列（Systolic Array）是一种高效的并行计算架构，灵感源自人体血液循环系统。它通过网格排列的处理单元（PE），以同步并行方式处理数据，尤其在矩阵乘法和卷积运算中表现出色，极大提升了AI计算效率。其优势包括降低内存带宽需求、高运算吞吐率和设计简洁，但也面临灵活性有限、全局同步难等挑战。尽管如此，脉动阵列仍为AI硬件加速提供了重要支持，推动了人工智能技术的发展。
高性能SoC FPGA原型验证系列——综述
本系列博文将结合自己在FPGA原型验证方面的工作经验，先从总体上探讨FPGA原型验证的优势和挑战，然后介绍市面常见的FPGA原型平台并分析各自的优缺点，随后重点介绍平头哥高性能SoC使用的FPGA原型平台，后续还会就FPGA原型中的关键技术进一步展开讨论，并给出自己的一些经验和技巧总结，希望通过系列博文能带给读者关于FPGA原型验证一个系统的认识。当然，我更希望参与FPGA原型平台工作的同学能够一起切磋技艺，为平台建设出谋划策，快速迭代我们的平台，让我们一起打造更加Smart的FPGA原型平台.
