【AI系统】NPU 基础
近年来，AI技术迅猛发展，催生了NPU和TPU等AI专用处理器，这些处理器专为加速深度学习任务设计，相比传统CPU和GPU，展现出更高效率和性能。本文将介绍AI芯片的概念、技术发展、部署方式及应用场景，涵盖从数据中心到边缘设备的广泛领域，探讨其如何成为AI技术落地的关键推手。
【AI系统】谷歌 TPU v1-脉动阵列
本文详细分析了谷歌TPU v1的架构与设计，重点介绍了其核心组件如DDR3 DRAM、矩阵乘法单元（MXU）、累加器及控制指令单元，特别是MXU中脉动阵列的工作机制。通过对比TPU v1与CPU、GPU在服务器环境中的表现，展示了TPU v1在提升神经网络计算吞吐量方面的显著优势，尤其是在低延迟和高能效方面。
国产NAS也支持本地部署DeepSeek了：极空间Z423上手
极空间Z423 NAS新增本地部署DeepSeek大模型功能，支持7B和14B两种参数量级模型。本文通过实际测试展示了其性能表现：14B模型运行缓慢，Token输出速度低于每秒10个，而7B模型速度稍快但仍不理想。硬件资源占用高，温度显著上升，风扇噪音增大。作者建议优化交互逻辑、提供局域网接口及更好GPU支持，并预测未来NAS可能加入GPU或NPU以提升推理能力。此功能目前更像战略布局，为后续硬件升级铺垫。
JAX快速上手：从NumPy到GPU加速的Python高性能计算库入门教程
JAX是Google开发的高性能数值计算库，旨在解决NumPy在现代计算需求下的局限性。它不仅兼容NumPy的API，还引入了自动微分、GPU/TPU加速和即时编译（JIT）等关键功能，显著提升了计算效率。JAX适用于机器学习、科学模拟等需要大规模计算和梯度优化的场景，为Python在高性能计算领域开辟了新路径。
高性能SoC FPGA原型验证系列——综述
本系列博文将结合自己在FPGA原型验证方面的工作经验，先从总体上探讨FPGA原型验证的优势和挑战，然后介绍市面常见的FPGA原型平台并分析各自的优缺点，随后重点介绍平头哥高性能SoC使用的FPGA原型平台，后续还会就FPGA原型中的关键技术进一步展开讨论，并给出自己的一些经验和技巧总结，希望通过系列博文能带给读者关于FPGA原型验证一个系统的认识。当然，我更希望参与FPGA原型平台工作的同学能够一起切磋技艺，为平台建设出谋划策，快速迭代我们的平台，让我们一起打造更加Smart的FPGA原型平台.
CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法，旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理，支持混合精度矩阵乘法，无需解量化。其通过位级查表实现统一且可扩展的解决方案，优化数据布局和重用率，显著提升了单线程和多线程下的mpGEMV及mpGEMM性能，并在端到端推理吞吐量和能效方面表现出色。然而，表量化和快速聚合技术可能引入近似和数值误差，影响模型准确性。论文详见：[链接](https://www.arxiv.org/pdf/2407.00088)。
DeepSeek模型MOE结构代码详解
其实在DeepSeek-R1爆火之前，DeepSeek V2在我们行业就已经妇孺皆知了，它独特的MOE结构值得研究一下。这篇文章是基于 @ZOMI酱 的2个视频写的，这2个视频讲的很好，建议大家都学习一下：《MOE终于迎来可视化解读！傻瓜都能看懂MoE核心原理！》和《使用昇腾NPU手撕MoE单机版代码！没想到如此简单！》。
了解集合通信与模型并行策略
了解集合通信基础概念及常见的集合通信原语；以及大模型并行策略：包括数据并行、流水并行、张量并行和专家并行。
