昇腾NPU上基于MindIE服务的AIME和MATH500测评方案
本文介绍了基于MindIE服务和lighteval工具对DeepSeek-R1类模型进行能力测评的方法。针对AIME 2024、AIME 2025、MATH-500和GPQA等数据集，通过在Atlas 800I A2硬件上部署MindIE服务，结合开源项目Open R1的评测方法完成测评。主要内容包括模型权重下载、MindIE服务化部署、lighteval安装与配置，以及使用openai模式进行测评的具体步骤。最终展示了AIME 2024和MATH-500的测评结果，并对比了DeepSeek官方数据。该方案适合需要准确评估带推理思维链模型性能的场景。
大模型推理显存和计算量估计方法
最近做吞吐量调试涉及到输入batch_size的设置，为了把算力和显存用起来，同时不触发out of memory，需要提前估计大模型推理过程中的显存占用
基于深度学习的钢轨表面伤损细粒度图像识别与目标检测
基于深度学习的钢轨表面伤损细粒度图像识别与视觉测量，实现轨面光带、剥离掉块、波浪磨耗、疲劳裂纹、扣件螺栓的计数及尺寸测量。毕业论文：钢轨表面伤损细粒度图像识别与检测系统。轨面伤损数据集Rail-5k论文：https://arxiv.org/abs/2106.14366同济大学交通运输工程学院 铁道系 张子豪
【AI系统】AI系统的组成
本文详细解析了AI系统的多层次架构，涵盖应用与开发层、AI框架层、编译与运行时及硬件体系结构等，阐述各部分如何协同支撑AI应用的开发与运行，提升整体性能与效率，并随著AI技术进步持续演进。从编程语言到AI芯片设计，每一层都对系统的最终表现起着至关重要的作用。
【AI系统】谷歌 TPU v3 POD 形态
TPU v3 是 TPU v2 的增强版，主要改进包括：MXU 数量翻倍至 4 个，时钟频率提升 30%，内存带宽扩大 30%，容量翻倍，芯片间带宽增加 30%，可连接节点数增至 4 倍。TPU v3 通过采用水冷系统，不仅提高了功率，还优化了温度管理，显著提升了计算能力和能效。TPU v3 Pod 由 1024 个 TPU v3 组成，算力达 100 PFLOPS，适用于大规模神经网络训练。
JAX快速上手：从NumPy到GPU加速的Python高性能计算库入门教程
JAX是Google开发的高性能数值计算库，旨在解决NumPy在现代计算需求下的局限性。它不仅兼容NumPy的API，还引入了自动微分、GPU/TPU加速和即时编译（JIT）等关键功能，显著提升了计算效率。JAX适用于机器学习、科学模拟等需要大规模计算和梯度优化的场景，为Python在高性能计算领域开辟了新路径。