H4H：面向AR/VR应用的NPU-CIM异构系统混合卷积-Transformer架构搜索——论文阅读
H4H是一种面向AR/VR应用的混合卷积-Transformer架构，基于NPU-CIM异构系统，通过神经架构搜索实现高效模型设计。该架构结合卷积神经网络（CNN）的局部特征提取与视觉Transformer（ViT）的全局信息处理能力，提升模型性能与效率。通过两阶段增量训练策略，缓解混合模型训练中的梯度冲突问题，并利用异构计算资源优化推理延迟与能耗。实验表明，H4H在相同准确率下显著降低延迟和功耗，为AR/VR设备上的边缘AI推理提供了高效解决方案。
【AI系统】AI系统的组成
本文详细解析了AI系统的多层次架构，涵盖应用与开发层、AI框架层、编译与运行时及硬件体系结构等，阐述各部分如何协同支撑AI应用的开发与运行，提升整体性能与效率，并随著AI技术进步持续演进。从编程语言到AI芯片设计，每一层都对系统的最终表现起着至关重要的作用。
GenCast：谷歌DeepMind推出的AI气象预测模型
GenCast是由谷歌DeepMind推出的革命性AI气象预测模型，基于扩散模型技术，提供长达15天的全球天气预报。该模型在97.2%的预测任务中超越了全球顶尖的中期天气预报系统ENS，尤其在极端天气事件的预测上表现突出。GenCast能在8分钟内生成预报，显著提高预测效率，并且已经开源，包括代码和模型权重，支持更广泛的天气预报社区和研究。
NPU上如何使能pytorch图模式
本文介绍了PyTorch的`torch.compile`技术和TorchAir的相关内容。`torch.compile`通过将动态图转换为静态图并结合JIT编译，提升模型推理和训练效率。示例代码展示了如何使用`torch.compile`优化模型。TorchAir是昇腾为PyTorch提供的图模式扩展库，支持在昇腾设备上进行高效训练和推理。它基于Dynamo特性，将计算图转换为Ascend IR，并通过图引擎优化执行。文章还提供了TorchAir的使用示例及功能配置方法。
服务化参数调优实战
本文介绍了服务化性能调优的全流程，以Llama3-8B模型为例。首先需完成MindIE环境安装、下载模型权重与测试数据集。接着通过计算npuMemSize和maxBatchSize，maxPrefillBatchSize（272）与maxPrefillTokens，并更新配置进行性能测试。结果显示，参数调优后吞吐量提升18%。此方法为大模型性能优化提供了实用指导。
飞桨x昇腾生态适配方案：14_loop算子缺失（上）：ONNX模型拆分
本文针对NPU不支持LOOP算子的问题，提出一种解决方案：将ONNX模型拆分为含LOOP算子和不含LOOP算子的子图，单独推理LOOP部分。通过构造包含LOOP算子的ONNX模型，将其转换为JSON格式提取子图，并对子图进行修改（如添加输入节点、删除无关节点）。最后，将JSON转回ONNX格式，完成模型切分与优化。此方法适用于关键路径上的LOOP算子，可有效解决离线推理中的兼容性问题。
NPU适配推荐系统GR模型流程
本示例将开源Generative Recommendations模型迁移至NPU训练，并通过HSTU融合算子优化性能。基于Atlas 800T A2平台，使用PyTorch 2.1.0、Python 3.11.0等环境。文档涵盖容器启动、依赖安装、算子适配、源码修改、数据预处理及配置文件设置等内容。性能测试显示，使用HSTU融合算子可显著降低端到端耗时（如ml_1m数据集单step从346ms降至47.6ms）。
关于小机 | 计算机百年趣味史（上）第8篇
小机即小型机（minicomputer），从名字上我们可以知道是体积会较小的机器，不过体积也是针对大机(mainframe)来说是，如果光从绝对体积上讲，那显然又不对。所以，小机是对特定时代一群类似机器的统称。我们来看下小机的关键历史。其历史时间是与大型机并行的。
