内部干货 | 基于华为昇腾910B算力卡的大模型部署和调优-课程讲义
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
大模型推理显存和计算量估计方法
最近做吞吐量调试涉及到输入batch_size的设置，为了把算力和显存用起来，同时不触发out of memory，需要提前估计大模型推理过程中的显存占用
分享一款端侧AI部署工具Nexa SDK
2025年AI硬件爆发，但云端大模型面临成本高、隐私差、延迟大等问题。开源小模型崛起，推动边缘AI发展。Nexa SDK应运而生，提供跨平台统一推理框架，支持NPU/GPU/CPU深度适配，实现低代码、高性能、多模态模型Day-0支持，兼容OpenAI API，助力手机、PC、汽车、IoT等端侧AI快速落地，重塑智能体验。
新手入门：DGL在昇腾上的安装问题
本文介绍了在aarch64架构和Python 3.10环境下安装DGL（Deep Graph Library）的过程。首先通过`uname -a`确认硬件架构，接着使用`python --version`检查Python版本。为确保兼容性，从指定链接下载适合的whl包或通过pip安装dgl。过程中遇到了torchdata版本不兼容的问题，通过降级torchdata至0.7.1版本解决。此外，针对NPU芯片适配，重新安装了与CANN 8.0.RC2兼容的torch和torch_npu组件。最终成功导入dgl包并准备进行模型训练验证。
阿里云加速器联合本应科技重磅发布 《2020年芯片产业图谱及区域发展白皮书》
近日，由阿里云加速器、北京本应科技有限公司联合编制的《2020年芯片产业图谱及区域发展白皮书》（以下简称《白皮书》）在深发布。 《白皮书》深入研究芯片行业国内外现状、国家及地方产业政策、产业链图谱及竞争格局、各区域产业发展，同时结合发达国家产业发展路径，为芯片产业提出五条发展建议。在此基础上，通过梳理行业新技术，洞察产业发展趋势。 最后，回顾2020全年行业内十大热点新闻事件。
同时，芯片细分领域的TOP50/20企业榜单及活跃投资机构TOP20榜单正式发布。
GenCast：谷歌DeepMind推出的AI气象预测模型
GenCast是由谷歌DeepMind推出的革命性AI气象预测模型，基于扩散模型技术，提供长达15天的全球天气预报。该模型在97.2%的预测任务中超越了全球顶尖的中期天气预报系统ENS，尤其在极端天气事件的预测上表现突出。GenCast能在8分钟内生成预报，显著提高预测效率，并且已经开源，包括代码和模型权重，支持更广泛的天气预报社区和研究。
