06_昇腾流水线优化技术详解
本文详解昇腾流水线优化技术，涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠，提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水，支持动态换入换出；GPU则利用CUDA Stream构建StagedTrainPipeline，实现高效prefetch与梯度更新协同。
03_嵌入表分片与哈希管理：支撑万亿参数的关键技术
本文介绍支撑万亿参数推荐系统的核心技术：嵌入表分片与哈希管理。通过单/双层Hash模式实现稀疏ID高效映射，结合分桶策略均匀分配数据；采用Row-Wise、Table-Wise等分片机制，优化存储与计算负载，提升大规模模型训练效率。
02_昇腾推荐系统架构解析：嵌入表存储到多级缓存的全链路设计
昇腾推荐系统采用多级缓存架构，基于达芬奇架构NPU实现HBM与DDR协同的Embedding存储。通过FastHashMap与动态Swap机制，结合LRU/LFU准入淘汰策略，支持大规模稀疏特征高效训练。软件层面深度适配TorchRec，提供统一接口，实现计算与通信重叠，提升端到端性能，适用于电商、短视频等大模型推荐场景。
vLLM-Ascend 安装部署与环境配置指南
vLLM-Ascend 是 vLLM 项目专为华为昇腾 NPU 设计的硬件插件，支持主流大模型与多模态架构，提供高性能推理能力。项目结构清晰，涵盖核心算子、工具脚本与容器化部署方案，兼容单/多节点环境，助力高效构建昇腾上的 AI 推理服务。
CANN全面开源开放：把创新的主动权交给开发者
CANN全面开源，打破AI生态“黑盒”与绑定困局。从算子库到编程语言全栈开放，赋能开发者透明调试、灵活定制，推动从“能用”到“敢用”再到“好用”的跨越。通过社区共建、分层解耦、千行万业协同创新，重塑计算产业规则，助力AI落地可信、可持续发展。（239字）
分享一款端侧AI部署工具Nexa SDK
2025年AI硬件爆发，但云端大模型面临成本高、隐私差、延迟大等问题。开源小模型崛起，推动边缘AI发展。Nexa SDK应运而生，提供跨平台统一推理框架，支持NPU/GPU/CPU深度适配，实现低代码、高性能、多模态模型Day-0支持，兼容OpenAI API，助力手机、PC、汽车、IoT等端侧AI快速落地，重塑智能体验。
大模型推理优化实战：从延迟到吞吐的工程权衡
在人工智能从“能用”迈向“好用”的关键阶段，大语言模型（LLM）的部署效率已成为产品落地的核心瓶颈。开发者常面临一个现实困境：模型在实验室跑得飞快，上线后却响应迟缓、成本飙升。本文将深入探讨大模型推理中的关键技术挑战与优化策略，帮助工程师在延迟（Latency）、吞吐量（Throughput）和成本之间找到最佳平衡点。
