大模型推理显存和计算量估计方法
最近做吞吐量调试涉及到输入batch_size的设置，为了把算力和显存用起来，同时不触发out of memory，需要提前估计大模型推理过程中的显存占用
国产NAS也支持本地部署DeepSeek了：极空间Z423上手
极空间Z423 NAS新增本地部署DeepSeek大模型功能，支持7B和14B两种参数量级模型。本文通过实际测试展示了其性能表现：14B模型运行缓慢，Token输出速度低于每秒10个，而7B模型速度稍快但仍不理想。硬件资源占用高，温度显著上升，风扇噪音增大。作者建议优化交互逻辑、提供局域网接口及更好GPU支持，并预测未来NAS可能加入GPU或NPU以提升推理能力。此功能目前更像战略布局，为后续硬件升级铺垫。
NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时，若安装了GPU版本的onnxruntime（`onnxruntime-gpu`），可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`，并根据官方文档适配NPU，通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码，使用`--use_cann`参数构建，并安装生成的whl包。最后，配置CANNExecutionProvider进行推理。
02_昇腾推荐系统架构解析：嵌入表存储到多级缓存的全链路设计
昇腾推荐系统采用多级缓存架构，基于达芬奇架构NPU实现HBM与DDR协同的Embedding存储。通过FastHashMap与动态Swap机制，结合LRU/LFU准入淘汰策略，支持大规模稀疏特征高效训练。软件层面深度适配TorchRec，提供统一接口，实现计算与通信重叠，提升端到端性能，适用于电商、短视频等大模型推荐场景。
人工智能|YOLOv8实战
本内容为安全帽检测实战项目，基于YOLOv8模型，涵盖Kaggle数据获取、自定义yaml配置、模型训练（yolo_train.py）与测试（yolo_test.py），并提供服务器（FastAPI+Docker）、边缘（Jetson+TensorRT）及国产嵌入式（RK3588+RKNN）三类部署方案，支持工业场景实时智能识别。（239字）
