24_BERT模型详解：从预训练到微调的全方位指南
BERT（Bidirectional Encoder Representations from Transformers）是由Google AI在2018年推出的革命性预训练语言模型，它彻底改变了自然语言处理（NLP）领域的格局。通过创新的双向训练方式，BERT能够捕捉词语在上下文环境中的完整语义信息，从而在各种下游任务中取得了突破性的表现。
NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时，若安装了GPU版本的onnxruntime（`onnxruntime-gpu`），可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`，并根据官方文档适配NPU，通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码，使用`--use_cann`参数构建，并安装生成的whl包。最后，配置CANNExecutionProvider进行推理。
# 大模型优化与压缩技术：2025年的实践与突破
2025年，随着大语言模型的规模和复杂度不断提升，模型优化与压缩技术已成为AI产业落地的关键瓶颈和研究热点。根据最新统计，顶级大语言模型的参数规模已突破万亿级别，如DeepSeek-R1模型的6710亿参数规模，这带来了前所未有的计算资源需求和部署挑战。在这种背景下，如何在保持模型性能的同时，降低计算成本、减少内存占用、提升推理速度，已成为学术界和产业界共同关注的核心问题。
阿里云服务器价格自己查（价格计算器一键搞定）不求人
阿里云服务器价格可以使用阿里云推出的价格计算器来计算出价格明细，通过选择云服务器CPU内存配置、地域节点、系统盘、公网带宽等信息，会自动计算出云服务器配置价格、系统盘价格价格明细和公网带宽价格等，很方便，阿里云服务器报价不求人，阿里云价格计算器了解一下
大模型推理优化实战：从延迟到吞吐的工程权衡
在人工智能从“能用”迈向“好用”的关键阶段，大语言模型（LLM）的部署效率已成为产品落地的核心瓶颈。开发者常面临一个现实困境：模型在实验室跑得飞快，上线后却响应迟缓、成本飙升。本文将深入探讨大模型推理中的关键技术挑战与优化策略，帮助工程师在延迟（Latency）、吞吐量（Throughput）和成本之间找到最佳平衡点。
探索热辐射：红外发射率的调控艺术与应用（隐身篇）
红外辐射无处不在，物体通过热辐射在空气中传播红外线，而8~14μm等“大气窗口”波段可被探测。红外热成像仪利用温度差异生成图像，广泛应用于军事侦察。实现红外隐身需降低辐射强度，主要途径包括调控发射率、控制温度及阻隔传播。低发射率涂层、隔热材料、相变材料（如VO₂）、超材料与仿生设计等技术不断发展，推动智能、多频谱兼容隐身材料研发。EM10便携式测量仪实现3-5μm与8-14μm双波段同步高精度检测，助力材料研发与现场质量监控，促进红外隐身技术向高效、协同、实用化方向迈进。
大模型推理显存和计算量估计方法
最近做吞吐量调试涉及到输入batch_size的设置，为了把算力和显存用起来，同时不触发out of memory，需要提前估计大模型推理过程中的显存占用
42_大语言模型的计算需求：从GPU到TPU
随着2025年大语言模型技术的持续突破和规模化应用，计算资源已成为推动AI发展的关键驱动力。从最初的CPU计算，到GPU加速，再到专用AI加速器的崛起，大语言模型的计算需求正在重塑全球数据中心的基础设施架构。当前，全球AI半导体市场规模预计在2027年将达到2380亿美元（基本情境）甚至4050亿美元（乐观情境），这一增长背后，是大语言模型对计算能力、内存带宽和能效比的极致追求。
