阿里第一颗芯片问世，平头哥发布最强AI芯片含光800
阿里巴巴第一颗自研芯片正式问世。9月25日的杭州云栖大会上，达摩院院长张建锋现场展示了这款全球最强的AI芯片——含光800。在业界标准的ResNet-50测试中，含光800推理性能达到78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名的3.3倍。
企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
# 大模型优化与压缩技术：2025年的实践与突破
2025年，随着大语言模型的规模和复杂度不断提升，模型优化与压缩技术已成为AI产业落地的关键瓶颈和研究热点。根据最新统计，顶级大语言模型的参数规模已突破万亿级别，如DeepSeek-R1模型的6710亿参数规模，这带来了前所未有的计算资源需求和部署挑战。在这种背景下，如何在保持模型性能的同时，降低计算成本、减少内存占用、提升推理速度，已成为学术界和产业界共同关注的核心问题。
118_LLM模型量化与压缩：从理论到2025年实践技术详解
大型语言模型（LLM）在自然语言处理领域取得了前所未有的成功，但模型规模的快速增长带来了巨大的计算和存储挑战。一个典型的大型语言模型（如GPT-4或LLaMA 3）可能包含数千亿甚至万亿参数，需要数百GB甚至TB级的存储空间，并且在推理时需要大量的计算资源。这种规模使得这些模型难以在边缘设备、移动设备甚至资源有限的云服务器上部署和使用。
大模型推理优化实战：从延迟到吞吐的工程权衡
在人工智能从“能用”迈向“好用”的关键阶段，大语言模型（LLM）的部署效率已成为产品落地的核心瓶颈。开发者常面临一个现实困境：模型在实验室跑得飞快，上线后却响应迟缓、成本飙升。本文将深入探讨大模型推理中的关键技术挑战与优化策略，帮助工程师在延迟（Latency）、吞吐量（Throughput）和成本之间找到最佳平衡点。
【AI系统】NPU 基础
近年来，AI技术迅猛发展，催生了NPU和TPU等AI专用处理器，这些处理器专为加速深度学习任务设计，相比传统CPU和GPU，展现出更高效率和性能。本文将介绍AI芯片的概念、技术发展、部署方式及应用场景，涵盖从数据中心到边缘设备的广泛领域，探讨其如何成为AI技术落地的关键推手。
从理论突破到全面应用——迈向通用智能的深度观察
本报告由灵砚智能发布，系统梳理AI从深度学习到通用智能的技术演进，剖析大模型、多模态、智能体等突破；评估其在医疗、金融、制造等行业的深度应用；并直面算力、数据、伦理与全球治理挑战，提供前瞻性的社会适应路径。（239字）
