【技术综述】层次化的低功耗设计方法
本文从低功耗设计的必要性、功耗来源和层次化的低功耗设计方法三个方面，概括性的介绍了IC设计中的低功耗技术，由于本文内容主体是对参考文献[1]和[2]的汇总提炼，因此文中对涉及这两篇文献的内容未做引用标注。
CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法，旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理，支持混合精度矩阵乘法，无需解量化。其通过位级查表实现统一且可扩展的解决方案，优化数据布局和重用率，显著提升了单线程和多线程下的mpGEMV及mpGEMM性能，并在端到端推理吞吐量和能效方面表现出色。然而，表量化和快速聚合技术可能引入近似和数值误差，影响模型准确性。论文详见：[链接](https://www.arxiv.org/pdf/2407.00088)。
65_GPU选择：A100 vs RTX系列
在2025年的今天，大语言模型（LLM）已经成为人工智能领域的核心技术之一。从GPT-4到Llama 3.1，从专业领域应用到消费级产品，LLM正在以前所未有的速度改变着我们的工作和生活方式。然而，这些强大模型的训练和部署背后，都离不开高性能计算硬件的支持，尤其是GPU（图形处理单元）的选择，往往直接决定了项目的可行性、效率和成本。
找到了多个 **Kokoro 量化版本** 可以下载
Kokoro语音合成模型提供多种量化版本：FP32（350MB）、FP16（169MB）、INT8/Q8（约100–103MB）、Q4及AMD NPU优化版，适配桌面、移动端、浏览器与嵌入式设备。支持GitHub、HuggingFace、npm多源下载，兼顾体积与性能。
118_LLM模型量化与压缩：从理论到2025年实践技术详解
大型语言模型（LLM）在自然语言处理领域取得了前所未有的成功，但模型规模的快速增长带来了巨大的计算和存储挑战。一个典型的大型语言模型（如GPT-4或LLaMA 3）可能包含数千亿甚至万亿参数，需要数百GB甚至TB级的存储空间，并且在推理时需要大量的计算资源。这种规模使得这些模型难以在边缘设备、移动设备甚至资源有限的云服务器上部署和使用。
什么是阿里云服务器？云服务器的优缺点
阿里云是阿里巴巴集团的旗舰云计算品牌，它为全球各种规模的企业提供了云计算服务。阿里云服务器是阿里云的一项核心业务，它是一种可靠的云服务解决方案，具有许多优势。
【AI系统】超异构计算
本文探讨了计算机架构发展的黄金十年，重点介绍了异构计算和超异构计算的概念及其在AI芯片发展中的应用。文章首先回顾了AI芯片发展的三个阶段，随后详细阐述了异构计算的优势和应用场景，如性能飞跃、灵活定制、降低成本和降低功耗。接着，文章分析了超异构计算的出现背景、基本特征及其面临的挑战，包括软件层的复杂性和硬件定义软件与软件定义硬件之间的权衡。最后，展望了超异构计算的未来，强调了跨平台统一计算架构的重要性，以及构建开放生态系统的必要性。
