ECS
阿里云
概念
阿里云创立于2009年，是全球领先的云计算及人工智能科技公司，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业，包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户，以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中，阿里云保持着良好的运行纪录。
阿里云GPU服务器配置选择及租用价格表
阿里云GPU服务器配置选择及租用价格表，阿里云GPU服务器租用价格表包括包年包月价格、一个小时收费以及学生GPU服务器租用费用，阿里云GPU计算卡包括NVIDIA V100计算卡、T4计算卡、A10计算卡和A100计算卡，GPU云服务器gn6i可享受3折优惠，阿里云百科分享阿里云GPU服务器租用价格表、GPU一个小时多少钱以及学生GPU服务器收费价格表
现在2023年阿里云V100服务器GPU租用价格表
现在2023年阿里云V100服务器GPU租用价格表阿里云GPU服务器租用价格表包括包年包月价格、一个小时收费以及学生GPU服务器租用费用，阿里云GPU计算卡包括NVIDIA V100计算卡、T4计算卡、A10计算卡和A100计算卡，GPU云服务器gn6i可享受3折优惠，阿里云百科分享阿里云GPU服务器租用价格表、GPU一个小时多少钱以及学生GPU服务器收费价格表
CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法，旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理，支持混合精度矩阵乘法，无需解量化。其通过位级查表实现统一且可扩展的解决方案，优化数据布局和重用率，显著提升了单线程和多线程下的mpGEMV及mpGEMM性能，并在端到端推理吞吐量和能效方面表现出色。然而，表量化和快速聚合技术可能引入近似和数值误差，影响模型准确性。论文详见：[链接](https://www.arxiv.org/pdf/2407.00088)。
阿里云引领智算集群网络架构的新一轮变革
11月8日至10日，CCF ChinaNet（中国网络大会）在江苏张家港召开，众多院士、教授和技术领袖共聚一堂，探讨网络未来发展方向。阿里云研发副总裁蔡德忠发表主题演讲，展望智算技术发展趋势，提出智算网络架构变革的新思路，发布高通量以太网协议和ENode+超节点系统规划，引起广泛关注。阿里云HPN7.0引领智算以太网生态蓬勃发展，成为业界标杆。未来，X10规模的智算集群将面临新的挑战，Ethernet将成为主流方案，推动Scale up与Scale out的融合架构，提升整体系统性能。245/300
【AI系统】谷歌 TPU v4 与光路交换
TPU v4 是谷歌在 TPU v3 发布四年后推出的最新一代 AI 加速器，采用了 7nm 工艺，MXU 数量翻倍，内存容量和带宽显著提升。TPU v4 引入了 Sparse Core 以优化稀疏计算，首次采用了 3D Torus 互联方式，通过 Palomar 光路开关芯片减少系统延迟和功耗。TPU v4 Pod 实现了 1.126 Exaflops 的 BF16 峰值算力，展现了谷歌在大规模并行计算领域的突破。然而，TPU v4 也面临着系统成熟度低、拓扑僵硬和负载均衡问题等挑战。
【AI系统】内存分配算法
本文探讨了AI编译器前端优化中的内存分配问题，涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势，随后详细介绍了静态与动态内存的概念及其实现方式，最后重点讨论了几种节省内存的算法，如空间换内存、计算换内存、模型压缩和内存复用等，旨在提高内存使用效率，减少碎片化，提升模型训练和推理的性能。
DeepSeek模型MOE结构代码详解
其实在DeepSeek-R1爆火之前，DeepSeek V2在我们行业就已经妇孺皆知了，它独特的MOE结构值得研究一下。这篇文章是基于 @ZOMI酱 的2个视频写的，这2个视频讲的很好，建议大家都学习一下：《MOE终于迎来可视化解读！傻瓜都能看懂MoE核心原理！》和《使用昇腾NPU手撕MoE单机版代码！没想到如此简单！》。
【新智元峰会】德国AI教皇盛赞中国人工智能，25位AI领袖强势打造中国新智极
中美史诗级贸易战，中国AI能否成为破局之剑？3月29日，2018新智元产业跃迁AI技术峰会盛大启幕，德国AI教父、工业4.0提出者之一、诺贝尔奖评审、德国人工智能中心（DFKI）CEO沃夫冈·瓦尔斯特（Wolfgang Wahlster）教授首次对中国AI产业发声，“中国芯之父”邓中翰院士剖析中国AI芯自主研发路，来自微软、IBM、阿里、腾讯、华为等公司和研究院的25位重磅嘉宾齐聚，与创投领袖一起共议中国AI产业跃迁路线图。