全面解析 | 大模型时代如何利用弹性计算服务应对大算力挑战
2023年6月20日，阿里云弹性计算团队与智东西公开课联合出品的系列课程「阿里云弹性计算技术公开课」正式播出，阿里云弹性计算产品专家张新涛作为该系列课程首位主讲人，带来了主题为《大模型时代如何应对大算力挑战》的课程分享，本次课程也在阿里云官网、钉钉视频号、阿里云官方视频号、阿里云开发者视频号、阿里云创新中心直播间&视频号等多平台同步播出。
GPU云服务器_GPU云计算_异构计算_弹性计算-阿里云
阿里云提供多种GPU服务器，包括NVIDIA V100、T4、A10和A100计算卡，其中gn6i实例享有最高3折优惠。包年包月价格如：gn6v实例（16G V100）从4685.20元/月起，gn6i实例（16G T4）从1878.40元/月起。学生无特定GPU服务器优惠，但新用户有折扣活动。GPU服务器计费模式有包年包月和按小时计费，按需选择。详细价格及活动规则见官方链接。
CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法，旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理，支持混合精度矩阵乘法，无需解量化。其通过位级查表实现统一且可扩展的解决方案，优化数据布局和重用率，显著提升了单线程和多线程下的mpGEMV及mpGEMM性能，并在端到端推理吞吐量和能效方面表现出色。然而，表量化和快速聚合技术可能引入近似和数值误差，影响模型准确性。论文详见：[链接](https://www.arxiv.org/pdf/2407.00088)。
【AI系统】谷歌 TPU 历史发展
本文详细介绍了谷歌TPU的发展历程及其在AI领域的应用。TPU是谷歌为加速机器学习任务设计的专用集成电路，自2016年首次推出以来，经历了多次迭代升级，包括TPU v1、v2、v3、v4及Edge TPU等版本。文章分析了各代TPU的技术革新，如低精度计算、脉动阵列、专用硬件设计等，并探讨了TPU在数据中心和边缘计算中的实际应用效果，以及谷歌如何通过TPU推动移动计算体验的进步。
AscendC从入门到精通系列（二）基于Kernel直调开发AscendC算子
本文介绍了AscendC算子的开发流程，包括核函数开发、算子类定义及其实现、核函数的CPU和NPU侧运行验证。通过具体示例`add_custom.cpp`，详细展示了如何使用Ascend C完成算子核函数的定义、初始化、数据搬运和计算过程，并提供了完整的CPU和NPU侧调用程序代码，帮助开发者理解和实践AscendC算子的开发。
《解码AI大模型涌现能力：从量变到质变的智能跃迁》
人工智能大模型的涌现能力是当今科技的焦点。其产生依赖于四大关键因素：1) 海量数据提供丰富的训练素材，涵盖多样化的文本和图像；2) 强大算力如GPU、TPU加速模型训练，突破性能瓶颈；3) 精妙架构如Transformer引入自注意力机制，提升语义理解；4) 过参数化与优化策略使模型不断进化，展现未曾预设的能力。这些因素协同作用，推动大模型在复杂任务中表现出色，为未来带来更多可能。