IBM强化AI实力 发布Power9系统及新软件

简介:

今天IBM公布了一款新软件,称其更容易训练机器学习模型,以便做出决策和从大数据中提取洞察。

这款名为Deep Learning Impact的软件工具,帮助用户开发的AI模型可使用流行的开源、深度学习框架,例如TensorFlow和Caffee,而且从12月开始这款工具将被添加到IBM的Spectrum Conductor软件中。

除了公布新软件之外,IBM还提到了基于Power9处理器的新系统,IBM在今年SC17大会上进行了展示。

IBM表示,这些系统是针对AI工作负载量身定制的,因为这些系统可以在Power9 CPU和硬件加速器(例如GPU和FPGA)之间加速传输数据,通常这些加速器是用与训练和运行机器学习模型的。

Power9系统还将在Power9处理器以及系统中其他加速器之间的高带宽连接。IBM表示,Power9将成为首个片上支持最新高速连接器(包括Nvidia下一代NVLink、OpenCAPI 3.0和PCIe 4.0)的商用平台。

IBM公司副总裁、认知系统开发研究员Brad McCredie表示:“我们看你到片上微处理器——处理片上集成——的时代正在终结,摩尔定律也将消失。”

“Power9让我们有机会尝试新的架构设计,通过跨系统堆栈实现数据带宽最大化,从而推动计算打破当前的限制。”

“Power9的基石是一个内部的信息高速公路,将处理进行分离,强化高级加速器来消化和分析海量数据集。”

下一代Nvidia NVLink和OpenCAPI互连将让附加GPU的性能明显高于x86系统中普遍采用的PCIe 3.0连接器所能实现的性能,而PCIe 4.0互连的速度将是PCIe 3.0的2倍。

IBM称,这个新的Power9系统最大的亮点,就是为美国能源部构建的Summit和Sierra超级计算机,也采用了Nvidia最新基于Volta的Tesla GPU加速器。Summit超级计算机预计性能将提升到是DOE Titan超级计算机的5到10倍。

IBM的重点是为可以有效处理多种类型芯片之间处理的系统奠定基础,这也是与Google、Mellanox、Nvidia和其他OpenPower Foundation成员共同努力的部分结果。

今年早些时候,IBM高级副总裁Bob Picciano谈到了IBM将如何计划打造能够更好地解决与使用AI分析非结构化数据相关工作负载的系统。





本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。
目录
相关文章
|
13天前
|
机器学习/深度学习 存储 人工智能
【AI系统】昇思MindSpore并行
本文介绍昇思MindSpore的并行训练技术,包括张量重排布、自动微分等,旨在简化并行策略搜索,提高大规模模型训练效率。文章探讨了大模型带来的挑战及现有框架的局限性,详细说明了MindSpore如何通过技术创新解决这些问题,实现高效的大模型训练。
63 20
【AI系统】昇思MindSpore并行
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
转载:【AI系统】AI的领域、场景与行业应用
本文概述了AI的历史、现状及发展趋势,探讨了AI在计算机视觉、自然语言处理、语音识别等领域的应用,以及在金融、医疗、教育、互联网等行业中的实践案例。随着技术进步,AI模型正从单一走向多样化,从小规模到大规模分布式训练,企业级AI系统设计面临更多挑战,同时也带来了新的研究与工程实践机遇。文中强调了AI基础设施的重要性,并鼓励读者深入了解AI系统的设计原则与研究方法,共同推动AI技术的发展。
转载:【AI系统】AI的领域、场景与行业应用
|
13天前
|
机器学习/深度学习 人工智能 分布式计算
【AI系统】混合并行
混合并行融合了数据并行、模型并行和流水线并行,旨在高效利用计算资源,尤其适合大规模深度学习模型训练。通过将模型和数据合理分配至多个设备,混合并行不仅提升了计算效率,还优化了内存使用,使得在有限的硬件条件下也能处理超大型模型。3D混合并行(DP+PP+TP)是最先进的形式,需至少8个GPU实现。此策略通过拓扑感知3D映射最大化计算效率,减少通信开销,是当前深度学习训练框架如Deepspeed和Colossal AI的核心技术之一。
58 15
【AI系统】混合并行
|
10天前
|
存储 人工智能 vr&ar
转载:【AI系统】CPU 基础
CPU,即中央处理器,是计算机的核心部件,负责执行指令和控制所有组件。本文从CPU的发展史入手,介绍了从ENIAC到现代CPU的演变,重点讲述了冯·诺依曼架构的形成及其对CPU设计的影响。文章还详细解析了CPU的基本构成,包括算术逻辑单元(ALU)、存储单元(MU)和控制单元(CU),以及它们如何协同工作完成指令的取指、解码、执行和写回过程。此外,文章探讨了CPU的局限性及并行处理架构的引入。
转载:【AI系统】CPU 基础
|
10天前
|
人工智能 缓存 并行计算
转载:【AI系统】CPU 计算本质
本文深入探讨了CPU计算性能,分析了算力敏感度及技术趋势对CPU性能的影响。文章通过具体数据和实例,讲解了CPU算力的计算方法、算力与数据加载之间的平衡,以及如何通过算力敏感度分析优化计算系统性能。同时,文章还考察了服务器、GPU和超级计算机等平台的性能发展,揭示了这些变化如何塑造我们对CPU性能的理解和期待。
转载:【AI系统】CPU 计算本质
|
13天前
|
存储 人工智能 PyTorch
【AI系统】张量并行
在大模型训练中,单个设备难以满足需求,模型并行技术应运而生。其中,张量并行(Tensor Parallelism, TP)将模型内部的参数和计算任务拆分到不同设备上,特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用,以及通过PyTorch DeviceMesh实现TP的具体步骤。
48 11
【AI系统】张量并行
|
10天前
|
机器学习/深度学习 存储 人工智能
转载:【AI系统】计算之比特位宽
本文详细介绍了深度学习中模型量化操作及其重要性,重点探讨了比特位宽的概念,包括整数和浮点数的表示方法。文章还分析了不同数据类型(如FP32、FP16、BF16、FP8等)在AI模型中的应用,特别是FP8数据类型在提升计算性能和降低内存占用方面的优势。最后,文章讨论了降低比特位宽对AI芯片性能的影响,强调了在不同应用场景中选择合适数据类型的重要性。
转载:【AI系统】计算之比特位宽
|
10天前
|
机器学习/深度学习 人工智能 算法
转载:【AI系统】关键设计指标
本文介绍了AI芯片的关键设计指标及其与AI计算模式的关系,涵盖计算单位(如OPS、MACs、FLOPs)、关键性能指标(精度、吞吐量、时延、能耗、成本、易用性)及优化策略,通过算术强度和Roofline模型评估AI模型在芯片上的执行性能,旨在帮助理解AI芯片设计的核心考量与性能优化方法。
转载:【AI系统】关键设计指标
|
10天前
|
机器学习/深度学习 人工智能 并行计算
转载:【AI系统】AI轻量化与并行策略
本文探讨了AI计算模式对AI芯片设计的重要性,重点分析了轻量化网络模型和大模型分布式并行两大主题。轻量化网络模型通过减少模型参数量和计算量,实现在资源受限设备上的高效部署;大模型分布式并行则通过数据并行和模型并行技术,解决大模型训练中的算力和内存瓶颈,推动AI技术的进一步发展。
转载:【AI系统】AI轻量化与并行策略
|
13天前
|
存储 机器学习/深度学习 人工智能
【AI系统】完全分片数据并行 FSDP
本文深入探讨了AI框架中针对权重数据、优化器数据和梯度数据的分布式并行实现,特别是在PyTorch框架下的具体方案。文章首先回顾了通用数据并行和分布式数据并行的概念,重点讨论了同步与异步数据并行的差异。接着,文章详细介绍了如何在PyTorch中实现弹性数据并行,特别是完全分片数据并行(FSDP)的机制,包括其如何通过分片模型状态和剩余状态来减少内存消耗,提高训练效率。此外,文章还探讨了混合精度训练、损失缩放和内存消耗估算等关键技术,为理解和实施高效的分布式训练提供了全面的指导。
46 9
【AI系统】完全分片数据并行 FSDP
下一篇
DataWorks