IBM 取得内存计算新突破,AI 训练能耗降低 80 倍

简介: IBM Research 称,已经开发出了一种内存计算新方法,可以为微软和谷歌寻求的高性能和机器学习应用的硬件加速器提供答案。该方法被称为“混合精度内存计算”,论文发表在 Nature Electronics 期刊。

IBM Research 称,已经开发出了一种内存计算新方法,可以为微软和谷歌寻求的高性能和机器学习应用的硬件加速器提供答案。

在近日 Nature Electronics 期刊上发表的一篇论文中,IBM 研究人员描述了这种新的 “混合精度内存计算” 方法。

IBM 关注传统计算体系结构的不同看法,在这种体系结构中,软件需要在单独的 CPU 和 RAM 单元之间进行数据传输。

据 IBM 称,这种被称为 “冯·诺依曼” 的体系结构设计,为数据分析和机器学习应用制造了一个瓶颈,这些应用需要在处理单元和内存单元之间进行更大的数据传输。传输数据也是一个耗能的过程。

应对这一挑战,IBM 给出的一种方法是模拟相变内存(PCM)芯片,该芯片目前还处于原型阶段,500 万个纳米级 PCM 器件组成 500×2000 交叉阵列

PCM 的一个关键优势是可以处理大多数密集型数据处理,而无需将数据传输到 CPU 或 GPU,这样以更低的能量开销实现更快速的处理。

IBM 的 PCM 单元将作为 CPU 加速器,就像微软用于加速 Bing 和加强机器学习的 FPGA 芯片一样。

据 IBM 称,研究表明在某些情况下,其 PCM 芯片能够以模拟的方式进行操作,执行计算任务,并提供与 4 位 FPGA 存储器芯片相当的准确度,但能耗降低了 80 倍

模拟 PCM 硬件并不适合高精度计算。所幸的是,数字型 CPU 和 GPU 是适合的,IBM 认为混合架构可以实现更高性能、更高效率和更高精度的平衡。

这种设计将大部分处理留给内存,然后将较轻的负载交给 CPU 进行一系列的精度修正。

根据 IBM 苏黎世实验室的电气工程师、也是该论文的主要作者 Manuel Le Gallo 称,这种设计有助于云中的认知计算,有助于释放对高性能计算机的访问。

Le Gallo 表示:“凭借我们现在的精确度,我们可以将能耗降低到是使用高精度 GPU 和 CPU 的 1/6。”

“所以我们的想法是,为了应对模拟计算中的不精确性,我们将其与标准处理器结合起来。我们要做的是将大量计算任务转移到 PCM 中,但同时得到最终的结果是精确的。”

这种技术更适合于如数字图像识别等应用,其中误解少数像素并不会妨碍整体识别,此外还有一些医疗应用。

“你可以用低精度完成大量计算——以模拟的方式,PCM 会非常节能——然后使用传统处理器来提高精度。”

对于只有 1 兆字节大小的 IBM 原型内存芯片,现在还处于初期阶段。为了适用于现代数据中心的规模化应用,它需要达到千兆字节的内存量级,分布在数万亿个 PCM 中。

尽管如此,IBM 认为可以通过构建更大规模的 PCM 设备或使其中 PCM 并行运行来实现这一目标。



原文发布时间为:2018-04-21

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:IBM 取得内存计算新突破,AI 训练能耗降低 80 倍

相关文章
|
2月前
|
存储 人工智能 弹性计算
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
阿里云全面展示了全新升级后的AI Infra系列产品及能力。通过全栈优化,阿里云打造出一套稳定和高效的AI基础设施,连续训练有效时长大于99%,模型算力利用率提升20%以上。
233 27
|
1月前
|
机器学习/深度学习 存储 人工智能
AI与量子计算:推动计算科学的边界
【10月更文挑战第7天】AI与量子计算的融合,标志着计算科学进入了一个全新的时代。在这个时代里,计算能力的边界被不断拓宽,科技创新的速度不断加快。我们有理由相信,在未来的日子里,AI与量子计算将继续携手并进,共同推动计算科学向着更加智能、更加高效的方向发展。让我们期待这一天的到来,共同见证计算科学的无限可能。
|
2月前
|
JSON 人工智能 数据格式
AI计算机视觉笔记二十六:YOLOV8自训练关键点检测
本文档详细记录了使用YOLOv8训练关键点检测模型的过程。首先通过清华源安装YOLOv8,并验证安装。接着通过示例权重文件与测试图片`bus.jpg`演示预测流程。为准备训练数据,文档介绍了如何使用`labelme`标注工具进行关键点标注,并提供了一个Python脚本`labelme2yolo.py`将标注结果从JSON格式转换为YOLO所需的TXT格式。随后,通过Jupyter Notebook可视化标注结果确保准确性。最后,文档展示了如何组织数据集目录结构,并提供了训练与测试代码示例,包括配置文件`smoke.yaml`及训练脚本`train.py`,帮助读者完成自定义模型的训练与评估。
|
1月前
|
Python 机器学习/深度学习 人工智能
手把手教你从零开始构建并训练你的第一个强化学习智能体:深入浅出Agent项目实战,带你体验编程与AI结合的乐趣
【10月更文挑战第1天】本文通过构建一个简单的强化学习环境,演示了如何创建和训练智能体以完成特定任务。我们使用Python、OpenAI Gym和PyTorch搭建了一个基础的智能体,使其学会在CartPole-v1环境中保持杆子不倒。文中详细介绍了环境设置、神经网络构建及训练过程。此实战案例有助于理解智能体的工作原理及基本训练方法,为更复杂应用奠定基础。首先需安装必要库: ```bash pip install gym torch ``` 接着定义环境并与之交互,实现智能体的训练。通过多个回合的试错学习,智能体逐步优化其策略。这一过程虽从基础做起,但为后续研究提供了良好起点。
114 4
手把手教你从零开始构建并训练你的第一个强化学习智能体:深入浅出Agent项目实战,带你体验编程与AI结合的乐趣
|
21天前
|
人工智能 边缘计算 监控
边缘AI计算技术应用-实训解决方案
《边缘AI计算技术应用-实训解决方案》提供完整的实训体系,面向高校和科研机构的AI人才培养需求。方案包括云原生AI平台、百度AIBOX边缘计算硬件,以及8门计算机视觉实训课程与2门大模型课程。AI平台支持大规模分布式训练、超参数搜索、标注及自动化数据管理等功能,显著提升AI训练与推理效率。硬件涵盖多规格AIBOX服务器,支持多种推理算法及灵活部署。课程涵盖从计算机视觉基础到大模型微调的完整路径,通过真实商业项目实操,帮助学员掌握前沿AI技术和产业应用。
39 2
|
2月前
|
存储 人工智能 弹性计算
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
|
2月前
|
人工智能 开发工具 计算机视觉
AI计算机视觉笔记三十:yolov8_obb旋转框训练
本文介绍了如何使用AUTODL环境搭建YOLOv8-obb的训练流程。首先创建虚拟环境并激活,然后通过指定清华源安装ultralytics库。接着下载YOLOv8源码,并使用指定命令开始训练,过程中可能会下载yolov8n.pt文件。训练完成后,可使用相应命令进行预测测试。
|
2月前
|
人工智能 PyTorch 算法框架/工具
AI计算机视觉笔记二十二:基于 LeNet5 的手写数字识别及训练
本文介绍了使用PyTorch复现LeNet5模型并检测手写数字的过程。通过搭建PyTorch环境、安装相关库和下载MNIST数据集,实现了模型训练与测试。训练过程涉及创建虚拟环境、安装PyTorch及依赖库、准备数据集,并编写训练代码。最终模型在测试集上的准确率达到0.986,满足预期要求。此项目为后续在RK3568平台上部署模型奠定了基础。
|
2月前
|
人工智能 测试技术 PyTorch
AI计算机视觉笔记二十四:YOLOP 训练+测试+模型评估
本文介绍了通过正点原子的ATK-3568了解并实现YOLOP(You Only Look Once for Panoptic Driving Perception)的过程,包括训练、测试、转换为ONNX格式及在ONNX Runtime上的部署。YOLOP由华中科技大学团队于2021年发布,可在Jetson TX2上达到23FPS,实现了目标检测、可行驶区域分割和车道线检测的多任务学习。文章详细记录了环境搭建、训练数据准备、模型转换和测试等步骤,并解决了ONNX转换过程中的问题。
|
2月前
|
存储 人工智能 数据可视化
AI计算机视觉笔记二十一:PaddleOCR训练自定义数据集
在完成PaddleOCR环境搭建与测试后,本文档详细介绍如何训练自定义的车牌检测模型。首先,在`PaddleOCR`目录下创建`train_data`文件夹存放数据集,并下载并解压缩车牌数据集。接着,复制并修改配置文件`ch_det_mv3_db_v2.0.yml`以适应训练需求,包括设置模型存储目录、训练可视化选项及数据集路径。随后,下载预训练权重文件并放置于`pretrain_models`目录下,以便进行预测与训练。最后,通过指定命令行参数执行训练、断点续训、测试及导出推理模型等操作。