500亿晶体管,Dojo芯片细节发布!特斯拉ExaPOD将炼成「全球最快AI计算机」

简介: 上周特斯拉举办AI日,除了发布机器人,还公布了其自研的D1芯片。凭借这款芯片,特斯拉打造出了最快的 AI 训练计算机ExaPOD。

外媒称,「特斯拉Dojo是全球最先进的可扩展AI训练机器。」 有多先进呢? AI训练速度全球最快!

70.jpg自研AI训练芯片,超算ExaPod算力全球最高!

在上周的AI日,特斯拉公布了为 Dojo 超级计算机打造的D1 芯片。 Dojo 是一种通过网络结构连接的分布式计算架构,特点包括:具有大型计算平面、极高带宽、低延迟和可扩展性极强 71.jpgD1 芯片采用 7纳米制造工艺,仅 645 平方毫米,包含 500 亿个晶体管、354 个训练节点,内部的电路长达17.7公里。 所有区域都用于机器学习训练和带宽,没有暗硅。 该芯片具有 CPU 级别的计算能力和灵活性, I/O 带宽是网络芯片的2倍 72.jpg处理能力达到每秒 1024 亿次。单芯片 BF16 精度下的算力高达362 TOPs,FP32算力则为22.6 TOPs。 最重要的是,D1芯片之间可以「无缝连接,无需任何胶水」。 利用这一特性,特斯拉将 25 个 D1 芯片组成了一个「训练模块」,再结合了 UI、电源和热管理,最终可以达到9 Petaflops的算力。73.jpg接下来就是大招了! 集合120个训练模块,包含3000个D1芯片。

全球最快的AI训练计算机ExaPOD就诞生啦!其算力高达1.1 EFLOP,超过日本富士通。 74.jpg而且,从理论上来说,Dojo的性能拓展可以无限扩张,没有上限。 为何特斯拉也要加入自研芯片大军?

其实,特斯拉在2019年就发布了一款名为 Full Self-Driving(FSD,全自动驾驶)的芯片。 Dojo项目负责人加内什·文卡塔拉马南(Ganesh Venkataramanan)介绍说,「人们对神经网络的速度和容量的需求是无止境的,马斯克也要求设计一台超高速训练计算机。」 于是,Dojo应运而生。 研发人员的目标是:实现最好的AI训练性能、更大更复杂的神级网络模型、组装出节能又划算的超算。 Dojo这个名字取得也很有深意。它在日语中的意思是「道场」,指冥想或练习武术的地方。 75.jpg很明显,特斯拉研发超算的目的是解决自动驾驶的问题。Ganesh 也表示,超算将会用于训练包括Autopilot在内的的自动驾驶系统。 不过,除此之外,MIT研究员Lex Fridman认为,Dojo 训练系统还可运用到云服务中,未来三年,直接与亚马逊AWS、谷歌云竞争。 最后,特斯拉官方称,芯片还有很大的改进空间。
下一版 Dojo 中某些性能将提高 10 倍! 

相关文章
|
2月前
|
人工智能 安全 搜索推荐
北大计算机学院再登国际AI顶刊!张铭教授团队揭露医疗AI致命漏洞
【10月更文挑战第17天】北京大学计算机学院张铭教授团队在国际顶级人工智能期刊上发表重要成果,揭示了医疗AI系统中的致命漏洞——“模型反演”。该漏洞可能导致误诊和医疗事故,引起学术界和工业界的广泛关注。研究强调了医疗AI系统安全性评估的重要性。
46 1
|
1月前
|
人工智能 安全 JavaScript
Open Interpreter:AI 赋能终端!在终端中对话AI模型进行编程,通过运行代码来完成各种计算机操作任务
Open Interpreter 是一个让语言模型运行代码的强大工具,提供了一个类似 ChatGPT 的界面,支持多种编程语言和丰富的功能。
87 7
Open Interpreter:AI 赋能终端!在终端中对话AI模型进行编程,通过运行代码来完成各种计算机操作任务
|
21天前
|
人工智能 并行计算 程序员
【AI系统】SIMD & SIMT 与芯片架构
本文深入解析了SIMD(单指令多数据)与SIMT(单指令多线程)的计算本质及其在AI芯片中的应用,特别是NVIDIA CUDA如何实现这两种计算模式。SIMD通过单指令对多个数据进行操作,提高数据并行处理能力;而SIMT则在GPU上实现了多线程并行,每个线程独立执行相同指令,增强了灵活性和性能。文章详细探讨了两者的硬件结构、编程模型及硬件执行模型的区别与联系,为理解现代AI计算架构提供了理论基础。
63 12
|
18天前
|
人工智能 数据安全/隐私保护 数据中心
“芯片围城”下国产AI要放缓?答案或截然相反
12月2日,美国对华实施新一轮出口限制,将140余家中国企业列入贸易限制清单。对此,中国多个行业协会呼吁国内企业谨慎选择美国芯片。尽管受限企业表示影响有限,但此事件引发了关于AI领域芯片供应的担忧。华为云推出的昇腾AI云服务,提供全栈自主的算力解决方案,包括大规模算力集群、AI框架等,旨在应对AI算力需求,确保算力供给的稳定性和安全性,助力中国AI产业持续发展。
|
28天前
|
机器学习/深度学习 人工智能 自然语言处理
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言。本文探讨了深度学习在NLP中的应用,包括其基本任务、优势、常见模型及具体案例,如文本分类、情感分析等,并讨论了Python的相关工具和库,以及面临的挑战和未来趋势。
56 1
|
24天前
|
机器学习/深度学习 人工智能 并行计算
【AI系统】芯片的编程体系
本文探讨了SIMD与SIMT的区别及联系,分析了SIMT与CUDA编程的关系,深入讨论了GPU在SIMT编程的本质及其与DSA架构的关系。文章还概述了AI芯片的并行分类与并行处理硬件架构,强调了理解AI芯片编程体系的重要性,旨在帮助开发者更高效地利用AI芯片算力,促进生态繁荣。
46 0
|
24天前
|
机器学习/深度学习 存储 人工智能
【AI系统】谷歌 TPU v2 训练芯片
2017年,谷歌推出TPU v2,专为神经网络训练设计,标志着从推理转向训练的重大转变。TPU v2引入多项创新,包括Vector Memory、Vector Unit、MXU及HBM内存,以应对训练中数据并行、计算复杂度高等挑战。其高效互联技术构建了TPU v2超级计算机,显著提升大规模模型训练的效率和性能。
41 0
|
2月前
|
人工智能 安全 搜索推荐
北大计算机学院再登国际AI顶刊!张铭教授团队揭露医疗AI致命漏洞
【10月更文挑战第16天】北京大学张铭教授团队在国际顶级人工智能期刊上发表重要成果,揭示了医疗AI系统中的致命漏洞——“模型反演”。该漏洞可使攻击者通过特定数据样本误导AI诊断,引发误诊风险。此发现引起广泛关注,强调了医疗AI安全评估的重要性。
62 4
|
2月前
|
人工智能 安全 芯片
【通义】AI视界|谷歌 Tensor G5 芯片揭秘:1+5+2 八核 CPU,支持光线追踪
本文由【通义】自动生成,涵盖黄仁勋宣布台积电协助修复Blackwell AI芯片设计缺陷、苹果分阶段推出Apple Intelligence、OpenAI保守派老将辞职、英伟达深化与印度合作推出印地语AI模型,以及谷歌Tensor G5芯片支持光线追踪等最新科技资讯。点击链接或扫描二维码,获取更多精彩内容。
|
2月前
|
人工智能 机器人 云计算
【通义】AI视界|OpenAI据称已计划联手博通和台积电共同打造自研芯片
本文由【通义】自动生成,涵盖苹果iOS 18.2将集成ChatGPT、OpenAI联手博通和台积电自研芯片、微软指责谷歌发起影子运动、英伟达高管预测AI将呈现人类形态、OpenAI董事会主席的初创公司估值达45亿美元等热点资讯。更多精彩内容,请访问通通知道。