登上Nature的AI芯片设计屡遭质疑,谷歌发文反击,Jeff Dean:质疑者连预训练都没做

简介: 2020年,谷歌的AlphaChip在Nature上发表并开源,其深度强化学习方法能生成超越人类水平的芯片布局,引发AI在芯片设计领域的研究热潮。然而,ISPD 2023的一篇论文对其性能提出质疑,指出未按Nature论文方法运行、计算资源不足等问题。谷歌DeepMind团队回应,强调AlphaChip已在多代TPU和Alphabet芯片中成功应用,并批驳ISPD论文的主要错误。此外,针对Igor Markov的“元分析”和无根据猜测,谷歌提供了详细的时间线和非机密部署情况,澄清事实并重申AlphaChip的开放性和透明度。

2020年,谷歌的深度强化学习方法AlphaChip在Nature杂志上发表,并开源在GitHub上。这一方法能够生成超越人类水平的芯片布局,引发了AI在芯片设计领域研究的热潮。AlphaChip已被广泛应用于Alphabet公司内部以及外部芯片制造商的最先进芯片中。然而,近期有一篇未经过同行评审的论文在ISPD 2023会议上对AlphaChip的性能提出了质疑。

这篇论文的作者并未按照Nature论文中描述的方法运行AlphaChip,例如他们没有进行预训练(这剥夺了AlphaChip从先前经验中学习的能力),使用了显著更少的计算资源(20倍更少的RL经验收集器和一半的GPU数量),没有进行到收敛的训练(这是机器学习的标准做法),并且在不具代表性的现代芯片测试用例上进行了评估。

针对这些质疑,谷歌DeepMind的Azalia Mirhoseini和Jeff Dean等人发表了一篇名为《That Chip Has Sailed: A Critique of Unfounded Skepticism Around AI for Chip Design》的论文,对这些质疑进行了回应。

首先,他们指出AlphaChip在Nature发表后,已经在三个TPU世代、数据中心CPU(Axion)以及其他Alphabet芯片中生成了超越人类水平的芯片布局。此外,AlphaChip还被外部学术界和芯片制造商扩展到芯片设计的新领域。

然后,他们详细分析了ISPD 2023论文中的主要错误。首先,该论文没有进行预训练,而预训练是AlphaChip能够从先前经验中学习的关键优势。其次,他们使用了显著更少的计算资源,这可能会损害性能或需要更长的时间才能达到相同的(或更差的)性能。第三,他们没有进行到收敛的训练,而训练到收敛是机器学习的标准做法,不这样做会损害性能。最后,他们在不具代表性的现代芯片测试用例上进行了评估,这些测试用例在物理设计方面与Nature论文中使用的测试用例存在显著差异。

除了ISPD 2023论文,Igor Markov还发表了一篇所谓的“元分析”,对三篇论文进行了评论:Nature论文、ISPD论文和他自己的未发表论文(尽管他没有披露自己是这篇论文的合著者)。然而,这篇“元分析”并没有提供任何原始数据,并且存在许多问题,例如它没有描述任何形式的所谓的“樱桃挑选”,也没有提供任何证据。

此外,Markov还提出了一个关于谷歌内部“吹哨人”的担忧,但这个“吹哨人”向谷歌调查人员承认,他没有理由相信存在欺诈行为。Markov在他的“元分析”中还进行了毫无根据的猜测,暗示谷歌可能只是在“自我测试”AlphaChip方法,允许使用性能较差的AlphaChip布局来支持他们的研究论文。然而,这种说法是荒谬的,因为谷歌更关心的是TPU设计的效率,这是一个价值数十亿美元的项目,对谷歌的云和AI计划至关重要,而不是一篇研究论文。

为了澄清事实,谷歌提供了一个事件时间线,包括非机密的部署情况。他们指出,在Nature论文发表之前,AlphaChip布局已经在TPU v5e中进行了流片。此外,在Nature论文发表后,AlphaChip布局在TPU v5p和最新的公共TPU(Trillium)中进行了流片。谷歌还指出,在2022年,一个独立的谷歌委员会拒绝了Markov等人的论文,因为数据不支持其主张和结论。

最后,谷歌强调了AlphaChip的开放性,他们已经开源了一个软件存储库,以完全重现Nature论文中描述的方法。他们还指出,ISPD 2023论文的作者没有必要“逆向工程”他们提供的两个二进制文件(用于性能优化的代理成本函数和力导向标准单元布局器),因为这些文件已经在他们的开源存储库中提供了。

论文地址:https://arxiv.org/pdf/2411.10053

目录
相关文章
|
1月前
|
人工智能
谷歌苹果曝出LLM惊人内幕,自主识别错误却装糊涂!AI幻觉背后藏着更大秘密
谷歌和苹果的研究揭示了大型语言模型(LLM)的惊人秘密:尽管LLM能自主识别错误,却在生成答案时装作不知情。这一“幻觉”现象背后,模型内部已编码了关于输出真实性的信息,但其外部表现与内部判断常有矛盾,暴露出LLM在实际应用中的局限性。研究为未来开发更有效的错误检测和缓解策略提供了新思路。论文地址:https://arxiv.org/pdf/2410.02707
68 30
|
1月前
|
机器学习/深度学习 人工智能 编解码
ByteDance Research登Nature子刊:AI+冷冻电镜,揭示蛋白质动态
在生物医学领域,蛋白质的结构与功能研究至关重要。ByteDance Research团队开发的CryoSTAR软件,结合AI与冷冻电镜技术,通过深度学习模型、结构先验和异质性重构算法,成功解析了蛋白质的动态行为,尤其在处理结构异质性方面表现出色。该软件已在多个蛋白质体系中取得显著成果,如TRPV1通道蛋白的动态变化研究,为理解蛋白质功能及疾病机制提供了新思路。论文链接:https://www.nature.com/articles/s41592-024-02486-1
81 26
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
哈佛推出全新类ChatGPT癌症诊断AI,登上Nature!准确率高达96%
哈佛大学研究团队开发的新型AI模型CHIEF,在《自然》期刊发表,癌症诊断准确率达96%。CHIEF基于深度学习,能自动识别、分类癌症并预测生存期,具高准确性、多任务能力和泛化性。它结合病理图像与基因组学等数据,显著提升诊断效率和个性化治疗水平,有望改善医疗资源不平等。但数据隐私和临床效果验证仍是挑战。论文见:https://www.nature.com/articles/s41586-024-07894-z
169 101
|
30天前
|
人工智能 供应链 PyTorch
TimesFM 2.0:用 AI 预测流量、销量和金融市场等走势!谷歌开源超越统计方法的预测模型
TimesFM 2.0 是谷歌研究团队开源的时间序列预测模型,支持长达2048个时间点的单变量预测,具备零样本学习能力,适用于零售、金融、交通等多个领域。
187 23
TimesFM 2.0:用 AI 预测流量、销量和金融市场等走势!谷歌开源超越统计方法的预测模型
|
6天前
|
机器学习/深度学习 存储 人工智能
预定下一个诺奖级AI?谷歌量子纠错AlphaQubit登Nature,10万次模拟实验创新里程碑
谷歌的量子纠错算法AlphaQubit近日登上《自然》杂志,被誉为量子计算纠错领域的重大突破。量子比特易受环境噪声干扰,导致计算错误,而AlphaQubit通过神经网络学习噪声模式,显著提升纠错准确性。实验结果显示,它在Sycamore处理器和Pauli+模拟器上表现优异,优于现有解码算法。尽管面临资源需求高等挑战,AlphaQubit为实用化量子计算带来新希望,并可能推动其他领域创新。论文详见:https://www.nature.com/articles/s41586-024-08148-8
23 5
|
4天前
|
人工智能 负载均衡 搜索推荐
谷歌发布双思维AI Agent:像人类一样思考,重大技术突破!
谷歌近日推出基于“快慢思维”理论的双思维AI Agent系统,模仿人类大脑的两种思维模式:快速直观的Talker(系统1)和深思熟虑的Reasoner(系统2)。Talker负责日常对话与快速响应,Reasoner则处理复杂推理任务。该系统模块化设计,灵活高效,已在睡眠教练等场景中展现应用潜力,但仍面临工作负载平衡与推理准确性等挑战。论文详情见:https://arxiv.org/abs/2410.08328v1
30 1
|
22天前
|
机器学习/深度学习 人工智能 算法
Nature:AI也许可以拥有常识,但不是现在
人工智能(AI)的快速发展引发了关于其是否能拥有常识的讨论。尽管AI在特定任务上取得进展,但目前仍缺乏真正的常识理解。常识涉及对物理世界、社会规范和文化背景的理解,难以通过数据和算法完全捕捉。研究人员正通过大规模语言模型和强化学习等方法提升AI的常识能力,但仍面临显著局限性,如对物理世界的直观理解不足、社会文化背景理解欠缺以及常识能力的通用性差等问题。未来,多模态学习和与人类交互有望增强AI的常识能力。
50 20
|
26天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
188 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
12天前
|
人工智能 自然语言处理 搜索推荐
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
83 23
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
|
7天前
|
机器学习/深度学习 存储 人工智能
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。
624 13
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用

热门文章

最新文章