迎接生成式人工智能时代的计算资源革命

简介: 迎接生成式人工智能时代的计算资源革命

生成式人工智能(AI)的广泛应用正彻底改变着计算资源的设计和部署方式。这种AI利用自然语言帮助用户理解非结构化数据,IBM的Nicole Saulnier认为,这是一项重大突破,有望使AI工具能够在各种任务中辅助人类专家。然而,面对这些大型语言模型(LLMs)的计算需求,挑战重重。

挑战与机遇

据斯坦福研究员Hugo Chen介绍,目前最知名的LLM之一,GPT-4,使用了惊人的1.76万亿个参数和120个网络层。根据加州大学圣塔芭芭拉分校的研究员T. Bhattacharya的说法,要将误差率减半可能需要500倍的计算资源。这样庞大的计算需求即使对于专用数据中心来说也是巨大的挑战,而对于边缘设备来说几乎是不可能的。

边缘计算涵盖了从电动汽车到远程传感器等各种设备。这些设备通常无法直接访问“云”资源,并且需要将功耗最小化。边缘应用通常涉及通常处于关闭状态的设备,等待语音命令、运动触发或其他传感器输入。

资源优化的探索

机器学习模型的资源需求主要是由于涉及的数据集规模庞大,但它们的实际计算通常是简单的。矩阵-向量乘法(MVM)占据了计算负载的多达90%。在传统的冯·诺伊曼体系结构中,数据在内存和计算单元之间的移动是一个主要瓶颈。而“内存中计算”(CIM)体系结构则试图直接在内存中对数据进行操作。

虽然CIM SRAM阵列已经面世,但新兴技术如RRAM承诺能够实现显著的功耗和面积节约。相比之下,SRAM不仅需要功耗来维持数据,而且占用相对较大的硅空间,每个单元需要六个晶体管。RRAM则是非易失性的,使用单个电阻器,可能由每个单元的单个晶体管支持。

生物大脑和效率

与生物大脑相比,数字逻辑虽然效率不高但极其准确。生物大脑具有极高的多功能性和低功耗,但无法与数字浮点计算的准确性匹敌。因此,CIM设计需要在效率、多功能性和准确性之间进行复杂的权衡。

在生物大脑中,树突对序列做出反应,而不是对单个电尖峰做出反应。只有特定的尖峰序列才会激发给定的树突。为了构建序列敏感电子设备,斯坦福大学研究小组在单个通道上方放置了 3 个铁电门。如果靠近源极的第一个栅极首先触发,它会产生一个反转层并允许电流流动。然后,第二个栅极延伸反型层,第三个栅极也是如此。然而,如果第二个门首先触发,则没有可用的少数载流子。它会产生深耗尽层,即使 1 号门和 3 号门稍后触发,也会阻塞通道。

工程师们从生物大脑中可以学到的一点是,生物系统与计算机存在许多不同之处。例如,生物系统没有时钟,突触会对来自相邻神经元的脉冲模式做出反应,但在其他情况下基本上是不活跃的。生物系统学习和实时响应,与机器学习技术不同,后者在更新时会“冻结”系统。

栅极 FeFET“树突”。资料来源:IEDM

在人工神经元设计方面,最简单的模型是漏电积分和放电(LIF)模型,但它不适用于需要考虑事件序列的应用。生物大脑中的树突对序列做出反应,为了构建对序列敏感的电子设备,斯坦福大学的研究人员开发了一种3门铁电场效应晶体管(FeFET)“树突”设计。

探索不确定性量化

在IEDM上展示的其他结果寻找更适合脉冲相关信号的器件。例如,加州大学圣塔芭芭拉分校的研究人员使用RRAM器件基于LIF架构,通过器件温度来编码“资格跟踪”值,从而实现了更好的网络学习效果。

RRAM 电导值的概率分布

在AI领域的讨论中,Anantha Sethuraman强调了过度拟合的问题,而贝叶斯网络能够量化其结果的不确定性,识别出超出其训练范围的数据。然而,数字实现的贝叶斯网络效率极低,而RRAM则能够利用其随机性,为贝叶斯网络提供可预测和重复的权重分布。

未来,CIM设计面临着多方面的挑战,包括多功能性、可扩展性和准确性。下一篇文章将更详细地讨论这些问题,并介绍最新的研究成果。


首个存内计算开发者社区-CSDN存内计算

全球首个存内计算社区创立,涵盖最丰富的存内计算内容,以存内计算技术为核心,绝无仅有存内技术开源内容,囊括云/边/端侧商业化应用解析以及新技术趋势洞察等, 邀请业内大咖定期举办线下存内workshop,实战演练体验前沿架构;从理论到实践,做为最佳窗口,存内计算让你触手可及。

相关文章
|
2月前
|
人工智能 算法 测试技术
软件测试中的人工智能革命
本文深入探讨了人工智能在软件测试中的应用,揭示了这一技术革新如何改变传统的测试流程。通过分析人工智能技术的优势、具体应用案例以及面临的挑战,文章展示了AI如何提高测试效率、减少人为错误,并预测其在未来软件测试中的趋势。此外,文章还提出了针对当前挑战的解决策略,为软件测试行业的从业者提供了宝贵的参考和启示。
39 4
|
27天前
|
机器学习/深度学习 存储 人工智能
人工智能与未来医疗:革命性技术的潜力与挑战
【10月更文挑战第2天】 本文探讨了人工智能在医疗领域的应用及其潜在影响。通过分析当前AI技术的发展现状以及在医学诊断、治疗和患者管理中的具体应用,揭示了这一技术如何提升医疗服务质量和效率。同时,讨论了AI在医疗领域所面临的伦理、隐私和安全等挑战,呼吁建立相应的监管和标准以确保其安全有效地发展。
56 4
|
27天前
|
机器学习/深度学习 人工智能 自然语言处理
软件测试中的人工智能革命:现状与未来展望
【10月更文挑战第2天】 本文深入探讨了人工智能在软件测试领域的应用现状、面临的挑战以及未来的发展方向。通过分析AI技术如何提高测试效率、准确性和自动化水平,文章揭示了AI在改变传统软件测试模式中的关键作用。同时,指出了当前AI测试工具的局限性,并对未来AI与软件测试深度融合的前景进行了展望,强调了技术创新对于提升软件质量的重要性。
40 4
|
26天前
|
机器学习/深度学习 人工智能 搜索推荐
人工智能与未来医疗:革命性的技术融合
随着人工智能(AI)技术的迅速发展,其在医疗领域的应用正逐步成为现实。本文将探讨AI在未来医疗中的潜力、挑战以及其对健康产业的影响。从疾病诊断到个性化治疗,再到医疗管理,AI正以其独特的优势改变着传统医疗模式,并预示着一场革命性变革的来临。
|
8天前
|
人工智能 搜索推荐 安全
人工智能与未来社会:探索AI在教育领域的革命性影响
本文深入探讨了人工智能(AI)技术在教育领域的潜在影响和变革。通过分析AI如何个性化学习路径、提高教学效率以及促进教育资源的公平分配,我们揭示了AI技术对教育模式的重塑力量。文章还讨论了实施AI教育所面临的挑战,包括数据隐私、伦理问题及技术普及障碍,并提出了相应的解决策略。通过具体案例分析,本文旨在启发读者思考AI如何助力构建更加智能、高效和包容的教育生态系统。
|
29天前
|
机器学习/深度学习 人工智能 监控
人工智能与未来医疗:革命性的技术融合
本文将探讨人工智能在医疗领域中的应用及其对未来医疗模式的深刻影响。通过分析AI在疾病诊断、个性化治疗、医疗影像分析等方面的表现,我们将揭示这一技术如何提升医疗服务的效率和精准度,进而推动整个医疗行业的变革。
33 8
|
24天前
|
机器学习/深度学习 人工智能 监控
软件测试中的人工智能革命
本文探讨了人工智能在软件测试中的应用及其带来的变革。通过分析AI如何提高测试效率、准确性,并减少人工干预,本文揭示了软件测试领域的未来趋势。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
软件测试中的人工智能革命:效率与准确性的双重提升
随着人工智能技术的不断进步,软件测试领域正经历着前所未有的变革。本文将探讨人工智能在软件测试中的应用及其对效率和准确性的提升。我们将分析传统软件测试的局限性,展示AI如何通过自动化测试、智能缺陷识别和预测性维护来克服这些挑战。此外,我们还将讨论AI在测试过程中面临的伦理和安全挑战,以及如何应对这些挑战。通过综合分析,本文旨在为读者提供一个关于软件测试中人工智能应用的全面视角,强调其在提高效率和准确性方面的巨大潜力。
51 5
|
30天前
|
机器学习/深度学习 人工智能 自然语言处理
软件测试中的人工智能革命:挑战与机遇
在本文中,我们将深入探讨人工智能(AI)如何改变软件测试领域的基本面貌。从自动化测试的崭新可能性到提高测试效率和准确性的先进方法,我们将全面分析AI带来的各种挑战和机遇。通过具体案例和实践指南,希望为读者提供清晰的理解和应用方向。
46 2
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
软件测试中的人工智能革命:提升测试效率与质量的新篇章
随着人工智能技术的不断成熟,其在软件测试领域的应用正逐渐改变传统测试方式。本文将探讨AI在软件测试中的应用现状、优势以及面临的挑战,并通过具体案例分析展示AI如何提高测试效率和质量。最后,我们将讨论未来AI在软件测试中的发展趋势及其对人类测试工程师角色的影响。
106 4