边缘AI与嵌入式存储器的革新:实现数据智能化的关键

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 边缘AI与嵌入式存储器的革新:实现数据智能化的关键

  随着信息量的急剧增长,我们正处于一个数据驱动的时代。在这个时代,边缘计算和人工智能(AI)技术崭露头角,成为处理大数据的新利器。而在这场技术变革中,嵌入式存储器发挥着关键的作用,为边缘AI应用提供了坚实的数据基础。

边缘AI:赋予设备智能的未来

     边缘计算(edge computing)是一种新型的计算模型,其核心理念是将数据处理和计算任务靠近数据源头,避免将数据上传到云端设备,而是在设备端或者边缘端进行处理。边缘计算更注重将基本运算移至边缘终端设备,以节省设备功耗,提高数据时效性和用户隐私保护等。边缘AI(edge AI)则是边缘计算的进一步延伸,利用云端服务器数据计算能力的提升,结合人工智能和机器学习技术的进步,发展出更为综合的人工神经网络。在大数据时代,每天产生的海量信息需要进行分析处理,而随着机器学习、神经网络训练等技术的适配到嵌入式系统上,越来越多的AI应用能够直接在边缘设备上运行,因此“边缘AI”成为了当前研究和探讨的热点。

边缘AI与云端AI之间的计算架构模型和关系

     边缘AI指的是在本地硬件设备上处理的AI算法,即使在没有网络连接的情况下也能进行数据处理。为了实现这一目标,边缘计算在云端通过深度学习进行训练生成神经网络的权重,在数据产生的设备端执行模型的推断和预测。目前,诸如谷歌、亚马逊和微软等传统云服务提供商都已推出边缘人工智能服务平台,通过在终端设备本地运行预先训练好的模型进行机器学习推断,将智能服务推向边缘。各大公司正在积极研究和开发边缘人工智能芯片,市场上也已经涌现出多种产品。

嵌入式存储器:数据的稳定后盾

随着IoT设备和边缘AI计算的发展,新型存储技术多场景应用

     存储器是计算机架构中至关重要的一环,尤其对于边缘设备和边缘AI计算来说,先进的存储技术至关重要。在这方面,磁阻式随机访问存储器(MRAM)是一种非常理想的选择。对于边缘AI应用,MRAM在不要求高性能的场景中能够以较低的电压运行,从而提高能效。由于许多IoT设备和可穿戴设备都是电池供电,因此需要存储器具有更低的功耗和更小的漏电。此外,MRAM的存取时间短,能够实现快速读取数据。相比于外部存储器,嵌入式MRAM可以减少PCB面积,从而降低成本。

MRAM从2019年到2025年,在嵌入式市场份额中增进和演变

     嵌入式存储器作为边缘设备的数据持久化解决方案发挥着关键作用。它不仅能够高效地记录和保存大量数据,而且具备低功耗和非易失性的特性,确保设备在断电或待机状态下数据不会丢失。嵌入式存储器为边缘AI提供了稳定可靠的数据基础,支持着设备在各种应用场景下的长期运行和数据管理需求。

存内计算:解决边缘AI算力需求的新途径

     边缘AI中的存内计算是未来发展的重要方向之一。随着大数据处理和机器学习对算力需求的进一步增加,边缘AI计算需要提高算力容量和效率。然而,冯·诺伊曼计算架构带来的存储墙(Memory Wall)成为了限制电子信息领域发展的一大瓶颈。为了解决这一问题,近年来出现了存内计算(存算一体)芯片技术,旨在将传统以计算为中心的架构转变为以数据为中心的架构。这种技术直接利用存储器进行数据处理,将数据存储与计算融合在同一个芯片中,从而彻底消除了冯·诺伊曼计算架构的瓶颈。

利用SRAM存储和计算的特点,解决计算架构的瓶颈以及识别高精度的数据集

     在存内计算中,例如进行卷积神经网络(CNN)计算时,传统的计算架构需要从内存中提取权重,然后与输入数据一起放入数据处理器(Digital Processor)中进行计算,最后输出结果。相比之下,存内计算直接在内存中进行权重和输入的乘累加运算,可以一次打开多条字线(word-lines),而不像传统架构那样只能打开一条字线(word-line)通过地址译码器(Decode)。这种做法大大提高了运算效率和吞吐量,使存内计算特别适用于深度学习神经网络等大数据量大规模并行的应用场景。

边缘AI计算的优势与挑战

     虽然边缘AI计算有诸多优势,但也面临着一些挑战。其中之一是存储器的容量和速度问题。随着AI模型的复杂度不断增加,对存储器的要求也越来越高。因此,嵌入式存储器需要不断创新,提高容量和速度,以满足边缘AI计算的需求。

边缘AI可以提供比云端AI技术更低的功耗、延时和成本

     随着边缘AI技术和嵌入式存储器技术的不断创新,我们可以预见,智能化生活和工作场景将迎来崭新的篇章。边缘设备将在各个领域发挥越来越重要的作用,嵌入式存储器的进一步发展将为其提供更加稳定和高效的数据支持。未来,我们将看到更多基于边缘AI和嵌入式存储器的智能化解决方案,推动智能技术在社会各个领域的广泛应用和深入发展。

结语

     边缘AI与嵌入式存储器的融合将为智能化时代的到来铺平道路,为人们的生活和工作带来更多便利和可能。在未来的发展中,我们期待看到这一领域的持续创新和突破,为构建智能化社会贡献更多力量。

参考资料

[1] “How Edge AI is widely changing smart devices“. https://www.mediatek.com/blog/how-edge-ai-is-widely-changing-smart-devices. March.2019.

[2] J. Yue et al., “A 65nm Computing-in-Memory-Based CNN Processor with 2.9-to-35.8TOPS/W System Energy Efficiency Using Dynamic-Sparsity Performance-Scaling Architecture and Energy-Efficient Inter/Intra-Macro Data Reuse”, ISSCC, pp. 234-235,2020.

[3] M.-F. Chang et al. “Nonvolatile Circuit for AI Edge Applications”, VLSI, 2019.

[4] Yole Development, "Emerging Non-Volatile Memory, Market and Technology Report 2020"

[5] Cheng, Zhang et al. "Advanced 2.5D packaging technology", GLOBALFOUNDRIES,

https://www.eet-china.com/news/11093.html

[6] Xin Si et al., “A 28nm 64Kb 6T SRAM Computing-in-Memory Macro with 8b MAC Operation for AI Edge Chips” ISSCC.Feb.2020.


首个存内计算开发者社区-CSDN存内计算

全球首个存内计算社区创立,涵盖最丰富的存内计算内容,以存内计算技术为核心,绝无仅有存内技术开源内容,囊括云/边/端侧商业化应用解析以及新技术趋势洞察等, 邀请业内大咖定期举办线下存内workshop,实战演练体验前沿架构;从理论到实践,做为最佳窗口,存内计算让你触手可及。

相关文章
|
3月前
|
人工智能 编解码 算法
DeepSeek加持的通义灵码2.0 AI程序员实战案例:助力嵌入式开发中的算法生成革新
本文介绍了通义灵码2.0 AI程序员在嵌入式开发中的实战应用。通过安装VS Code插件并登录阿里云账号,用户可切换至DeepSeek V3模型,利用其强大的代码生成能力。实战案例中,AI程序员根据自然语言描述快速生成了C语言的base64编解码算法,包括源代码、头文件、测试代码和CMake编译脚本。即使在编译错误和需求迭代的情况下,AI程序员也能迅速分析问题并修复代码,最终成功实现功能。作者认为,通义灵码2.0显著提升了开发效率,打破了编程语言限制,是AI编程从辅助工具向工程级协同开发转变的重要标志,值得开发者广泛使用。
8233 71
DeepSeek加持的通义灵码2.0 AI程序员实战案例:助力嵌入式开发中的算法生成革新
|
2月前
|
人工智能 搜索推荐 数据挖掘
AI赋能职教革新:生成式人工智能(GAI)认证重构技能人才培养新范式
数字化浪潮下,职业教育正经历深刻变革。AI技术的融入为职教带来新机遇:通过精准分析学生需求、模拟实践场景,助力个性化教学与创新能力培养。生成式AI(GAI)认证填补了传统技能认证的空白,强化实践与创新评估,为企业选拔人才提供支持。未来,职教需深化AI融合,加强校企合作,探索新模式,培养高技能人才,开启发展新篇章。
|
2月前
|
人工智能 搜索推荐 vr&ar
让教育更智能:HarmonyOS助力AI类目标签革新教育行业
在科技飞速发展的当下,教育行业正经历深刻变革,智能化转型成为提升教育质量与效率的关键。AI类目标签技术脱颖而出,通过分析学生多维度数据生成个性化学习标签,助力因材施教;智能管理教学资源,提高备课效率。HarmonyOS NEXT API 12及以上版本的分布式能力和强大的数据安全机制,为多设备协同学习和数据保护提供了有力支持。开发者可利用鸿蒙生态构建创新教育应用,推动教育智能化发展。
|
3月前
|
人工智能 自然语言处理 并行计算
MeteoRA:多任务AI框架革新!动态切换+MoE架构,推理效率提升200%
MeteoRA 是南京大学推出的多任务嵌入框架,基于 LoRA 和 MoE 架构,支持动态任务切换与高效推理。
147 3
|
3月前
|
人工智能 自然语言处理 搜索推荐
办公方式革新,手把手教你打造超实用 AI 助理
在AI重塑企业办公的时代,钉钉AI助理成为智能化变革的关键工具。通过连接企业知识库,提供智能问答服务,它能高效解答员工的各种问题,提升工作效率与体验。搭建钉钉AI助理需先整理企业知识,登录钉钉创建并个性化设置助理,添加知识文档,确保其稳定运行。这一智能助手不仅能提高沟通效率,还能降低人力成本,助力企业迈向智能化管理。
257 1
|
5月前
|
人工智能 自然语言处理 Cloud Native
智保未来:国泰产险的 AI 网关革新之旅
通过阿里云云原生 API 网关在国泰落地,目前国泰所有访问大模型的流量均通过阿里云云原生 API 网关进行代理,在日均消耗近亿 Token 的同时,做到了对每个请求都进行敏感信息过滤,不论是输入大模型的内容还是由大模型产生的内容都进行了全面审计,大大降低使用大模型的数据安全风险。通过网关的 AI 插件,国泰产险做到了每个 Token 都知道是谁在用,用在哪个场景,给后续分析和成本管控提供了坚实的数据支撑。
236 38
|
4月前
|
人工智能 自然语言处理 Cloud Native
智保未来:国泰产险的 AI 网关革新之旅
国泰产险在数智化转型中,全面拥抱大模型技术,通过阿里云云原生API网关简化接入复杂性,提升数据安全性和成本管控能力。公司在外呼、客服、内容生成等业务场景深度应用大模型,解决了多模型统一接入、认证鉴权、内容安全、成本管控和审计风控五大挑战,成为保险行业数智化转型的典范。
161 15
|
4月前
|
人工智能 运维 Linux
AI驱动的操作系统服务体验:大模型时代的运维革新
AI驱动的操作系统服务体验:大模型时代的运维革新
117 5
|
5月前
|
缓存 人工智能 负载均衡
AI革新迭代:如何利用代理IP提升智能系统性能
在人工智能快速发展的背景下,智能系统的性能优化至关重要。本文详细介绍了如何利用代理IP提升智能系统性能,涵盖数据加速与缓存、负载均衡、突破地域限制、数据传输优化和网络安全防护等方面。结合具体案例和代码,展示了代理IP在实际应用中的价值和优势。
74 0
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘深度学习中的自注意力机制及其在现代AI应用中的革新
揭秘深度学习中的自注意力机制及其在现代AI应用中的革新

热门文章

最新文章