边缘人工智能:部署前需要考虑的三个技巧

简介: 找出在边缘部署 AI 的三个主要原因,包括最大限度地减少带宽使用。

随着人工智能 (AI) 的成熟,采用率继续增加。根据最近的研究,35% 的组织正在使用人工智能,42% 的组织正在探索其潜力。虽然人工智能在云中得到了很好的理解并大量部署,但它在边缘仍然处于萌芽状态,并面临一些独特的挑战。

许多人全天都在使用人工智能,从汽车导航到跟踪步骤,再到与数字助理交谈。即使用户经常在移动设备上访问这些服务,计算结果仍然存在于人工智能的云使用中。更具体地说,一个人请求信息,该请求由云中的中央学习模型处理,然后将结果发送回该人的本地设备。

与云端 AI 相比,边缘 AI 的理解和部署频率更低。从一开始,人工智能算法和创新就依赖于一个基本假设——所有数据都可以发送到一个中心位置。在这个中心位置,算法可以完全访问数据。这使得算法能够像大脑或中枢神经系统一样构建其智能,对计算和数据拥有完全的权限。

但是,边缘的人工智能是不同的。它将智能分布在所有细胞和神经上。通过将智能推向边缘,我们赋予这些边缘设备代理权。这在医疗保健和工业制造等许多应用和领域中至关重要。

f5ef30d06518c6eb6bc284709c2b715b2be540.jpg

在边缘部署人工智能的原因
在边缘部署人工智能有三个主要原因。

保护个人身份信息 (PII)

首先,一些处理 PII 或敏感 IP(知识产权)的组织更愿意将数据留在其来源处——医院的成像机器或工厂车间的制造机器中。这可以降低通过网络传输数据时可能发生的“偏移”或“泄漏”风险。

最小化带宽使用

其次是带宽问题。将大量数据从边缘传送到云端会阻塞网络,在某些情况下是不切实际的。健康环境中的成像机器生成如此庞大的文件以致无法将它们传输到云或需要数天才能完成传输的情况并不少见。

简单地在边缘处理数据会更有效,尤其是当洞察力旨在改进专有机器时。过去,计算的移动和维护难度要大得多,因此需要将这些数据移动到计算位置。这种范式现在受到挑战,现在数据通常更重要且更难管理,导致用例保证将计算移动到数据位置。

避免延迟

在边缘部署 AI 的第三个原因是延迟。互联网速度很快,但不是实时的。如果存在毫秒很重要的情况,例如协助手术的机械臂或时间敏感的生产线,组织可能会决定在边缘运行 AI。

边缘人工智能面临的挑战以及如何解决这些挑战
尽管有这些好处,但在边缘部署 AI 仍然存在一些独特的挑战。以下是您应该考虑的一些提示,以帮助应对这些挑战。

模型训练的好与坏结果

大多数 AI 技术使用大量数据来训练模型。然而,在边缘的工业用例中,这通常会变得更加困难,因为大多数制造的产品都没有缺陷,因此被标记或注释为良好。由此产生的“好结果”与“坏结果”的不平衡使得模型更难学会识别问题。

依赖于没有上下文信息的数据分类的纯 AI 解决方案通常不容易创建和部署,因为缺乏标记数据,甚至会发生罕见事件。为 AI 添加上下文(或称为以数据为中心的方法)通常会在最终解决方案的准确性和规模方面带来好处。事实是,虽然人工智能通常可以取代人类手动完成的平凡任务,但在构建模型时,它会极大地受益于人类的洞察力,尤其是在没有大量数据可供使用的情况下。

从经验丰富的主题专家那里得到承诺,与构建算法的数据科学家密切合作,为 AI 学习提供了一个快速启动。

AI 无法神奇地解决或提供每个问题的答案

通常有许多步骤进入输出。例如,工厂车间可能有许多工作站,它们可能相互依赖。一个过程中工厂某个区域的湿度可能会影响稍后在不同区域的生产线中另一个过程的结果。

人们通常认为人工智能可以神奇地拼凑所有这些关系。虽然在许多情况下可以,但它也可能需要大量数据和很长时间来收集数据,从而导致非常复杂的算法不支持可解释性和更新。

人工智能不能生活在真空中。捕捉这些相互依赖关系将把边界从一个简单的解决方案推向一个可以随着时间和不同部署而扩展的解决方案。

缺乏利益相关者的支持会限制人工智能的规模

如果组织中的一群人对它的好处持怀疑态度,则很难在整个组织中扩展 AI。获得广泛支持的最好(也许是唯一)方法是从一个高价值、困难的问题开始,然后用人工智能解决它。

在奥迪,我们考虑解决焊枪电极更换频率的问题。但是电极成本低,这并没有消除人类正在做的任何平凡的任务。相反,他们选择了焊接工艺,这是整个行业普遍认同的难题,并通过人工智能显着提高了工艺质量。这激发了整个公司工程师的想象力,他们研究如何在其他流程中使用人工智能来提高效率和质量。

平衡边缘 AI 的优势和挑战
在边缘部署 AI 可以帮助组织及其团队。它有可能将设施转变为智能边缘,提高质量,优化制造过程,并激励整个组织的开发人员和工程师探索他们如何整合人工智能或推进人工智能用例,包括预测分析、提高效率的建议或异常检测。但它也带来了新的挑战。作为一个行业,我们必须能够在部署它的同时减少延迟、增加隐私、保护 IP 并保持网络平稳运行。


本文转载自51CTO,本文一切观点和机器智能技术圈子无关。原文链接
免费体验百种AI能力以及试用热门离线SDK:【点此跳转】

相关文章
|
1月前
|
人工智能 并行计算 安全
从零到一,打造专属AI王国!大模型私有化部署全攻略,手把手教你搭建、优化与安全设置
【10月更文挑战第24天】本文详细介绍从零开始的大模型私有化部署流程,涵盖需求分析、环境搭建、模型准备、模型部署、性能优化和安全设置六个关键步骤,并提供相应的示例代码,确保企业能够高效、安全地将大型AI模型部署在本地或私有云上。
594 7
|
18天前
|
人工智能 Java Serverless
阿里云函数计算助力AI大模型快速部署
随着人工智能技术的快速发展,AI大模型已经成为企业数字化转型的重要工具。然而,对于许多业务人员、开发者以及企业来说,探索和利用AI大模型仍然面临诸多挑战。业务人员可能缺乏编程技能,难以快速上手AI模型;开发者可能受限于GPU资源,无法高效构建和部署AI应用;企业则希望简化技术门槛,以更低的成本和更高的效率利用AI大模型。
87 12
|
4天前
|
人工智能 数据库连接 API
在部署《主动式智能导购 AI 助手构建》解决方案的过程中,整体体验还是相对顺畅的,但确实遇到了一些问题,文档提供的引导也有所不足,以下是详细的体验评估
在部署《主动式智能导购 AI 助手构建》解决方案的过程中,整体体验还是相对顺畅的,但确实遇到了一些问题,文档提供的引导也有所不足,以下是详细的体验评估
|
16天前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
19天前
|
机器学习/深度学习 存储 人工智能
【AI系统】训练后量化与部署
本文详细介绍了训练后量化技术,涵盖动态和静态量化方法,旨在将模型权重和激活从浮点数转换为整数,以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制,文章探讨了如何平衡模型精度与性能,同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
43 1
【AI系统】训练后量化与部署
|
24天前
|
人工智能 监控 Serverless
《主动式智能导购AI助手构建》解决方案部署测评
在数字化时代,智能导购AI助手已成为提升客户体验和销售效率的重要工具。本文将基于个人体验,对《主动式智能导购AI助手构建》解决方案的部署过程进行详细评测。
40 3
|
10天前
|
人工智能 API Windows
免费部署本地AI大语言模型聊天系统:Chatbox AI + 马斯克grok2.0大模型(简单5步实现,免费且比GPT4.0更好用)
本文介绍了如何部署本地AI大语言模型聊天系统,使用Chatbox AI客户端应用和Grok-beta大模型。通过获取API密钥、下载并安装Chatbox AI、配置模型,最终实现高效、智能的聊天体验。Grok 2大模型由马斯克X-AI发布,支持超长文本上下文理解,免费且易于使用。
44 0
|
1月前
|
人工智能 安全 网络安全
揭秘!大模型私有化部署的全方位安全攻略与优化秘籍,让你的AI项目稳如磐石,数据安全无忧!
【10月更文挑战第24天】本文探讨了大模型私有化部署的安全性考量与优化策略,涵盖数据安全、防火墙配置、性能优化、容器化部署、模型更新和数据备份等方面,提供了实用的示例代码,旨在为企业提供全面的技术参考。
114 6
|
2月前
|
人工智能 C语言 Windows
Ollama部署在线ai聊天
本文介绍了如何在Windows系统上安装和部署AI聊天模型Ollama,包括安装步骤、模型安装、运行模型项目,以及使用Ollama生成C语言平衡二叉树的完整代码。
105 2
Ollama部署在线ai聊天
|
2月前
|
人工智能 数据安全/隐私保护 UED
RAG让AI大模型更懂业务解决方案部署使用体验
根据指导文档,部署过程得到了详细步骤说明的支持,包括环境配置、依赖安装及代码示例,确保了部署顺利进行。建议优化知识库问题汇总,增加部署失败案例参考,以提升用户体验。整体解决方案阅读与部署体验良好,有助于大型语言模型在特定业务场景的应用,未来可加强行业适应性和用户隐私保护。
75 5