OpenYurt 联手 eKuiper,解决 IoT 场景下边缘流数据处理难题

简介: 云计算的出现促使物联网实现爆炸式增长。在设备规模和业务复杂度不断攀升的趋势之下,边缘计算因其能够将计算能力更靠近网络边缘和设备,从而带来云性能成本的降低,也在这波浪潮之下得到快速发展。

诚然,物联网边缘计算尚处发展初期,有许多挑战需要被解决。比如在大量软件及通信协议极为复杂的设备异构环境下,需要具备快速处理业务数据,并对异常情况作出快速响应的能力;另外,在大多数情况下,出于安全或其他考虑,边缘节点在物理上无法从云节点直接访问,使部署变得困难,也无法实现云到边缘的管理。这些问题都使业务的连续性、稳定性和可用性遭受威胁。

现在,企业和开发者通过开源社区就能够找到应对以上问题的解决方案。近日,OpenYurt 与开源项目 eKuiper 正式达成合作,完成了集成对接:从 v0.4.0 版本开始,OpenYurt 将正式支持部署和管理 eKuiper ,双方将共同帮助开发者轻松、高效地解决物联网边缘计算场景下流式数据处理和运维挑战。

2.png

eKuiper:轻量级 IoT 数据分析和流处理开源软件

物联网边缘计算很多场景下需要流式数据处理能力。所谓流数据是指一组顺序、大量、快速、连续到达的数据序列。一般情况下,流数据可被视为一个随时间延续而无限增长的动态数据集合,它可以帮助用户实时了解系统设备的状态,并对异常情况做出快速响应。

在边缘端,计算资源(CPU,内存等)不像在云端一般丰富,因此传统的流式数据处理框架类似于 Apache Spark 或者 Apache Flink 等,由于其安装包过大,或者部署结构与过程过于复杂、运行时的高消耗等原因,并不适合于在这些资源受限的边缘设备(工控机、网关,或者配置不高的 X86 或者 ARM 服务器等设备)上运行。而 eKuiper 就是为了解决在物联网边缘设备上的这些问题而设计开发。

eKuiper 的前身是由开源物联网数据基础设施软件供应商 EMQ 于 2019 年正式开源的 Kuiper 项目。2021 年 6 月,Kuiper 项目加入 LF Edge 基金会并更名为 eKuiper,开始作为独立的项目运营。eKuiper 的本质是一个轻量级物联网数据分析和流处理软件,可以运行在各类资源受限的边缘设备上,希望使边缘端的流式数据处理拥有如 Spark 与 Flink 的能力。

OpenYurt:非侵入式的边缘云原生智能平台

云原生技术已经无处不在,并被应用于“新的应用负载” ,“新的计算形态”和“新的物理边界”。作为云原生的技术基石,容器和 Kubernetes 正在通过越来越多的计算形态承载,丰富的形态也开始从传统的中心云走向边缘计算、走向终端。

通常来说,边缘场景下计算规模庞大、业务复杂,采取原生 Kubernetes 的 workload 管理模型远不能满足现实中云原生边缘计算的落地需求;并且云边网络通过公网相连,网络连接有很大不可控因素,可能带来边缘业务运行的不稳定因素,而且由于边缘节点一般位于用户网络的防火墙内部,会造成云边网络只能单向连通的客观条件,给原生的 Kubernetes 运维监控带来很大挑战;最后,无可避免地要面对边缘资源种类的多样、异构,使边缘标准化支持面临困难。

OpenYurt 基于原生 Kubernetes 构建,是业界首个对 Kubernetes 无侵入的边缘计算云原生开源平台。OpenYurt 是阿里云容器服务产品 ACK@Edge 的核心框架,由阿里云于 2020 年 5 月以开源的方式反哺业界,并通过捐赠给 CNCF,实现更加中立、开放的社区环境,成为生态兼容场景下边缘云原生平台首选项目。

如果你想开发小程序或者app的话,可以通过第三方专业开发平台,来帮助你实现开发需求:厦门在乎科技-专注厦门小程序开发公司、APP开发、网站开发

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
传感器 存储 运维
IoT Studio场景最佳实践
本次物联网场景最佳实践我们用六合一传感器(温度、湿度、二氧化碳、PM2.5、PM10、甲醛)实现家庭环境数据实时采集,通过家中Wi-Fi上报到阿里云IoT物联网平台,借助IoT Studio低代码工具搭建可视化大屏,实时监控家中环境指标变化。
591 0
IoT Studio场景最佳实践
|
消息中间件 缓存 运维
阿里云IoT物联网实例视频讲解、场景案例汇总
阿里云IoT物联网实例视频讲解、场景案例汇总
1318 3
|
消息中间件 存储 SQL
RocketMQ Streams在云安全及 IoT 场景下的大规模最佳实践
RocketMQ Streams的第三个应用场景是IOT。IOT是典型的边缘计算场景,挑战在于需要用4core 8g来混部其业务和RocketMQ Streams任务,几百个任务的压力非常大。而且它需要采用MQTT这样标准的IOT协议输入,也需要自定义规则引擎的能力进行统计计算、特征计算、Join计算和维表计算。
RocketMQ Streams在云安全及 IoT 场景下的大规模最佳实践
|
人工智能 供应链 搜索推荐
响铃:AI+IoT新赛道单品爆破只是短跑,全场景长跑才能决胜未来
响铃:AI+IoT新赛道单品爆破只是短跑,全场景长跑才能决胜未来
108 0
响铃:AI+IoT新赛道单品爆破只是短跑,全场景长跑才能决胜未来
|
人工智能 边缘计算 算法
阿里云IoT戴高:IoT场景化的本质是打造数智空间
阿里云AIoT 10月22日 在2021云栖大会IoT云端一体硬件与应用创新峰会上,阿里云IoT通用业务总经理戴高表示,每个人、每个企业、每个组织每天都在无数的空间中穿梭,因此IoT场景化就是要围绕人的工作生活打造各种数智化空间。
278 0
阿里云IoT戴高:IoT场景化的本质是打造数智空间
|
运维 架构师 搜索推荐
GaussDB在IoT大数据场景的创新实践
近日,在深圳举办的ArchSummit全球架构师峰会上,华为GaussDB生态与标准CTO王伟民发表了“IoT大数据场景下华为GaussDB的数据处理实践”主题演讲,分享了大数据场景下华为GaussDB的数据处理实践。 在数据爆炸式增长的时代,企业在进行海量数据分析与处理时面临四大挑战: l 极致的弹性扩缩容能力,满足海量数据处理需求 l 系统具备极高的可用性,满足7 * 24 * 365不间断持续运营诉求 l 具备实时性分析能力,对服务体验、精准的个性化服务要求不断提高 l 基础平台必须对应用开发友好,易管理易运维,满足业务创新加速,且在运维运营、变更等方面具有可视化、智能
159 0
|
物联网 区块链
BlockChain&IOT:区块链技术与互联网的结合以及场景应用
BlockChain&IOT:区块链技术与互联网的结合以及场景应用
BlockChain&IOT:区块链技术与互联网的结合以及场景应用
|
人工智能 边缘计算 算法
阿里云IoT戴高:IoT场景化的本质是打造数智空间
IoT数智引擎,全面助力空间数智化升级!
364 0
阿里云IoT戴高:IoT场景化的本质是打造数智空间
|
SQL 边缘计算 运维
OpenYurt 联手 eKuiper,解决 IoT 场景下边缘流数据处理难题
云计算的出现促使物联网实现爆炸式增长。在设备规模和业务复杂度不断攀升的趋势之下,边缘计算因其能够将计算能力更靠近网络边缘和设备,从而带来云性能成本的降低,也在这波浪潮之下得到快速发展。
OpenYurt 联手 eKuiper,解决 IoT 场景下边缘流数据处理难题
|
7月前
|
编解码 小程序 JavaScript
阿里云IoT小程序应用开发和组件实践
通过实验,了解阿里云IoT小程序的应用开发的方法,了解其内置的基础组件使用,以及基于Vue.js实现可复用的自定义组件的方法。
341 1

热门文章

最新文章