高效数据通道支撑生产情况实时分析与可视化

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: EMQ生产数据可视化解决方案海量保障生产数据传输和持久化的实时性、可靠性、安全性,为大数据分析、人工智能应用提供良好数据基础。

在大数据时代,数据信息成为了各行各业发展规划的一项重要依据。在工业领域,生产数据可视化的应用亦是将庞大的数据通过可视化分析,再由大屏将数据信息清晰明了地呈现出来。

基于企业环境、设备、产线、车间、系统及能源等生产数据的大数据分析,管理者能通过数据可视化展示的图表方便迅速地了解到工厂发展各个阶段的情况,以加强对当下工厂现状的认识。通过工厂数据可视化所展示出的历史各个时期的数据变化,预判未来发展趋势,结合大数据分析和人工智能技术协助管理者做出决策、制定未来方针和战略,并通过数据的实时反馈迅速进行修正和优化。这些都可以使企业的发展和自身管理水平及市场变化相适应,助力企业持续发展。

生产数据可视化应用构建现状分析

设备实时数据感知与持久化以及价值挖掘是生产数据可视化的关键,目前实际生产数据可视化项目建设主要面临以下问题:

  • 海量异构化设备的数据感知

    基于当前物联网、大数据、云计算、人工智能等新一代信息技术的发展,生产数据不再局限于产线的数据采集,而是扩展到整个工厂或园区包括产线、人员、环控、能源、安全、储存、运输、厂房等各个环节的工业物联网设备,关系到效率、产能、质量、安全、耗能、管理等工厂健康生产的核心指标。

    各类工业或物联网设备种类繁多决定了通讯协议的多样性,涉及到的协议有 Modbus、OPC、MQTT、HTTP 等。一个工厂的设备通讯协议往往从几种到十几种甚至更多,且不同厂家的设备信息存在不同的数据结构,导致业务层处理数据困难。

  • 流式数据的处理需求

    生产数据从感知到传输的过程中,数据流往往包含了大量无用和冗余的信息,对有限的网络、存储以及计算资源的消耗巨大,大大增加了经济成本。项目建设需要考虑在近设备的边缘端提供数据的清洗、数据预处理及实时逻辑处理等能力。

  • 高效的数据持久化需求

    无论是企业基于大数据、人工智能算法通过生产数据进行生产趋势判断,还是制定企业方针和战略决策,高精度、持久化的历史数据都是准确预测和推理的基础。企业需要在数据海量、结构复杂的前提下,按照业务需求进行高频数据预处理与持久化。

EMQ 生产数据可视化解决方案

基于 EMQ 云边协同的高并发、高吞吐数据基础设施,对整个生产数据传输和处理架构进行优化,可以高效、实时地响应车间、厂级中心、集团云等各层级业务和应用对生产数据的需求。
EMQ IIoT 云边协同框架 图1.png

1.边缘端工业协议网关软件 Neuron 实现各类工业设备的接入,可以基于轻量级 MQTT 协议传输,实现在工业生产弱网环境下的各类数据实时感知与稳定传输。为海量异构工业设备、数十种工业协议提供一站式的设备连接、数据接入、MQTT 协议转换,实现工业设备彼此之间及其与工业物联网系统之间的互联互通,从边缘到云端实现对工业设备的数据采集、远程控制、配置更新和设备资产管理。
多协议工业软网关 图2.png
2.边缘端轻量级消息总线 NanoMQ 实现数据的汇聚和缓存,可以打通处于不同网络中的设备、不同系统间的数据壁垒,去除信息孤岛。同时,NanoMQ 可以在边缘端实现数据断点续传,保障业务数据的完整性,提升生产数据可视化及其后端大数据算法的高效与精准。

3.超轻量物联网边缘数据流式分析引擎 eKuiper 实现流式计算、规则引擎、数据清洗、AI 扩展,为生产数据可视化提供数据清洗、数据预处理、事件逻辑处理等具体的能力。工业生产感知的数据是海量的、连续的,如果全部采用批量处理不对其进行分析,难以发掘数据的价值。由于生产数据可视化需要实时反应生产运行状态,所以对数据量和延迟有很高要求,因此通过 eKuiper 采用流处理的方式是更加合适的。

4.企业级 MQTT 物联网接入平台 EMQX Enterprise 布置在厂级信息中心或集团云,在专网或互联网上为生产数据提供高可用、高并发、低延时的数据传输、分析、对接能力。同时基于规则引擎强大的能力,向生产数据大数据分析的数据库提供高频、可靠、高价值的数据持久化能力。 通过简易、灵活的方式,即可构建起车间、厂级中心、集团云等各层级业务和应用数据消费架构。
生产数据多级展示消费架构 图3.png

方案优势

一体化的「车间—工厂—集团云」数据消费架构

在车间可视化、厂级可视化、集团级可视化建立统一的数据传输通道,整个数据的传输通过低延时的发布/订阅方式实现,能去除数据孤岛,轻松实现各级可视化应用之间的数据流转和处理流程。基于「车间-工厂-集团云」数据消费架构,新的设备或者其他应用可以非常灵活通过对接数据,对新系统的扩展和创新应用开发提供巨大的便利性。

云-边大数据处理基座优化整个系统性能

基于 EMQ 云边模块的灵活部署,能在车间、厂级、集团级独自或者相互协同实现对数据进行实时计算分析、规范报文、过滤清洗、智能告警、业务路由、数据持久化等功能,方便各级可视化应用的搭建。同时,近设备端的边缘运算让数据实现就地清洗、优化和逐层级的价值抽取,大大减少了无价值、冗余数据对网络和存储资源的消耗以及应用端的数据处理负荷,使整个系统数据处理性能提升 40%-80%。

云边协同管理提升企业 IT 水平

EMQ 通过云边协同架构将 Neuron、eKuiper 等众多边缘软件进行远程统一管理,无论云边之间网络是直连模式还是穿透模式,都可以方便地实现参数配置、日志查看、实时监控等操作,提升了企业的 IT 管理水平。

结语

基于 EMQ 云边端的生产数据可视化方案,架构起「车间-工厂-集团云」数据高速通道,保障了海量生产数据传输和持久化的实时性、可靠性、安全性,为大数据分析、人工智能应用提供良好的数据基础,同时助力企业快速构建上层应用,加速企业数字化、网络化、智能化转型。

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/efficient-data-channels-support-real-time-analysis-and-visualization-of-production-conditions

相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
目录
相关文章
|
7月前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
131 0
|
4月前
|
消息中间件 NoSQL 数据处理
如何进行实时数据处理:技术深度剖析
【8月更文挑战第25天】实时数据处理是现代企业不可或缺的能力之一,它要求系统具备高吞吐量、低延迟、高可用性和可扩展性。通过合理的架构设计、技术选型和持续优化,可以构建出满足业务需求的实时数据处理系统。未来,随着技术的不断进步和应用场景的不断拓展,实时数据处理将在更多领域发挥重要作用。
|
5月前
|
存储 数据可视化 数据挖掘
实时数据分析系统的构建与优化
【7月更文挑战第29天】实时数据分析系统的构建与优化是一个复杂而细致的过程,需要从需求分析、数据源确定、数据采集与传输、数据处理与分析、数据存储、数据可视化、系统部署与配置、监控与优化等多个方面进行综合考虑。通过选择合适的技术栈和优化策略,可以构建出高效、稳定的实时数据分析系统,为企业决策提供强有力的支持。
|
4月前
|
存储 JavaScript 前端开发
ShareDB:构建实时应用从未如此简单
ShareDB:构建实时应用从未如此简单
114 0
|
7月前
|
存储 消息中间件 SQL
分钟级实时数据分析的背后——实时湖仓产品解决方案
袋鼠云在结合当前数据湖技术的基础上,建设实时湖仓平台,满足客户“快、精、准”的数据需求。本文将详细介绍实时湖仓产品解决方案,让企业能够更专注地去解决他们的业务价值。
162 0
|
数据采集 存储 监控
实时数仓的可控范围
实时数仓的可控范围
67 0
|
消息中间件 前端开发 Java
实时即未来,车联网项目之车辆驾驶行为分析【五】
单次行驶里程区间分布、单次行程消耗soc区间分布、最大里程分布、充电行程占比、平均行驶里程分布、周行驶里程分布、最大行驶里程分段统计、常用行驶里程、全国-每日平均行驶里程(近4周)、全国-单车日均行驶里程分布(近一年)、各车系单次最大行驶里程分布、不同里程范围内车辆占比情况。
361 0
实时即未来,车联网项目之车辆驾驶行为分析【五】
|
消息中间件 JSON 物联网
实时即未来,车联网项目之原始终端数据实时ETL【二】
实时即未来,车联网项目之原始终端数据实时ETL【二】
238 0
实时即未来,车联网项目之原始终端数据实时ETL【二】
|
机器学习/深度学习 人工智能 分布式计算
离线实时一体化新能力解读| 学习笔记
快速学习离线实时一体化新能力解读
872 0
离线实时一体化新能力解读| 学习笔记
|
消息中间件 SQL 运维
如何设计实时数据平台(技术篇)
本文从技术角度入手,介绍RTDP的技术选型和相关组件,探讨适用不同应用场景的相关模式。