高效数据通道支撑生产情况实时分析与可视化

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: EMQ生产数据可视化解决方案海量保障生产数据传输和持久化的实时性、可靠性、安全性,为大数据分析、人工智能应用提供良好数据基础。

在大数据时代,数据信息成为了各行各业发展规划的一项重要依据。在工业领域,生产数据可视化的应用亦是将庞大的数据通过可视化分析,再由大屏将数据信息清晰明了地呈现出来。

基于企业环境、设备、产线、车间、系统及能源等生产数据的大数据分析,管理者能通过数据可视化展示的图表方便迅速地了解到工厂发展各个阶段的情况,以加强对当下工厂现状的认识。通过工厂数据可视化所展示出的历史各个时期的数据变化,预判未来发展趋势,结合大数据分析和人工智能技术协助管理者做出决策、制定未来方针和战略,并通过数据的实时反馈迅速进行修正和优化。这些都可以使企业的发展和自身管理水平及市场变化相适应,助力企业持续发展。

生产数据可视化应用构建现状分析

设备实时数据感知与持久化以及价值挖掘是生产数据可视化的关键,目前实际生产数据可视化项目建设主要面临以下问题:

  • 海量异构化设备的数据感知

    基于当前物联网、大数据、云计算、人工智能等新一代信息技术的发展,生产数据不再局限于产线的数据采集,而是扩展到整个工厂或园区包括产线、人员、环控、能源、安全、储存、运输、厂房等各个环节的工业物联网设备,关系到效率、产能、质量、安全、耗能、管理等工厂健康生产的核心指标。

    各类工业或物联网设备种类繁多决定了通讯协议的多样性,涉及到的协议有 Modbus、OPC、MQTT、HTTP 等。一个工厂的设备通讯协议往往从几种到十几种甚至更多,且不同厂家的设备信息存在不同的数据结构,导致业务层处理数据困难。

  • 流式数据的处理需求

    生产数据从感知到传输的过程中,数据流往往包含了大量无用和冗余的信息,对有限的网络、存储以及计算资源的消耗巨大,大大增加了经济成本。项目建设需要考虑在近设备的边缘端提供数据的清洗、数据预处理及实时逻辑处理等能力。

  • 高效的数据持久化需求

    无论是企业基于大数据、人工智能算法通过生产数据进行生产趋势判断,还是制定企业方针和战略决策,高精度、持久化的历史数据都是准确预测和推理的基础。企业需要在数据海量、结构复杂的前提下,按照业务需求进行高频数据预处理与持久化。

EMQ 生产数据可视化解决方案

基于 EMQ 云边协同的高并发、高吞吐数据基础设施,对整个生产数据传输和处理架构进行优化,可以高效、实时地响应车间、厂级中心、集团云等各层级业务和应用对生产数据的需求。
EMQ IIoT 云边协同框架 图1.png

1.边缘端工业协议网关软件 Neuron 实现各类工业设备的接入,可以基于轻量级 MQTT 协议传输,实现在工业生产弱网环境下的各类数据实时感知与稳定传输。为海量异构工业设备、数十种工业协议提供一站式的设备连接、数据接入、MQTT 协议转换,实现工业设备彼此之间及其与工业物联网系统之间的互联互通,从边缘到云端实现对工业设备的数据采集、远程控制、配置更新和设备资产管理。
多协议工业软网关 图2.png
2.边缘端轻量级消息总线 NanoMQ 实现数据的汇聚和缓存,可以打通处于不同网络中的设备、不同系统间的数据壁垒,去除信息孤岛。同时,NanoMQ 可以在边缘端实现数据断点续传,保障业务数据的完整性,提升生产数据可视化及其后端大数据算法的高效与精准。

3.超轻量物联网边缘数据流式分析引擎 eKuiper 实现流式计算、规则引擎、数据清洗、AI 扩展,为生产数据可视化提供数据清洗、数据预处理、事件逻辑处理等具体的能力。工业生产感知的数据是海量的、连续的,如果全部采用批量处理不对其进行分析,难以发掘数据的价值。由于生产数据可视化需要实时反应生产运行状态,所以对数据量和延迟有很高要求,因此通过 eKuiper 采用流处理的方式是更加合适的。

4.企业级 MQTT 物联网接入平台 EMQX Enterprise 布置在厂级信息中心或集团云,在专网或互联网上为生产数据提供高可用、高并发、低延时的数据传输、分析、对接能力。同时基于规则引擎强大的能力,向生产数据大数据分析的数据库提供高频、可靠、高价值的数据持久化能力。 通过简易、灵活的方式,即可构建起车间、厂级中心、集团云等各层级业务和应用数据消费架构。
生产数据多级展示消费架构 图3.png

方案优势

一体化的「车间—工厂—集团云」数据消费架构

在车间可视化、厂级可视化、集团级可视化建立统一的数据传输通道,整个数据的传输通过低延时的发布/订阅方式实现,能去除数据孤岛,轻松实现各级可视化应用之间的数据流转和处理流程。基于「车间-工厂-集团云」数据消费架构,新的设备或者其他应用可以非常灵活通过对接数据,对新系统的扩展和创新应用开发提供巨大的便利性。

云-边大数据处理基座优化整个系统性能

基于 EMQ 云边模块的灵活部署,能在车间、厂级、集团级独自或者相互协同实现对数据进行实时计算分析、规范报文、过滤清洗、智能告警、业务路由、数据持久化等功能,方便各级可视化应用的搭建。同时,近设备端的边缘运算让数据实现就地清洗、优化和逐层级的价值抽取,大大减少了无价值、冗余数据对网络和存储资源的消耗以及应用端的数据处理负荷,使整个系统数据处理性能提升 40%-80%。

云边协同管理提升企业 IT 水平

EMQ 通过云边协同架构将 Neuron、eKuiper 等众多边缘软件进行远程统一管理,无论云边之间网络是直连模式还是穿透模式,都可以方便地实现参数配置、日志查看、实时监控等操作,提升了企业的 IT 管理水平。

结语

基于 EMQ 云边端的生产数据可视化方案,架构起「车间-工厂-集团云」数据高速通道,保障了海量生产数据传输和持久化的实时性、可靠性、安全性,为大数据分析、人工智能应用提供良好的数据基础,同时助力企业快速构建上层应用,加速企业数字化、网络化、智能化转型。

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/efficient-data-channels-support-real-time-analysis-and-visualization-of-production-conditions

相关实践学习
自建数据库迁移到云数据库
本场景将引导您将网站的自建数据库平滑迁移至云数据库RDS。通过使用RDS,您可以获得稳定、可靠和安全的企业级数据库服务,可以更加专注于发展核心业务,无需过多担心数据库的管理和维护。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
目录
相关文章
|
Unix 网络虚拟化 C++
VS2022+Qt5.14.2成功编译MITK2022.10
使用VS2022和Qt5.14.2成功编译MITK2022.10的过程,包括编译结果的截图、遇到的编译问题的解决方法、两个重要的注意事项(patch文件格式的修改和ITK-gitclone-lastrun文件的存在),以及参考链接。文中详细描述了如何解决编译过程中遇到的错误C2220和警告C4819,以及如何修改文件编码和尾行格式。
831 1
VS2022+Qt5.14.2成功编译MITK2022.10
|
11月前
|
Python
Django 框架的路由系统
Django 框架的路由系统
287 63
|
机器学习/深度学习 数据采集 搜索推荐
Python基于深度学习算法实现图书推荐系统项目实战
Python基于深度学习算法实现图书推荐系统项目实战
|
11月前
|
网络协议 安全 网络性能优化
了解访问控制列表 (ACL):概念、类型与应用
了解访问控制列表 (ACL):概念、类型与应用
1004 2
|
10月前
|
存储 缓存 数据安全/隐私保护
DMA(Direct Memory Access):直接内存访问
DMA(Direct Memory Access)是一种允许外设直接与内存进行数据传输的技术,无需 CPU 干预。它通过减轻 CPU 负担、提高数据传输效率来提升系统性能。DMA 的工作模式包括直接模式和 FIFO 模式,数据传输方式有单字传送和块传送,寻址模式有增量寻址和非增量寻址。通过缓存一致性协议、同步机制、数据校验和合理的内存管理,DMA 确保了数据在内存中的一致性和完整性。
1646 0
|
JavaScript 中间件 应用服务中间件
使用云服务器搭建微信公众号后台服务
使用云服务器搭建微信公众号后台服务
|
Ubuntu Shell 索引
在Ubuntu 12.10上安装和使用tmux的方法
在Ubuntu 12.10上安装和使用tmux的方法
254 0
|
Oracle 关系型数据库 分布式数据库
PolarDB产品使用问题之如何设置或修改密码
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
安全 网络安全 数据安全/隐私保护
非对称加密的日常实践应用:以RSA加密为例
**RSA加密简介与Python实现** RSA,一种非对称加密技术,基于大数因子分解,用于数据加密和完整性保护。本文介绍了RSA基本原理,包括密钥生成(选取大质数p和q,计算n和φ(n),选择公钥指数e和私钥指数d),并展示了使用Python `cryptography` 库生成密钥对、加密和解密消息的代码示例。通过这些步骤,读者可理解RSA在网络安全中的应用,如HTTPS和数字签名。
930 3
|
编解码 运维 5G
实时云渲染与本地渲染:优劣对比与未来趋势
实时云渲染与本地渲染:优劣对比与未来趋势