制造企业多厂区MES系统数据采集分析方案

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 制造企业往往有多家工厂,每个工厂之间相互配合,完成最终产品的生产。但每个工厂都有自己的产线,产线的控制系统、产品数据都是实时产生的,将多家工厂的产线数据汇总起来进行整体分析,用于改进工艺流程、提高良品率,是一件比较有意义的事情。但这也会面临数据同步时延大、数据分析速度慢的挑战。本文为此问题的解决办法提供一些思路。

项目背景

某制造企业生产汽车零配件,在长三角地区共有三个工厂,每个工厂都只进行零配件生产所需的某几道工序的加工,三个工厂合起来形成完整工序,工件在工厂间顺序流转,在最后一家完成全部加工,生成制成品。

 

三个工厂都有自己的MES系统和分析应用,通过分析应用不断采集生产流程中的产线参数与工件信息,实现对生产的实时监测与工件质量分析。当前,三个工厂的系统相互独立、数据不互通,存在生产分析不全面、坏品追溯困难等问题。为了改进工艺流程,提升良品率,增强经济效益,提高精细化管理水平,有必要打通生产全过程,汇聚全部数据并贯通分析。

 

方案难点

MES系统存量数据量较大,实时增量数据较多,要实现及时分析快速调整,需满足两个条件:从工厂采集到进入分析应用的数据同步延迟小于30分钟,数据分析的计算时间小于30秒。那么,通过何种方案实现大量数据的低时延同步与快速分析?

 

对于大量数据存储与计算,能否像云计算的按需使用的特点一样,可以支持前期小投入,后期能扩展、可根据数据规模与计算能力进行付费的模式?

解决方案

由于要支持海量数据的存储,很自然地想到了大数据存储利器MaxCompute,此外,还需要强大的实时计算能力,MC并无此特长,它只支持批量分析,还要找其他分析工具来辅助。还好,MC配套比较完整,所搭档的交互式分析Hologres补齐了这块短板,它是针对MaxCompute设计的在线查询加速服务。有了这哥俩,存储与分析都解决了。只差工厂数据从关系型数据库到MC的异构同步了,这可通过数据集成服务快速、可靠地得以实现。由此,我们设计了如下方案:

ProdDataProcess.png

方案概要:

1.      将三个工厂分别通过专线接入阿里云VPC,组建以阿里云为中心的星型网络。

2.      在阿里云VPC内,搭建大数据存储与分析中心,基于安全角度考虑,该中心只能通过工厂专线进行访问,不提供公网访问。

3.      使用数据集成服务,根据调度计划,将三个工厂中的Oracle存量数据与SQL Server实时生产数据离线同步至MaxCompute中。

4.      DataWorks中,对工厂同步过来的数据执行去重等数据清洗,再存入MaxCompute,设置数据保存90天。

5.      中心的分析应用通过Hologres,对MC中的数据执行交付式分析查询,将分析结果保存到MaxCompute中。

6.      使用QuickBI快速实现商业智能,或通过DataV实现精美的效果展示。

方案成效

由于数据集成服务支持快速、安全的数据同步,MaxCompute支持海量数据存储,及Hologres支持交互式快速查询。采用它们组合的方案,可达成同步延迟小于30分钟、分析结果小于 30秒的预定目标,实现如下收益:

  • 实现全流程、历史与生产数据的快速贯通;
  • 实现大量存量与快速增量的数据高性能存储;
  • 实现对生产全过程的快速分析与结果查询;
  • 支持根据分析结果快速制作报表与精美大屏;

 

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
数据采集 存储 人工智能
2022云栖精选—云上电力信息数据采集与处理
摘要:本文整理自阿里云电力行业高级解决方案架构师姜洺,在云栖大会的分享。本篇内容主要分为三个部分: 1. 新型电力系统下数据处理上云需求 2. 云上电力信息数据处理核心技术和实践 3. 电力信息数据处理上云核心优势
2022云栖精选—云上电力信息数据采集与处理
|
Kubernetes Cloud Native Apache
基于 Kubernetes 部署 Zookeeper,太有意思了!
随着云原生化流行的大趋势,我们的基础组件也需要逐渐上Kubernetes了。Apache Zookeeper作为目前最流行的分布式协调组件,在我们的微服务架构中负责扮演注册中心的角色。
基于 Kubernetes 部署 Zookeeper,太有意思了!
|
10月前
|
数据挖掘 数据处理 数据库
Pandas数据聚合:groupby与agg
Pandas库中的`groupby`和`agg`方法是数据分析中不可或缺的工具,用于数据分组与聚合计算。本文从基础概念、常见问题及解决方案等方面详细介绍这两个方法的使用技巧,涵盖单列聚合、多列聚合及自定义聚合函数等内容,并通过代码案例进行说明,帮助读者高效处理数据。
744 32
|
10月前
|
算法 网络安全 区块链
2023/11/10学习记录-C/C++对称分组加密DES
本文介绍了对称分组加密的常见算法(如DES、3DES、AES和国密SM4)及其应用场景,包括文件和视频加密、比特币私钥加密、消息和配置项加密及SSL通信加密。文章还详细展示了如何使用异或实现一个简易的对称加密算法,并通过示例代码演示了DES算法在ECB和CBC模式下的加密和解密过程,以及如何封装DES实现CBC和ECB的PKCS7Padding分块填充。
211 4
2023/11/10学习记录-C/C++对称分组加密DES
|
12月前
|
物联网 数据中心
以太网媒体标准详解
【10月更文挑战第16天】
377 0
|
机器学习/深度学习 数据采集 人工智能
【AAAI 2024】解锁深度表格学习(Deep Tabular Learning)的关键:算术特征交互
近日,阿里云人工智能平台PAI与浙江大学吴健、应豪超老师团队合作论文《Arithmetic Feature Interaction is Necessary for Deep Tabular Learning》正式在国际人工智能顶会AAAI-2024上发表。本项工作聚焦于深度表格学习中的一个核心问题:在处理结构化表格数据(tabular data)时,深度模型是否拥有有效的归纳偏差(inductive bias)。
|
监控 数据可视化 数据挖掘
ERP系统中的销售预测与市场分析
【7月更文挑战第25天】 ERP系统中的销售预测与市场分析
778 2
|
机器学习/深度学习 供应链 监控
ERP系统中的供应链可视化与智能预测解析
【7月更文挑战第25天】 ERP系统中的供应链可视化与智能预测解析
506 5
|
存储 SQL JSON
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
|
设计模式 运维 Java
Spring5深入浅出篇:Spring中静态代理与动态代理
Spring框架中的代理模式分为静态代理和动态代理。在JavaEE分层开发中,Service层最为重要,包含核心业务逻辑和额外功能。静态代理通过手动创建代理类来增加原始类的额外功能,但当代理类数量多时管理不便且不易于维护。动态代理则解决了这一问题,通过Spring的AOP(面向切面编程)实现,无需手动创建代理类,只需定义切点和增强(额外功能),在运行时动态生成代理对象,提高了代码的灵活性和可维护性。动态代理主要利用了JVM的字节码技术,在运行过程中创建代理类,执行完毕后随着虚拟机的结束而销毁,不会产生持久化的代理类。