制造企业多厂区MES系统数据采集分析方案

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 制造企业往往有多家工厂,每个工厂之间相互配合,完成最终产品的生产。但每个工厂都有自己的产线,产线的控制系统、产品数据都是实时产生的,将多家工厂的产线数据汇总起来进行整体分析,用于改进工艺流程、提高良品率,是一件比较有意义的事情。但这也会面临数据同步时延大、数据分析速度慢的挑战。本文为此问题的解决办法提供一些思路。

项目背景

某制造企业生产汽车零配件,在长三角地区共有三个工厂,每个工厂都只进行零配件生产所需的某几道工序的加工,三个工厂合起来形成完整工序,工件在工厂间顺序流转,在最后一家完成全部加工,生成制成品。

 

三个工厂都有自己的MES系统和分析应用,通过分析应用不断采集生产流程中的产线参数与工件信息,实现对生产的实时监测与工件质量分析。当前,三个工厂的系统相互独立、数据不互通,存在生产分析不全面、坏品追溯困难等问题。为了改进工艺流程,提升良品率,增强经济效益,提高精细化管理水平,有必要打通生产全过程,汇聚全部数据并贯通分析。

 

方案难点

MES系统存量数据量较大,实时增量数据较多,要实现及时分析快速调整,需满足两个条件:从工厂采集到进入分析应用的数据同步延迟小于30分钟,数据分析的计算时间小于30秒。那么,通过何种方案实现大量数据的低时延同步与快速分析?

 

对于大量数据存储与计算,能否像云计算的按需使用的特点一样,可以支持前期小投入,后期能扩展、可根据数据规模与计算能力进行付费的模式?

解决方案

由于要支持海量数据的存储,很自然地想到了大数据存储利器MaxCompute,此外,还需要强大的实时计算能力,MC并无此特长,它只支持批量分析,还要找其他分析工具来辅助。还好,MC配套比较完整,所搭档的交互式分析Hologres补齐了这块短板,它是针对MaxCompute设计的在线查询加速服务。有了这哥俩,存储与分析都解决了。只差工厂数据从关系型数据库到MC的异构同步了,这可通过数据集成服务快速、可靠地得以实现。由此,我们设计了如下方案:

ProdDataProcess.png

方案概要:

1.      将三个工厂分别通过专线接入阿里云VPC,组建以阿里云为中心的星型网络。

2.      在阿里云VPC内,搭建大数据存储与分析中心,基于安全角度考虑,该中心只能通过工厂专线进行访问,不提供公网访问。

3.      使用数据集成服务,根据调度计划,将三个工厂中的Oracle存量数据与SQL Server实时生产数据离线同步至MaxCompute中。

4.      DataWorks中,对工厂同步过来的数据执行去重等数据清洗,再存入MaxCompute,设置数据保存90天。

5.      中心的分析应用通过Hologres,对MC中的数据执行交付式分析查询,将分析结果保存到MaxCompute中。

6.      使用QuickBI快速实现商业智能,或通过DataV实现精美的效果展示。

方案成效

由于数据集成服务支持快速、安全的数据同步,MaxCompute支持海量数据存储,及Hologres支持交互式快速查询。采用它们组合的方案,可达成同步延迟小于30分钟、分析结果小于 30秒的预定目标,实现如下收益:

  • 实现全流程、历史与生产数据的快速贯通;
  • 实现大量存量与快速增量的数据高性能存储;
  • 实现对生产全过程的快速分析与结果查询;
  • 支持根据分析结果快速制作报表与精美大屏;

 

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
人工智能 供应链 算法
通过MES系统,企业实现智能生产排产
MES系统源码,云MES系统全套源码。MES系统是连接企业计划管理系统(如ERP)与工业控制系统的桥梁,实现生产过程的数字化、透明化和智能化。其核心功能包括数据集成与实时采集、智能分析与优化算法、动态调度与调整、生产预测与趋势分析、可视化排产界面、质量控制与供应链优化,并集成物联网、AI及云技术,显著提升生产效率和响应速度,是智能制造的关键技术。
通过MES系统,企业实现智能生产排产
|
3月前
|
传感器 监控 安全
智慧建造综合管理平台系统,智慧工地施工现场解决方案
智慧工地解决方案针对建筑行业安全管理难、用工管理难等痛点,采用AI、物联网、BIM等技术,实现工地全方位管理。通过BIM大屏可视化、塔吊监测、吊钩可视化、升降机监测等手段,加强施工安全预警;智能识别技术确保人员、设备安全;用水用电、环境监测等模块实现资源节约;地磅、车辆管理和实名制考勤提升管理效率,共同构建安全、高效、精益的施工环境。
143 1
智慧建造综合管理平台系统,智慧工地施工现场解决方案
|
4月前
|
存储 分布式计算 数据可视化
ERP系统中的大数据分析与处理:驱动企业智能决策
【7月更文挑战第29天】 ERP系统中的大数据分析与处理:驱动企业智能决策
414 0
|
4月前
|
监控 数据可视化 调度
ERP系统中的生产排程与生产效率分析解析
【7月更文挑战第25天】 ERP系统中的生产排程与生产效率分析解析
168 0
|
6月前
|
数据采集 传感器 XML
LabVIEW和MES系统的智能化车间数据对接
LabVIEW和MES系统的智能化车间数据对接
71 4
|
6月前
|
监控 供应链 Java
MES系统(制造执行系统)在制造企业中具有广泛的应用场景
MES系统(制造执行系统)在制造企业中具有广泛的应用场景
70 0
|
6月前
|
传感器 监控 数据可视化
万界星空MES安灯管理:优化生产监控的重要工具
MES安灯管理是一种基于物理安灯和数字化管理的生产异常管理工具。它通过物理安灯和数字化系统的结合,实现对生产异常的实时监控和及时反馈,从而帮助企业快速响应和解决生产异常,提高生产效率和产品质量。
193 0
万界星空MES安灯管理:优化生产监控的重要工具
|
6月前
|
存储 数据采集 监控
智慧工地整体方案,实现现场各类工况数据采集、存储、分析与应用
“智慧工地整体方案”以智慧工地物联网云平台为核心,基于智慧工地物联网云平台与现场多个子系统的互联,实现现场各类工况数据采集、存储、分析与应用。通过接入智慧工地物联网云平台的多个子系统板块,根据现场管理实际需求灵活组合,实现一体化、模块化、智能化、网络化的施工现场过程全面感知、协同工作、智能分析、风险预控、知识共享、互联互通等业务,全面满足建筑施工企业精细化管理的业务需求,智能化地辅助建筑施工企业进行科学决策,促进施工企业监管水平的全面提高。
361 0
|
数据采集 传感器 监控
半导体芯片制造行业MES系统解决方案
半导体产业作为现代电子科技的重要支柱,驱动着电子设备和通信技术的飞速发展。随着技术不断演进,半导体制造企业面临着越来越多的挑战,如高度复杂的工艺流程、全球化的竞争、质量控制的要求以及能源效率等问题。
254 0
|
监控 数据挖掘 物联网
MES系统在工业生产中的重要性与功能
MES系统在工业生产中的重要性体现在它的信息化管理能力。传统的生产管理方法主要依靠人工操作和纸质文档记录,效率低下且容易出错。而MES系统利用计算机技术和数据库管理,能够实时记录和监控生产数据,提供准确的生产情况分析报告,方便管理者进行科学决策和调度。通过万界星空科技MES系统,企业可以实现对生产过程的全面管控,从而提高生产效率和产品质量。
283 0
下一篇
无影云桌面