项目背景
某制造企业生产汽车零配件,在长三角地区共有三个工厂,每个工厂都只进行零配件生产所需的某几道工序的加工,三个工厂合起来形成完整工序,工件在工厂间顺序流转,在最后一家完成全部加工,生成制成品。
三个工厂都有自己的MES系统和分析应用,通过分析应用不断采集生产流程中的产线参数与工件信息,实现对生产的实时监测与工件质量分析。当前,三个工厂的系统相互独立、数据不互通,存在生产分析不全面、坏品追溯困难等问题。为了改进工艺流程,提升良品率,增强经济效益,提高精细化管理水平,有必要打通生产全过程,汇聚全部数据并贯通分析。
方案难点
MES系统存量数据量较大,实时增量数据较多,要实现及时分析快速调整,需满足两个条件:从工厂采集到进入分析应用的数据同步延迟小于30分钟,数据分析的计算时间小于30秒。那么,通过何种方案实现大量数据的低时延同步与快速分析?
对于大量数据存储与计算,能否像云计算的按需使用的特点一样,可以支持前期小投入,后期能扩展、可根据数据规模与计算能力进行付费的模式?
解决方案
由于要支持海量数据的存储,很自然地想到了大数据存储利器MaxCompute,此外,还需要强大的实时计算能力,MC并无此特长,它只支持批量分析,还要找其他分析工具来辅助。还好,MC配套比较完整,所搭档的交互式分析Hologres补齐了这块短板,它是针对MaxCompute设计的在线查询加速服务。有了这哥俩,存储与分析都解决了。只差工厂数据从关系型数据库到MC的异构同步了,这可通过数据集成服务快速、可靠地得以实现。由此,我们设计了如下方案:
方案概要:
1. 将三个工厂分别通过专线接入阿里云VPC,组建以阿里云为中心的星型网络。
2. 在阿里云VPC内,搭建大数据存储与分析中心,基于安全角度考虑,该中心只能通过工厂专线进行访问,不提供公网访问。
3. 使用数据集成服务,根据调度计划,将三个工厂中的Oracle存量数据与SQL Server实时生产数据离线同步至MaxCompute中。
4. 在DataWorks中,对工厂同步过来的数据执行去重等数据清洗,再存入MaxCompute,设置数据保存90天。
5. 中心的分析应用通过Hologres,对MC中的数据执行交付式分析查询,将分析结果保存到MaxCompute中。
6. 使用QuickBI快速实现商业智能,或通过DataV实现精美的效果展示。
方案成效
由于数据集成服务支持快速、安全的数据同步,MaxCompute支持海量数据存储,及Hologres支持交互式快速查询。采用它们组合的方案,可达成同步延迟小于30分钟、分析结果小于 30秒的预定目标,实现如下收益:
- 实现全流程、历史与生产数据的快速贯通;
- 实现大量存量与快速增量的数据高性能存储;
- 实现对生产全过程的快速分析与结果查询;
- 支持根据分析结果快速制作报表与精美大屏;