报警分析云上集成解决方案

简介: 为了方便用户云上分析大数据的需求,报警分析云上集成解决方案提供了一系列的数据分析产品,可以帮助各类客户快速轻松地构建和部署大数据分析应用。
背景:
     本实践是以化工业的安全生产为背景,随着工业企业的日益大型化和复杂化,非正常事件(下称故障)不仅影响了企业效益,更带来了很多的安全问题。据非正常状况管理联盟(Abnormal Situation Management,简称ASM)的统计,美国由于故障在石油化工领域造成的经济损失一年就高达200 亿美元,而炼油厂平均每三年就发生一次重大事故,平均损失8 千万美元。
      化工业具有较高的自动化程度,DCS和现场总线广泛应用,各种单点报警也被大量使用,它们对提高系统安全性起到很好的作用,然而随着装置的大型化和复杂化,报警数量的众多和无序以及设计的随意性使得真正有用的报警信息淹没在大量冗余和虚假的报警信号中,特别是故障发生的时刻,大量相关的报警信号突然出现,让操作人员无法有效的分辨真实的报警源头,称之为报警泛滥(Alarm Flood)。例如1994 英国Texaco  公司炼油厂流化催化裂化装置爆炸事故,2040个报警在爆炸之前有1775 个报警同时显示优先级为高,致使操作员无法及时判断问题的根源进而采取措施,最终酿成大祸。 


   报警标准定义了三个关键的KPI来将企业报警管理分成五个等级。这三个关键指标分别是平均报警率、峰值报警率和扰动率。通过这三个指标,将企业报警进行收集和统计,可以归类到五个评价等级。

现阶段面临的问题:
    大型化和复杂化逐渐带来了软硬件上的存储、计算性能瓶颈问题: 
  • 实时报警数据存储无法满足需求 (由于工业厂区内报警装置和接入设备繁多,且报警频率高【秒级】导致每秒需要处理和存储的数据量巨大【每秒上万】,普通存储产品无法满足)
  • 无效报警严重   (简单的报警限和判断规则设置,导致其产生了数量巨大的报警信号,由于涉及的随意性较大,产生的报警数据中存在大量冗余和虚假信息)
  • 故障诊断、源头分析难以实现   (由于系统内部相互作用和一些冗余报警设置会导致在故障发生时出现很多报警,使人难以分辨真实的源头)
  • 报警指标计算效率不高 (由于秒级上万的数据接入量,且报警各类指标较多,这样就导致需要在短时间内需要完成千万甚至是亿级数据的统计计算,在现有计算资源不足情况下只能以更多的计算时间来弥补计算性能,这样就导致一个周期的报警指标统计需要几十分钟甚至以小时计算)
目标
建立一套稳定高效的操作报警系统,并结合报警管理的国际标准、最佳实践建立一套切实可行的报警管理机制和工作流程,降低“干扰性”报警数量,提高报警处理效率,规范报警处理流程,提升工厂安全性。建设内容如下:
1.建立一套适合企业的操作报警系统及报警管理体系对照ISA 18.2或EEMUA 191国际标准,整体报警管理水平从报警过载达到或接近可靠;报警级别分布达接近国际标准:关键/重要/一般比例为 5/15/80;形成一套不断提高的管理体系,确保报警管理系统持续优化与提高。
2.建立一套报警管理知识库    建立报警知识库,为操作人员提供实时的操作支持与指导,同时可以通过历史知识库进行事故回顾与培训。
3.建立一套可执行的报警管理机制与工作流程   结合报警管理的国际标准、最佳实践以及企业的实际要求,建立一套切实可行的报警管理机制和工作流程

报警分析技术架构图:
 报警分析云上集成解决方案-技术架构

1.DCS日志采集: 通过TCP监听方式获取DCS中报警日志数据;
2.日志解析: 解析获取的DCS报警日志格式化后存入实时数据库中形成历史记录;
3.数据清洗: 清理历史记录中正常数据保留报警数
4.数据同步至阿里云: 使用DataX工具将清理后的报警数据导入到在ODPS建立的表中;
5.KPI 指标计算 基于EEMUA国际标准, 编写指标KPI计算 SQL MapReduce对ODPS表中的数据进行指标计算并将结果写入到KPI指标结果表中;
6.KPI指标结果统计: 对计算出的KPI指标根据需求进行分钟、小时、天、月统计,将统计结果写入到KPI指标统计结果表中;
7. 统计结果同步到本地 使用Data X工具将KPI指标统计结果数据同步到本地系统数据库中(如本地mysql);
8.数据可视化展示: 前端展示页面根据需要, 从数据库中读取KPI统计结果数据进行可视化展示;
 

主要处理流程
基于阿里云MaxCompute的报警分析平台-处理流程




报警分析结果展示:
【报警评估与分析】

【报警系统性能评估】

【操作台报警分析】

【合理化评估报告】

【TOP N报警报告】
       
       应用效果: 根据报警管理系统,通过对装置无效报警的过滤、对工艺位号进行限值调整、控制回路PID参数的调整,装置报警总数从原来每周209,068个报警下降到、每周19276个报警,报警总数下降了92.5%;装置6个岗位报警等级均下降。整个装置平均报警率从192左右下降到15.4,峰值报警率从374下降到143,扰动率从95下降到71.3。


致力攻克企业大数据信息化难题,提供专业服务和解决方案,更多案例可进入官网详细了解: www.blueintelligence.com


-END-

蓝智云海
云计算丨数据分析丨机器学习丨云服务

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
SQL 数据可视化 关系型数据库
MCP与PolarDB集成技术分析:降低SQL门槛与简化数据可视化流程的机制解析
阿里云PolarDB与MCP协议融合,打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同,实现零代码、分钟级从数据到可视化洞察,打破技术壁垒,提升分析效率99%,推动企业数据能力普惠化。
392 3
|
9月前
|
人工智能 自然语言处理 DataWorks
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!
阿里云DataWorks平台正式接入Qwen3模型,支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型,以自然语言交互实现代码生成、优化、解释及纠错等功能,大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型,具备混合专家(MoE)和稠密(Dense)架构,适应多种应用场景,并支持MCP协议优化复杂任务处理。目前,用户可通过DataWorks Data Studio新版本体验此功能。
766 23
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!
|
7月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
208 2
|
10月前
|
关系型数据库 MySQL OLAP
无缝集成 MySQL,解锁秒级 OLAP 分析性能极限,完成任务可领取三合一数据线!
通过 AnalyticDB MySQL 版、DMS、DTS 和 RDS MySQL 版协同工作,解决大规模业务数据统计难题,参与活动完成任务即可领取三合一数据线(限量200个),还有机会抽取蓝牙音箱大奖!
|
11月前
|
人工智能 自然语言处理 搜索推荐
云上玩转DeepSeek系列之三:PAI-RAG集成联网搜索,构建企业级智能助手
本文将为您带来“基于 PAI-RAG 构建 DeepSeek 联网搜索+企业级知识库助手服务”解决方案,PAI-RAG 提供全面的生态能力,支持一键部署至企业微信、微信公众号、钉钉群聊机器人等,助力打造多场景的AI助理,全面提升业务效率与用户体验。
|
12月前
|
安全 数据安全/隐私保护
DzzOffice:太完美啦,开源免费Word、Exce、PPT,多人同时协作,最主要还有免费的网盘,将这个项目集成到你的产品里面,项目立刻拥有整套offce解决方案
嗨,大家好,我是小华同学。DzzOffice是一个免费开源的企业协同办公平台,适合中小型企业及团队使用,功能涵盖网盘、文档、表格、演示文稿等,支持企业微信和钉钉移动办公,保障数据私有部署安全。 关注我们,获取更多优质开源项目和高效工作学习方法。
1977 5
|
存储 Prometheus 运维
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案。该集成结合了ARMS的基础设施监控能力和Prometheus的灵活配置及社区支持,实现了全面、精准的系统状态、性能和错误监控,提升了应用的稳定性和管理效率。通过统一的数据视图和高级查询功能,帮助企业有效应对云原生挑战,促进业务的持续发展。
347 3
|
人工智能 运维 安全
聚焦API安全未来,F5打造无缝集成的解决方案
聚焦API安全未来,F5打造无缝集成的解决方案
204 27
|
搜索推荐 JavaScript BI
ClkLog埋点分析系统常见问题-埋点集成篇Sec. 1
本篇主要解答ClkLog使用过程中【埋点集成】阶段的常见问题。
ClkLog埋点分析系统常见问题-埋点集成篇Sec. 1
|
存储 SQL 分布式计算
Hologres 与阿里云生态的集成:构建高效的数据处理解决方案
【9月更文第1天】随着大数据时代的到来,数据处理和分析的需求日益增长。阿里云作为国内领先的云计算平台之一,提供了多种数据存储和处理的服务,其中Hologres作为一款实时数仓产品,以其高性能、高可用性以及对标准SQL的支持而受到广泛关注。本文将探讨Hologres如何与阿里云上的其他服务如MaxCompute、DataHub等进行集成,以构建一个完整的数据处理解决方案。
344 2