报警分析云上集成解决方案

简介: 为了方便用户云上分析大数据的需求,报警分析云上集成解决方案提供了一系列的数据分析产品,可以帮助各类客户快速轻松地构建和部署大数据分析应用。
背景:
     本实践是以化工业的安全生产为背景,随着工业企业的日益大型化和复杂化,非正常事件(下称故障)不仅影响了企业效益,更带来了很多的安全问题。据非正常状况管理联盟(Abnormal Situation Management,简称ASM)的统计,美国由于故障在石油化工领域造成的经济损失一年就高达200 亿美元,而炼油厂平均每三年就发生一次重大事故,平均损失8 千万美元。
      化工业具有较高的自动化程度,DCS和现场总线广泛应用,各种单点报警也被大量使用,它们对提高系统安全性起到很好的作用,然而随着装置的大型化和复杂化,报警数量的众多和无序以及设计的随意性使得真正有用的报警信息淹没在大量冗余和虚假的报警信号中,特别是故障发生的时刻,大量相关的报警信号突然出现,让操作人员无法有效的分辨真实的报警源头,称之为报警泛滥(Alarm Flood)。例如1994 英国Texaco  公司炼油厂流化催化裂化装置爆炸事故,2040个报警在爆炸之前有1775 个报警同时显示优先级为高,致使操作员无法及时判断问题的根源进而采取措施,最终酿成大祸。 


   报警标准定义了三个关键的KPI来将企业报警管理分成五个等级。这三个关键指标分别是平均报警率、峰值报警率和扰动率。通过这三个指标,将企业报警进行收集和统计,可以归类到五个评价等级。

现阶段面临的问题:
    大型化和复杂化逐渐带来了软硬件上的存储、计算性能瓶颈问题: 
  • 实时报警数据存储无法满足需求 (由于工业厂区内报警装置和接入设备繁多,且报警频率高【秒级】导致每秒需要处理和存储的数据量巨大【每秒上万】,普通存储产品无法满足)
  • 无效报警严重   (简单的报警限和判断规则设置,导致其产生了数量巨大的报警信号,由于涉及的随意性较大,产生的报警数据中存在大量冗余和虚假信息)
  • 故障诊断、源头分析难以实现   (由于系统内部相互作用和一些冗余报警设置会导致在故障发生时出现很多报警,使人难以分辨真实的源头)
  • 报警指标计算效率不高 (由于秒级上万的数据接入量,且报警各类指标较多,这样就导致需要在短时间内需要完成千万甚至是亿级数据的统计计算,在现有计算资源不足情况下只能以更多的计算时间来弥补计算性能,这样就导致一个周期的报警指标统计需要几十分钟甚至以小时计算)
目标
建立一套稳定高效的操作报警系统,并结合报警管理的国际标准、最佳实践建立一套切实可行的报警管理机制和工作流程,降低“干扰性”报警数量,提高报警处理效率,规范报警处理流程,提升工厂安全性。建设内容如下:
1.建立一套适合企业的操作报警系统及报警管理体系对照ISA 18.2或EEMUA 191国际标准,整体报警管理水平从报警过载达到或接近可靠;报警级别分布达接近国际标准:关键/重要/一般比例为 5/15/80;形成一套不断提高的管理体系,确保报警管理系统持续优化与提高。
2.建立一套报警管理知识库    建立报警知识库,为操作人员提供实时的操作支持与指导,同时可以通过历史知识库进行事故回顾与培训。
3.建立一套可执行的报警管理机制与工作流程   结合报警管理的国际标准、最佳实践以及企业的实际要求,建立一套切实可行的报警管理机制和工作流程

报警分析技术架构图:
 报警分析云上集成解决方案-技术架构

1.DCS日志采集: 通过TCP监听方式获取DCS中报警日志数据;
2.日志解析: 解析获取的DCS报警日志格式化后存入实时数据库中形成历史记录;
3.数据清洗: 清理历史记录中正常数据保留报警数
4.数据同步至阿里云: 使用DataX工具将清理后的报警数据导入到在ODPS建立的表中;
5.KPI 指标计算 基于EEMUA国际标准, 编写指标KPI计算 SQL MapReduce对ODPS表中的数据进行指标计算并将结果写入到KPI指标结果表中;
6.KPI指标结果统计: 对计算出的KPI指标根据需求进行分钟、小时、天、月统计,将统计结果写入到KPI指标统计结果表中;
7. 统计结果同步到本地 使用Data X工具将KPI指标统计结果数据同步到本地系统数据库中(如本地mysql);
8.数据可视化展示: 前端展示页面根据需要, 从数据库中读取KPI统计结果数据进行可视化展示;
 

主要处理流程
基于阿里云MaxCompute的报警分析平台-处理流程



报警分析结果展示:
【报警评估与分析】

【报警系统性能评估】

【操作台报警分析】

【合理化评估报告】

【TOP N报警报告】
       
       应用效果: 根据报警管理系统,通过对装置无效报警的过滤、对工艺位号进行限值调整、控制回路PID参数的调整,装置报警总数从原来每周209,068个报警下降到、每周19276个报警,报警总数下降了92.5%;装置6个岗位报警等级均下降。整个装置平均报警率从192左右下降到15.4,峰值报警率从374下降到143,扰动率从95下降到71.3。


致力攻克企业大数据信息化难题,提供专业服务和解决方案,更多案例可进入官网详细了解: www.blueintelligence.com


-END-

蓝智云海
云计算丨数据分析丨机器学习丨云服务

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
Oracle 关系型数据库 分布式数据库
分布式数据库集成解决方案
分布式数据库集成解决方案
204 0
|
6月前
|
存储 监控 数据挖掘
系统分析师:商业智能和业务流程管理的集成分析
系统分析师:商业智能和业务流程管理的集成分析
|
9天前
|
机器学习/深度学习
R语言集成模型:提升树boosting、随机森林、约束最小二乘法加权平均模型融合分析时间序列数据
R语言集成模型:提升树boosting、随机森林、约束最小二乘法加权平均模型融合分析时间序列数据
14 0
|
1月前
|
存储 安全 算法
【软件设计师备考 专题 】软件设计的艺术:分析与集成、逐步求精、抽象、信息隐蔽
【软件设计师备考 专题 】软件设计的艺术:分析与集成、逐步求精、抽象、信息隐蔽
56 0
|
1月前
|
存储 SQL 算法
图加速数据湖分析-GeaFlow和Apache Hudi集成
图加速数据湖分析-GeaFlow和Apache Hudi集成
29 3
|
1月前
|
Oracle 关系型数据库 分布式数据库
分布式数据库集成解决方案2
分布式数据库集成解决方案2
153 0
|
6月前
|
缓存 数据可视化 NoSQL
【异常】springboot集成@Cacheable缓存乱码的问题解决方案
【异常】springboot集成@Cacheable缓存乱码的问题解决方案
158 1
|
5月前
|
监控 芯片 计算机视觉
集成 NVDC 电源路径管理的1-4节电池升降压充电IC解决方案
描述 MP2760是一款集成窄电压DC(NVDC)电源路径管理功能和USB On-the-Go(OTG)功能的升降压充电IC,兼容USB PD,适用于单节至4节串联的电池包应用。该芯片的充电输入电压范围广,可支持最高22V。 当启用电池放电模式(Source mode)时,芯片的IN引脚可提供高达21V的电压。当提供电源输入时,MP2760 通过3个充电阶段为电池充电:恒流(CC)涓流充电和恒流(CC)预充、恒流(CC)快充或恒压(CV)充电。 MP2760 具有充电截止功能和自动充电功能,另外还提供了输入电流限制和最小输入电压(VIN)限功能,以防止输入源出现过载。MP2760 集成了
65 1
|
5月前
|
存储 机器学习/深度学习 数据挖掘
时序数据库 TDengine 与高级分析软件 Seeq 集成,来看看操作手册
通过 TDengine Java connector,Seeq 可以轻松支持查询 TDengine 提供的时序数据,并提供数据展现、分析、预测等功能。本文将对此进行介绍。
269 2
|
9月前
|
PHP
phpstudy集成环境设置环境变量启用PhpStorm中的命令行工具的解决方案
phpstudy集成环境设置环境变量启用PhpStorm中的命令行工具的解决方案
149 0