阿里云原生多模数据库Lindorm针对工业物联网数据高并发写入,实时存取等特点,创新性地融合时序、索引、宽表等多模引擎能力,为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案,大幅度降低了数据存储和存储系统运维成本。
图1 阿里云Lindorm数据库驱动的IT运维监控系统
客户简介
图扑软件成立于 2013 年,总部位于厦门,在北京、上海、天津、大连、 青岛等地设有分支机构。公司聚焦工业物联网监控运维可视化应用领域,为客户提供从咨询、设计、实施到售后的全方位可视化管理支持服务。图扑软件专注基于Web 的 2D 和 3D 图形界面组件技术,致力于让完全独立自主知识产权的 HT for Web 软件走向世界之巅。公司系列产品 HT for Web 已应用于电信、电力、交通、水利、石化、制造、医疗、工控等行业场景。
业务要求与挑战
5G、云计算、边缘计算等智能、互联技术的快速发展,推动了工业物联网IIoT场景下各种软件、硬件传感器数量激增,与之对映的采集数据量和数据类型快速增长,导致数据存储、检索难度更大。现有解决方案中,通常依赖自建单ElasticSearch检索引擎或OpenTSDB、Prometheus等时序引擎搭建数据存储,而采集数据类型多样化使得单模引擎存储方案技术复杂且运维成本高,市场需要新一代云原生且具备多模检索能力的存储系统。
某著名IT咨询公司预测,工业物联网市场规模在2025年可能达到3.7万亿美元,但统计数据显示,现在只有不到30%的供应商从中盈利,大多数企业都陷入了技术陷阱之中。新技术在创造新机遇带动产业升级的同时也带来了新的技术挑战,更加复杂的系统架构和更高的性能、稳定性要求制约了工业物联网系统实施落地,企业需要专业技术公司来帮助解决数据采集、传输、存储、分析及可视化全链数据处理系统建设难点。
解决方案
厦门图扑软件致力于解决工业物联网全链路数据处理最后一公里的数据可视化环节技术难点。面向工业物联网IIoT场景,图扑软件提供监控系统监控可视化解决方案,其产品可用于快速创建和部署,高度可定制化,并具有强大交互功能的拓扑图形及表盘图表等应用,非常适用于实时监控系统的界面呈现,广泛应用于电信网络拓扑和设备管理,以及电力、燃气等工业自动化 (HMI/SCADA) 领域。
对于需要实时采集海量数据的生产线、风电厂和智能交通态势感知数据的场景,为了实现实时数据采集、存储、索引和聚合,原存储方案中采用了ElasticSearch、Prometheus、Hbase分别存储从现场传感器、第三方系统和用户终端设备采集的时序指标、日志、用户体验、网络流量等数据,随着数据量增加,可视化展示界面场景复杂化,数据存储和运维成本激增,检索难度快速上升,严重制约了交付效果。
图2 数据存储系统改造前后方案对比
针对存储层面临的问题,厦门图扑软件基于阿里云Lindorm云原生多模数据库改造存储层架构,以单库多模超融合模式存储全量采集的监控数据(技术方案对比如图2所示),极大地简化了存储层架构,进而降低了运维成本。利用Lindorm自研的数据压缩存储和存储优化能力,海量低价值密度的监控数据存储成本也有大幅度降低。
为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据,如图3所示,阿里云Lindorm在云端单实例融合了宽表、索引、时序等多种数据引擎能力,通过阿里云DTS/DMS或第三方开源数据交换/ETL软件(如Apache nifi、Sqoop等)打通多引擎数据交互通道,根据应用场景业务来适配数据。面向上层数据可视化、分析系统,Lindorm提供更为便捷的开发期SDK和REST API数据对接方案,同时兼容OpenTSDB、Prometheus、Hbase等原生接口,无缝对接主流生态,进一步简化了图扑软件集成部署成本。
图3 阿里云Lindorm多模数据融合存储架构
适用场景:
实时场景监控大屏展现
态势感知及风险监控
设备监控数据探伤检测
故障数据全量回溯分析
AI辅助异常检测等场景
客户价值:
超融合存储海量异构数据,大幅降低工业物联网场景数据存储、聚合成本;
高性能、高通量监控数据入库,提升可视化大屏数据时效性;
提供99.95% 高可靠性,保障业务持续稳定运行;
云端接入遍在可达,简化网络配置管理;
开箱即用免维护,进一步降低系统维护成本;
兼容OpenTSDB、Prometheus接口,无缝对接主流生态;
建设效果
目前图扑软件联合阿里云端支撑某行业领先泛在电力物联网及智能楼宇行业客户实现终端设备传感器云端数据采集、存储、检索,实现并发量100万TPS以上的传感器采集数据的并发写入,最高存储时序时间线40万能力,节约数据存储和系统维护成本达6成,实现效果如图4、图5所示。
图4 泛在电力物联网监控系统建设效果
图5 智能楼宇场景监控监控系统建设效果
来源: 阿里巴巴数据库技术 微信公众号
原文链接:https://mp.weixin.qq.com/s/EHOAhRdBlIUrxZZthKXgxQ