云原生多模数据库 Lindorm助力东软集团 运维监控可视化

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 东软创立于1991年,是中国第一家上市的软件公司,一直以来致力于以信息技术的创新,推动社会发展,创造美好生活。东软集团以软件技术为核心,业务领域覆盖智慧城市、医疗健康、智能汽车互联及软件产品与服务。目前,东软在全球拥有近20000名员工,在中国建立了覆盖60多个城市的研发、销售及服务网络,在美国、日本、欧洲等地设有子公司。此外,东软连续四次入选普华永道“全球软件百强企业”,还曾荣获最具全球竞争力中国公司20强、中国50强全球挑战者、亚洲最受赏识的知识型企业、亚太地区最佳雇主等奖项。

image.png

客户感言

利用阿里云新一代云原生多模数据库Lindorm“灵动”引擎驱动的政府、企业数字信息系统智能运维解决方案,东软做到了实时、海量、异构监控数据一站式存储,实现指标、日志、代码链路和网络包等异构数据融合分析,高可靠数据保障和遍在可达实时监控数据存储云端服务。如图1所示,阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时,大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验,降低了低价值密度监控数据存储管理成本。
image.png

客户简介

东软创立于1991年,是中国第一家上市的软件公司,一直以来致力于以信息技术的创新,推动社会发展,创造美好生活。东软集团以软件技术为核心,业务领域覆盖智慧城市、医疗健康、智能汽车互联及软件产品与服务。目前,东软在全球拥有近20000名员工,在中国建立了覆盖60多个城市的研发、销售及服务网络,在美国、日本、欧洲等地设有子公司。此外,东软连续四次入选普华永道“全球软件百强企业”,还曾荣获最具全球竞争力中国公司20强、中国50强全球挑战者、亚洲最受赏识的知识型企业、亚太地区最佳雇主等奖项。

业务要求与挑战

线上互联网化的信息服务繁荣发展为政府、企业数字系统运维应用维稳和客户数字体验保障提出了更高要求。在互联网服务场景下,运维监控数据量激增,采集监控的数据类型更加多样(时序指标、日志、代码链路等),现有运维系统采用的单模引擎(如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库)应对这些实时、高并发采集,且价值密度较低的监控数据存储和检索场景时,已经显得力不从心。
跟据Forrest统计数据,目前有57%的企业客户IT运维部反馈至少每周会发生一次影响应用性能和可用性的问题;每天都发生问题的比例占到了28%。对于愈加依赖应用面向客户实现企业价值,提升工作效率的当今企业来说,这种问题越来越无法忍受。统计数据显示有超过一半的企业认为由于应用性能问题直接导致业务用户和IT部门生效率降低和时间浪费;有42%的企业认为应用性能问题直接影响了企业收入。总得来说,造成这种现象的主要问题原因,可总结为以下两个方面:
(1) 新需求推动IT系统监控数据量激增: 移动智能终端设备的普及使应用逐渐渗入到我们工作生活的方方面面,企业应用数量激增。企业面向客户、合作伙伴和内部员工建设IT系统及应用复杂度和数量会随着产品智能、互联化的深入持续增长,对映可用性保障运维监控采集数据采集种类,以及需要存储的数据量同步激增,现有监控系统基于RRD数据库或关系数据库搭建的单模引擎的存储、检索能力和需求脱节。
(2) 产品数字化导致应用结构愈加复杂,监控数据类型更加多样: 技术方面,诸如混合云、数据分析、物联网、车联网、体域网等新技术的持续演进也使得应用结构愈加复杂,保障应用性能更加困难。据统计,超过一半(52%)的企业IT运维部门在监控管理工具上的投入是被动、针对特定问题且分散的。但由于存储能力有限,单模存储引擎功能单一,数据存储分散、碎片化,难以应对未来以应用为核心的IT监控运维新需求和技术演进。随着时间的推移,现有IT运维数据存储分析问题会恶化。
激增的应用复杂度及监控数据采集量和在网运维系统有限的监控运维数据存储检索能力之间的矛盾在加剧。目前,东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有:多模型数据融合分析困难,面向海量数据采集终端同时写入数据的并发能力弱,数据量大且价值密度低导致存储成本高,基于开源软件自建数据存储集群稳定性低运维成本高等问题,东软急需新型运维大数据存储引擎支撑,来对运维系统存储引擎升级改造。

解决方案

东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点,将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据,应用运行代码链路和日志数据全量采集存储于阿里云Lindorm灵动云原生多模数据库(如图2所示)。
image.png
以阿里云的云端Lindorm云原生多模数据库为核心,东软围绕运营商、汽车等目标场景监控运维特点,进一步扩展了应用智能运维产品RealSight APM和云管理产品SaCa Aclome能力,实现了高通量、高并发监控数据的实时、低成本存储。利用内置多模数据引擎处理能力,阿里云Lindorm完美适配东软客户IT运维监控场景数据存储分析需求。东软基于Lindorm打造,面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如图3所示,其中Lindorm作为核心运维数据存储、检索引擎全量接收来自移动终端、网络嗅探器、业务监控探针、日志采集器等多种数据来源实时采集的异构监控数据,以高并发、高通量数据写入方式将数据入库。在运维过程中,用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力,来满足不同应用场景的运维大数据信息提取需要。
image.png

适用场景:

  • 实时状态大屏展现
  • 应用海量日志检索
  • 定点用户行为追踪
  • 故障数据全量回溯分析
  • AI辅助异常检测等场景

客户价值:

  • 一体化指标、日志、代码链路、网络包等结构化、半结构化、无结构数据存储、检索、分析能力,降低开发部署复杂度;
  • 云端低成本海量运维数据存储,TCO大幅降低;
  • 高性能、高通量监控数据入库,轻松搞定大日活量应用系统监控;
  • 实时日志、指标等多模异构数据监控和回溯分析,简化低价值密度数据的信息提取;
  • 99.99%数据可用性,降低数据丢失风险;
  • 云端接入遍在可达,简化网络配置管理;
  • 开箱即用免维护,进一步降低系统维护成本;
  • 提供实时高精度全量监控数据存储和分析能力,为监控目标系统保驾护航,间接提升客户数字体验。

建设效果:

目前系统已经在阿里云端支撑某行业领先车企存储、检索从全球客户终端采集的用户数字足迹和客户体验数据,节约数据存储和系统维护成本达4成,建设效果如图4所示。
image.png
image.png
image.png
image.png

相关实践学习
Lindorm AIGC:十分钟搞定智能问答 + 多模态检索
通过使用Lindorm AIGC体验版服务,十分钟搞定定制化智能问答和多模态检索。
相关文章
|
2月前
|
机器学习/深度学习 存储 运维
深度学习在数据库运维中的作用与实现
深度学习在数据库运维中的作用与实现
83 14
|
2月前
|
SQL 存储 运维
从建模到运维:联犀如何完美融入时序数据库 TDengine 实现物联网数据流畅管理
本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品。文章从一个具体的业务场景出发,分析了企业在面对海量时序数据时的挑战,并提出了利用 TDengine 高效处理和存储数据的方法,帮助企业解决在数据采集、存储、分析等方面的痛点。通过这篇文章,作者不仅展示了自己对数据处理技术的理解,还进一步阐释了时序数据库在行业中的潜力与应用价值,为读者提供了很多实际的操作思路和技术选型的参考。
53 1
|
2月前
|
运维 监控 Cloud Native
云原生之运维监控实践:使用 taosKeeper 与 TDinsight 实现对 时序数据库TDengine 服务的监测告警
在数字化转型的过程中,监控与告警功能的优化对保障系统的稳定运行至关重要。本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品之一,详细介绍了如何利用 TDengine、taosKeeper 和 TDinsight 实现对 TDengine 服务的状态监控与告警功能。作者通过容器化安装 TDengine 和 Grafana,演示了如何配置 Grafana 数据源、导入 TDinsight 仪表板、以及如何设置告警规则和通知策略。欢迎大家阅读。
65 0
|
3月前
|
运维 监控 关系型数据库
数据库管理中的自动化运维:挑战与解决方案
数据库管理中的自动化运维:挑战与解决方案
|
3月前
|
存储 Cloud Native NoSQL
云原生时代的数据库选型与架构设计
云原生时代的数据库选型与架构设计
48 0
|
6月前
|
存储 运维 监控
数据库服务器运维最佳实践
【8月更文挑战第22天】
114 2
数据库服务器运维最佳实践
|
6月前
|
缓存 运维 监控
打造稳定高效的数据引擎:数据库服务器运维最佳实践全解析
打造稳定高效的数据引擎:数据库服务器运维最佳实践全解析
|
6月前
|
Cloud Native 数据库 开发者
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
|
6月前
|
Cloud Native 关系型数据库 分布式数据库
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
57 1
|
6月前
|
存储 SQL 运维
“震撼发布!PolarDB-X:云原生分布式数据库巨擘,超高并发、海量存储、复杂查询,一网打尽!错过等哭!”
【8月更文挑战第7天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
129 1

相关产品

  • 云原生多模数据库 Lindorm