客户说|享道出行 x DMS,构建一站式高效、安全的数据运维管理平台

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: 享道出行通过引入一站式运维管理系统DMS,有效地降低数据运维的复杂性,提升运维团队的工作效率,同时保障IT系统的稳定性和安全性,最终实现业务的持续性和稳定发展。

一、业务背景

1.1 公司概述

享道出行是上汽集团投资的一家专注于出行服务的专业品牌,是上汽集团实现汽车产业“新四化”(即“电动化、智能网联化、共享化、国际化”)的重要组成部分。


作为上汽集团移动出行战略品牌,享道出行充分利用全产业链竞争优势,从消费者对安全及品质的需求出发,通过为消费者提供安全、高效、舒适、便捷的品质体验,打造品质出行服务平台。

1.2 业务挑战

随着业务的快速发展,享道拥有种类丰富的数据源供业务系统存储数据及日常调研,但在数字化建设的同时,企业人员权限、生产上线流程、安全变更等方面发现一系列的问题亟需解决,总结如下:


  • 人员变动频繁造成权限不易管理
  • 数据库建模规范难以落地
  • 生产系统重大变更风险难控制
  • 历史访问频率低的数据没有系统归档
  • 审计要求下数据库操作行为没有全面记录

二、解决方案

通过采购阿里云DMS平台并与享道内部系统进行对接,实现多源数据库的集中管理,充分利用DMS的全域数据资产、数据库设计与开发、数据集成、数据开发、数据可视化及数据服务等能力,以及通过内置阿里巴巴数据研发规范及数据安全最佳实践,简化数据库维护操作,提高数据运维安全和稳定性。



通过下面几个核心能力来解决痛点问题:

2.1 权限管控

为避免数据泄漏,加强数据安全管控,通常需要针对不同角色设置不同的管控权限,实现权限最小化原则,确保数据安全可靠。DMS的权限管控功能针对不同人群,如:业务开发人员、运维人员、DBA、审计人员等提供全方位、多维度(如:实例、库、表、列、行等)的权限管控能力。实现一切数据尽在掌握。


通过对接享道的OA系统,在审批流完成之后,自动在DMS中为申请人员开启所申请数据的只读权限。


2.2 SQL审核优化

在项目正式发布到线上之前,需要对涉及的SQL进行全面的审核,避免不符合数据库开发规范的SQL发布到线上影响生产服务。而传统的方式,是所有SQL都需要人工审核,会极大降低研发效率。为解决该问题,我们使用DMS的SQL审核功能,基于提前设置好的SQL审核规则,在享道工程一体化平台(Xblue)中上传SQL脚本时,会自动验证这些规则,对不规范的语句进行拦截。


2.3 无锁变更

在业务快速迭代和发展中,经常需要对在线业务库的结构进行变更,但随着业务数据量的增长及对象的访问频率增加,对结构的变更常常会导致锁的产生,从而阻塞业务的正常运行,因为出行服务需要7*24提供服务,基本无运维窗口,故此在线无锁变更就变成一种常规的需求,数据管理DMS无锁结构变更能力可轻松处理此类场景,确保业务稳定运行。无锁变更包括两种类型变更:


DML无锁变更:DML无锁数据变更基于DMS引擎将单个SQL拆分成多个批次执行,能更好地满足业务方对大量数据变更的需求,例如历史数据清理、全表更新字段等,保证执行效率的同时,减小对数据库性能、数据库空间等的影响。原理为分批执行单个SQL,DMS引擎将单个SQL拆分成多个批次执行以及每个批次执行后有Sleep(暂停)进行缓冲。


DDL无锁变更:DDL无锁变更有效解决了结构变更时锁表的问题,较好地规避因数据库变更导致锁表以至阻塞业务的问题,以及数据库原生Online DDL带来的主备延迟现象。原理为创建一张结构与变更一致的影子表,在该影子表基础上进行变更,随后将变更表中的数据向影子表进行迁移,当两边数据完全一致时,两表互换完成变更。

2.4 数据归档

为降低在线业务数据库存储空间,提升业务数据库的处理效率,需要周期性或一次性对业务库进行瘦身,将访问率很低或几乎不访问的历史数据进行归档,从而降低在线存储成本。我们使用DMS的数据归档功能,可完美契合了此类需求,且支持归档数据在线分析。


2.5 操作审计

为了方便快速定位、排查数据库问题以及提供审计用途,我们使用DMS的操作审计功能,包含SQL窗口产生的SQL语句列表、工单列表、登录列表、操作日志。支持全局级、实例级、DB级等多维度审计,且默认提供7天以内日志保留期限,最长可达3年。实现一切操作行为可追踪,最大限度地保障数据库安全。


三、方案价值

通过使用一站式运维管理系统DMS,享道可以有效地降低数据运维的复杂性,提升运维团队的工作效率,同时保障IT系统的稳定性和安全性,最终实现业务的持续性和稳定发展。

3.1 提升管控能力

  • 统一数据库管理:借助DMS的统一连接技术,将享道所使用的云上和本地9大数据库产品统一纳管
  • 数据管理系统整合:将享道内部现有的4大数据管理系统合并到DMS平台,统一管理

3.2 提升效能

  • 快速变更能力:享道工程一体化平台(Xblue)借助DMS的SQL审核功能,将数据变更平台化和自动化,提升了SQL变更的发布效率,实现变更无需DBA参与
  • 自动化维护能力:DBA通过使用DMS提供的自动化数据库维护工具,结合内部作业平台,推动智能SQL审查、一键式数据导入导出等,降低人为操作的繁琐性和出错率。
  • 在线无锁变更能力:DMS支持在线进行数据库DDL和DML变更,提供实时的变更效果预览,保证了变更操作的准确性和实时性。

3.3 完善数据管理安全体系

  • 权限精细化管理:DMS提供了细粒度的权限控制,允许管理员根据实际业务需求和安全策略,为不同用户和角色配置适当的数据库访问权限,实现了精准的数据管控。
  • 数据保护:DMS提供数据脱敏功能,确保敏感数据在使用过程中不被非授权用户看到,从而减少数据泄露的风险。
  • 安全合规:符合多种安全标准和合规要求,DMS帮助企业在使用云数据库时遵守相关的法规和行业标准,如PCI DSS、HIPAA等。

四、未来展望

随着DMS的使用落地,享道目前的痛点逐步得到解决改善,在使用DMS的同时,也发现非常多有价值的功能,未来会继续尝试落地:

  • 测试数据构建:支持批量生成各类随机值、地区名、虚拟IP地址等信息,可以大大减轻准备测试数据的负担。
  • 任务编排:可以通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。
  • 逻辑数仓:将异构数据源进行逻辑聚合,形成物理分散、逻辑统一的虚拟数仓,然后快速地提供数据分析和访问服务。
相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
7天前
|
安全 NoSQL 关系型数据库
阿里云数据库:构建高性能与安全的数据管理系统
在企业数字化转型过程中,数据库是支撑企业业务运转的核心。随着数据量的急剧增长和数据处理需求的不断增加,企业需要一个既能提供高性能又能保障数据安全的数据库解决方案。阿里云数据库产品为企业提供了一站式的数据管理服务,涵盖关系型、非关系型、内存数据库等多种类型,帮助企业构建高效的数据基础设施。
23 2
|
7天前
|
数据采集 DataWorks 数据管理
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第10天】随着大数据技术的发展,企业对数据处理的需求日益增长。阿里云推出的DataWorks是一款强大的数据集成和管理平台,提供从数据采集、清洗、加工到应用的一站式解决方案。本文通过电商平台案例,详细介绍了DataWorks的核心功能和优势,展示了如何高效处理大规模数据,帮助企业挖掘数据价值。
19 1
|
8天前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
12 1
|
12天前
|
数据采集 SQL DataWorks
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第5天】本文通过一家电商平台的案例,详细介绍了阿里云DataWorks在数据处理全流程中的应用。从多源数据采集、清洗加工到分析可视化,DataWorks提供了强大的一站式解决方案,显著提升了数据分析效率和质量。通过具体SQL示例,展示了如何构建高效的数据处理流程,突显了DataWorks相较于传统工具如Excel的优势,为企业决策提供了有力支持。
41 3
|
2月前
|
运维 Kubernetes 监控
|
2月前
|
机器学习/深度学习 前端开发 数据挖掘
基于Python Django的房价数据分析平台,包括大屏和后台数据管理,有线性、向量机、梯度提升树、bp神经网络等模型
本文介绍了一个基于Python Django框架开发的房价数据分析平台,该平台集成了多种机器学习模型,包括线性回归、SVM、GBDT和BP神经网络,用于房价预测和市场分析,同时提供了前端大屏展示和后台数据管理功能。
|
2月前
|
Java 测试技术 容器
从零到英雄:Struts 2 最佳实践——你的Web应用开发超级变身指南!
【8月更文挑战第31天】《Struts 2 最佳实践:从设计到部署的全流程指南》深入介绍如何利用 Struts 2 框架从项目设计到部署的全流程。从初始化配置到采用 MVC 设计模式,再到性能优化与测试,本书详细讲解了如何构建高效、稳定的 Web 应用。通过最佳实践和代码示例,帮助读者掌握 Struts 2 的核心功能,并确保应用的安全性和可维护性。无论是在项目初期还是后期运维,本书都是不可或缺的参考指南。
44 0
|
2月前
|
SQL 存储 数据管理
掌握SQL Server Integration Services (SSIS)精髓:从零开始构建自动化数据提取、转换与加载(ETL)流程,实现高效数据迁移与集成——轻松上手SSIS打造企业级数据管理利器
【8月更文挑战第31天】SQL Server Integration Services (SSIS) 是 Microsoft 提供的企业级数据集成平台,用于高效完成数据提取、转换和加载(ETL)任务。本文通过简单示例介绍 SSIS 的基本使用方法,包括创建数据包、配置数据源与目标以及自动化执行流程。首先确保安装了 SQL Server Data Tools (SSDT),然后在 Visual Studio 中创建新的 SSIS 项目,通过添加控制流和数据流组件,实现从 CSV 文件到 SQL Server 数据库的数据迁移。
107 0
|
3月前
|
Java 数据管理 API
构建基于Spring Boot的数据管理平台
构建基于Spring Boot的数据管理平台
|
3月前
|
弹性计算 运维 自然语言处理
属于Basis运维的、在Linux平台上运行的大模型测评 OS Copilot智能助手测评
OS Copilot是阿里云为Linux打造的智能操作系统助手,基于大模型,助用户进行自然语言问答、命令执行和系统运维。它简化了Linux操作,适合新手和运维人员。测评者作为IT架构师,发现OS Copilot使非技术背景人员也能操作Linux,接入命令可在官方文档找到。测试显示,通过"co"命令可与OS Copilot交互,实现生产任务融合。该工具提高了工作效率,尤其是对于遗忘具体命令时,非常有帮助。文档清晰,适合生产环境使用,值得进一步探索。
82 0

热门文章

最新文章

相关产品

  • 数据管理