一、业务背景
1.1 公司概述
享道出行是上汽集团投资的一家专注于出行服务的专业品牌,是上汽集团实现汽车产业“新四化”(即“电动化、智能网联化、共享化、国际化”)的重要组成部分。
作为上汽集团移动出行战略品牌,享道出行充分利用全产业链竞争优势,从消费者对安全及品质的需求出发,通过为消费者提供安全、高效、舒适、便捷的品质体验,打造品质出行服务平台。
1.2 业务挑战
随着业务的快速发展,享道拥有种类丰富的数据源供业务系统存储数据及日常调研,但在数字化建设的同时,企业人员权限、生产上线流程、安全变更等方面发现一系列的问题亟需解决,总结如下:
- 人员变动频繁造成权限不易管理
- 数据库建模规范难以落地
- 生产系统重大变更风险难控制
- 历史访问频率低的数据没有系统归档
- 审计要求下数据库操作行为没有全面记录
二、解决方案
通过采购阿里云DMS平台并与享道内部系统进行对接,实现多源数据库的集中管理,充分利用DMS的全域数据资产、数据库设计与开发、数据集成、数据开发、数据可视化及数据服务等能力,以及通过内置阿里巴巴数据研发规范及数据安全最佳实践,简化数据库维护操作,提高数据运维安全和稳定性。
通过下面几个核心能力来解决痛点问题:
2.1 权限管控
为避免数据泄漏,加强数据安全管控,通常需要针对不同角色设置不同的管控权限,实现权限最小化原则,确保数据安全可靠。DMS的权限管控功能针对不同人群,如:业务开发人员、运维人员、DBA、审计人员等提供全方位、多维度(如:实例、库、表、列、行等)的权限管控能力。实现一切数据尽在掌握。
通过对接享道的OA系统,在审批流完成之后,自动在DMS中为申请人员开启所申请数据的只读权限。
2.2 SQL审核优化
在项目正式发布到线上之前,需要对涉及的SQL进行全面的审核,避免不符合数据库开发规范的SQL发布到线上影响生产服务。而传统的方式,是所有SQL都需要人工审核,会极大降低研发效率。为解决该问题,我们使用DMS的SQL审核功能,基于提前设置好的SQL审核规则,在享道工程一体化平台(Xblue)中上传SQL脚本时,会自动验证这些规则,对不规范的语句进行拦截。
2.3 无锁变更
在业务快速迭代和发展中,经常需要对在线业务库的结构进行变更,但随着业务数据量的增长及对象的访问频率增加,对结构的变更常常会导致锁的产生,从而阻塞业务的正常运行,因为出行服务需要7*24提供服务,基本无运维窗口,故此在线无锁变更就变成一种常规的需求,数据管理DMS无锁结构变更能力可轻松处理此类场景,确保业务稳定运行。无锁变更包括两种类型变更:
DML无锁变更:DML无锁数据变更基于DMS引擎将单个SQL拆分成多个批次执行,能更好地满足业务方对大量数据变更的需求,例如历史数据清理、全表更新字段等,保证执行效率的同时,减小对数据库性能、数据库空间等的影响。原理为分批执行单个SQL,DMS引擎将单个SQL拆分成多个批次执行以及每个批次执行后有Sleep(暂停)进行缓冲。
DDL无锁变更:DDL无锁变更有效解决了结构变更时锁表的问题,较好地规避因数据库变更导致锁表以至阻塞业务的问题,以及数据库原生Online DDL带来的主备延迟现象。原理为创建一张结构与变更一致的影子表,在该影子表基础上进行变更,随后将变更表中的数据向影子表进行迁移,当两边数据完全一致时,两表互换完成变更。
2.4 数据归档
为降低在线业务数据库存储空间,提升业务数据库的处理效率,需要周期性或一次性对业务库进行瘦身,将访问率很低或几乎不访问的历史数据进行归档,从而降低在线存储成本。我们使用DMS的数据归档功能,可完美契合了此类需求,且支持归档数据在线分析。
2.5 操作审计
为了方便快速定位、排查数据库问题以及提供审计用途,我们使用DMS的操作审计功能,包含SQL窗口产生的SQL语句列表、工单列表、登录列表、操作日志。支持全局级、实例级、DB级等多维度审计,且默认提供7天以内日志保留期限,最长可达3年。实现一切操作行为可追踪,最大限度地保障数据库安全。
三、方案价值
通过使用一站式运维管理系统DMS,享道可以有效地降低数据运维的复杂性,提升运维团队的工作效率,同时保障IT系统的稳定性和安全性,最终实现业务的持续性和稳定发展。
3.1 提升管控能力
- 统一数据库管理:借助DMS的统一连接技术,将享道所使用的云上和本地9大数据库产品统一纳管
- 数据管理系统整合:将享道内部现有的4大数据管理系统合并到DMS平台,统一管理
3.2 提升效能
- 快速变更能力:享道工程一体化平台(Xblue)借助DMS的SQL审核功能,将数据变更平台化和自动化,提升了SQL变更的发布效率,实现变更无需DBA参与
- 自动化维护能力:DBA通过使用DMS提供的自动化数据库维护工具,结合内部作业平台,推动智能SQL审查、一键式数据导入导出等,降低人为操作的繁琐性和出错率。
- 在线无锁变更能力:DMS支持在线进行数据库DDL和DML变更,提供实时的变更效果预览,保证了变更操作的准确性和实时性。
3.3 完善数据管理安全体系
- 权限精细化管理:DMS提供了细粒度的权限控制,允许管理员根据实际业务需求和安全策略,为不同用户和角色配置适当的数据库访问权限,实现了精准的数据管控。
- 数据保护:DMS提供数据脱敏功能,确保敏感数据在使用过程中不被非授权用户看到,从而减少数据泄露的风险。
- 安全合规:符合多种安全标准和合规要求,DMS帮助企业在使用云数据库时遵守相关的法规和行业标准,如PCI DSS、HIPAA等。
四、未来展望
随着DMS的使用落地,享道目前的痛点逐步得到解决改善,在使用DMS的同时,也发现非常多有价值的功能,未来会继续尝试落地:
- 测试数据构建:支持批量生成各类随机值、地区名、虚拟IP地址等信息,可以大大减轻准备测试数据的负担。
- 任务编排:可以通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。
- 逻辑数仓:将异构数据源进行逻辑聚合,形成物理分散、逻辑统一的虚拟数仓,然后快速地提供数据分析和访问服务。