从DB2到MySQL,袋鼠云助力传统金融平台的互联网转型

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 袋鼠云是国内领先的数据智能践行者。袋鼠云的数据库团队核心成员来自淘宝,曾参与主导过阿里巴巴"去IOE"的架构演进,对大规模分布式数据库架构设计与实践有着丰富的经验,曾服务过特步、中航金网、国泰产险、东风裕隆、浙江智慧网络医院、绿城信息等行业客户,是阿里云生态中数据库技术领域的技术领先者。

前言:
袋鼠云是国内领先的数据智能践行者。袋鼠云的数据库团队核心成员来自淘宝,曾参与主导过阿里巴巴"去IOE"的架构演进,对大规模分布式数据库架构设计与实践有着丰富的经验,曾服务过特步、中航金网、国泰产险、东风裕隆、浙江智慧网络医院、绿城信息等行业客户,是阿里云生态中数据库技术领域的技术领先者。
项目背景:
某传统金融平台在23年的业务快速发展过程中,众多IT系统垂直建设,不同系统之间存在复杂多样的关联性关系,核心业务系统既需要保证极高的可用性,又要为业务创新和发展做好技术架构准备,面临着IT时代被IOE架构困扰已久的"稳定-创新"经典困局。
如何做好企业架构治理、为业务灵活创新做好技术基础,提升应用开发速度、投入产出效率,降低运维难度,将严峻挑战转化为创新驱动力,完成从IT到DT成功进行数字化转型呢?
为充分利用高并发、高灵活、高可用的互联网平台优势,提升在线服务性能,该货币服务平台选择使用了阿里云EDAS中间件、DRDS分布式数据库、MySQL服务。
在向互联网级分布式架构转型中,涉及到的数据库架构设计和改造实施内容,该货币服务平台通过阿里云市场找到了--阿里云生态合作伙伴袋鼠云实施完成。
搭建过程:

image

该传统金融平台原先采用DB2,经过10多年的业务发展和数据沉淀,数据库结构和表结构较为复杂,需要大量梳理。数据来源于上游系统,来源方式多样,由中间库、源库、目标库组成的数据摆渡链路较为冗长。
据了解,该传统金融平台每次功能变更都需要重新发布整个系统,系统耦合度高。
结合平台庞大的业务体系,袋鼠云和客户决定对其数据库进行先垂直后水平的拆分改造,后端数据库技术架构如下:

image

难点一:如何进行数据库拆分设计以适应满足复杂业务需求?
由于该传统金融平台的业务体系过于庞杂,第一要务是对整个应用系统进行业务模块的梳理和拆解。在调研初期,袋鼠云为该平台客户梳理出三大垂直的业务系统,目的是进行应用的功能剥离及数据解耦,并以业务模块为基准,对其数据库进行垂直拆分设计。
垂直拆分后,数据层在存储以及性能方面已经做到隔离,但十多年的业务积累,导致部分业务表数据量已经超过数千万条记录。为了提高单表的查询性能,以及解决单库存储容量问题,接下来需要基于DRDS对部分表进行水平拆分。在客户现场,进行反复调研及沟通,逐个分析各个业务的查询场景以及数据存储规律,和客户共同制订出针对大表的水平拆分方案,这个过程也称之为"分库分表"。
该传统金融平台的数据库垂直拆分架构大致如下:

image

通过DRDS将若干大表进行水平拆分,大致如下:

image

难点二:针对复杂业务逻辑,袋鼠云为其定制数据迁移程序
该传统金融平台隶属于国家级金融机构。任何一条数据的不准确、延迟、丢失,都将影响中国金融市场的稳定和健康发展。
所以,这就要求在拆分迁移过程中,还要对接收到的来自不同上游的数据进行计算和准确性校验。校验的精细度要求是:每条数据都需要验证,而且迁移过程是一次全量多次增量,数据迁移,数据验证,数据又迁移,数据再验证,如此循环往复,需要投入大量时间和人力。
针对该传统金融平台复杂的业务逻辑,以及对数据高完整性的需求,袋鼠云为客户定制化迁移程序,进行DB2数据库到DRDS的数据迁移工作。深入理解客户的业务逻辑并完成数据重组,期间不断聆听客户的业务需求,最终通过严格的多阶段数据验证考验。数据迁移过程如下:

image

难点三:为满足金融平台的高性能要求,SQL优化、压测、再优化,进行了8轮...
客户平台原采用的DB2数据库,有很多复杂SQL,对数据库带来一定负担。同时,还有数据库存储过程、视图等高级功能的使用,SQL书写不规范,表未建索引....大量的SQL需要袋鼠云数据库专家进行逐行审核,并和客户工作人员一起优化、压测、再优化、再压测、再再...,如此进行了8轮。除了常规的优化手段外,还需要对传统应用进行改造,如拆解查询、逻辑上拉至应用层、业务功能适度妥协等,最终完成对客户不同场景下的查询优化,最大程度提升了客户系统的性能。
并且在后端的数据库节点上,袋鼠云数据库团队基于DRDS设计读写分离的架构,利用只读实例分担主库的数据查询压力,配合EDAS的限流功能,避免了后端数据库在业务高峰期的流量冲击。

最后:
通过采用分布式数据库架构,该传统金融平台全链路数据库瓶颈得以解决,对数据解耦,缩短数据访问链条长度,显著提升了自身数据服务性能。

从DB2到MySQL、DRDS,该传统金融平台完成了自身互联网转型的一大步。

现袋鼠云旗下产品均入驻阿里云企业服务第一平台——云市场,帮助更多的企业完成转型第一步!目前袋鼠云已服务云市场近万用户群体,云市场也为用户提供"不满意退款"、"全程担保交易"、"软件交付全程监管"、"6道关卡筛选优质商家与商品"等四个100%承诺,让用户消费无忧,这也是我们给予客户的承诺。

进入袋鼠云官方店铺,寻找您所需要的商品。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
小程序 Java 数据安全/隐私保护
基于微信小程序的音乐平台 毕业设计 JAVA+Vue+SpringBoot+MySQL
基于微信小程序的音乐平台 毕业设计 JAVA+Vue+SpringBoot+MySQL
115 1
|
SQL 关系型数据库 MySQL
0019Java程序设计-SSM + MySQL 家庭医生预约平台
0019Java程序设计-SSM + MySQL 家庭医生预约平台
186 0
|
6月前
|
缓存 小程序
Java+saas模式 智慧校园系统源码MySQL5.7+ elmentui前后端分离架构 让校园管理更高效的数字化平台系统源码
智慧校园是在数字通增强版基础上,研发的一套面向教育行业的数字化校园软件,其显著特点是集学校网站、协同办公、即时通讯、网络空间、移动办公于一体。在满足教职工日常办公需要的同时,拥有诸多教育行业功能,并提供便捷易用的“家校通”平台以满足老师、学生、家长的日常交流。数字通智慧校园教育版中的协同办公、即时通讯、移动办公等功能模块随通用版一同改进,将网络办公最新技术应用到教育行业。
96 1
|
6月前
|
监控 数据可视化 安全
智慧工地SaaS可视化平台源码,PC端+APP端,支持二开,项目使用,微服务+Java++vue+mysql
环境实时数据、动态监测报警,实时监控施工环境状态,有针对性地预防施工过程中的环境污染问题,打造文明生态施工,创造绿色的生态环境。
62 0
智慧工地SaaS可视化平台源码,PC端+APP端,支持二开,项目使用,微服务+Java++vue+mysql
|
6月前
|
数据管理 关系型数据库 MySQL
数据管理DMS产品使用合集之DMS可以接入其他平台的MySQL数据库,是否还支持无感知变更功能
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
安全 关系型数据库 MySQL
基于SpringBoot+Vue+Mysql+Java 毕业生信息招聘平台系统(附源码)上
基于SpringBoot+Vue+Mysql+Java 毕业生信息招聘平台系统(附源码)
|
6月前
|
存储 Kubernetes 关系型数据库
KubeSphere 核心实战之一【在kubesphere平台上部署mysql】(实操篇 1/4)
KubeSphere 核心实战之一【在kubesphere平台上部署mysql】(实操篇 1/4)
438 0
|
6月前
|
传感器 人工智能 监控
智慧工地云信息平台源码(微服务+java+springcloud+uniapp+mysql)
智慧工地云信息平台源码(微服务+java+springcloud+uniapp+mysql)
78 0
|
6月前
|
SQL Java 关系型数据库
【Spring Boot+Thymeleaf+MyBatis+mysql】实现电子商务平台实战(附源码)持续更新~~ 包括sql语句、java、html代码
【Spring Boot+Thymeleaf+MyBatis+mysql】实现电子商务平台实战(附源码)持续更新~~ 包括sql语句、java、html代码
152 0
|
6月前
|
监控 数据可视化 安全
智慧化工地SaaS平台源码,PC端+APP端+智慧数据可视化大屏端,源码完全开源不封装,自主研发,支持二开,项目使用,微服务+Java++vue+mysql
智慧化工地SaaS平台源码,PC端+APP端+智慧数据可视化大屏端,源码完全开源不封装,自主研发,支持二开,项目使用,微服务+Java++vue+mysql
152 0
下一篇
无影云桌面