政务云高性能数据库探索与实践

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: 政务云高性能数据库探索与实践


01.gif

当前的时代背景下,发展数字经济重要性已无需赘言,而做强和做优更是摆在了很重要的位置。政务领域作为服务社会建设、保障社会高效运转的基础领域,数字基础设施关键技术的自主掌控和优化创新尤为重要。


图片.png

(节选自《求是》2022/02《不断做强做优做大我国数字经济》)



image.gif

政务信息化现状与高性能数据库核心技术创新


政务云建设现状与技术挑战


随着各省、市级政府相继设立了大数据局/数据管理局职能部门,持续地进行信息化建设投入。现阶段各省市基本已经因地制宜建设了各类信息一体化平台,各地政务云基础设施也已初成规模。


在过去的政务云 1.0 时代,主要是整合行业领先的云厂商、大运营商人才、技术、基础设施资源搭建了基础政务云框架。各委办厅局利用新的一体化资源/服务平台搭建系统,以及将原先的信息化系统逐步迁移至政务云上。在如火如荼的政务云建设中也显露出技术因素的掣肘,其中最为常见的几类问题基本上都集中在最为重要的数据层:


  • 一是政务云上高性能关系型数据库服务缺失限制了政务云下数据迁云的全面性和高效性;

  • 二是政务云上数据库服务扩展性限制政务信息系统/一体化平台架构设计;

  • 三是政务云上各社会面数据资源共享效率受到了基础架构的限制,存在许多数据孤岛。


数据层技术挑战分析和架构创新实现


上文问题一的表象是云上缺乏像 Oracle 一样的高性能关系型数据库产品,并且不能提供高度的 Oracle 开发生态兼容性;从而导致不少委办厅局的现有核心系统无法低成本平迁云上,往往要么先将应用迁移至云上,数据库仍使用云外物理服务器;要么需求整体重构应用,采用拆分策略将核心系统拆小分而治之(但是往往很多核心系统在应用层面的拆分十分困难而且可能引入诸如跨库共享、关联、一致性等复杂性得不偿失)。


问题二和问题三则是同一个问题的两面表现:一方面省/市级各类一体化平台设计时受制于云上关系型数据库的性能和扩展性限制,架构设计在数据库层面必须去切分很多数据库实例,而不能完全按照业务数据共享的需求去实现“一个库”,这反过来造成在数据共享层面的数据冗余副本过多、同步实时性差,或者数据共享依赖上层服务调用效率较低的问题。


笔者认为深挖问题表象的技术因素在于现在主流的“关系型云原生数据库”的实现往往依赖云平台层面本身的虚拟化技术,没有实现数据库层的资源云化。除开对云厂商的云底座绑定这一固有限制之外,云平台虚拟化技术当前在计算资源损耗控制上(CPU、内存)已经比较出色,但是在关系型数据大规模多机分布式计算以及高性能数据库最关注的 IO 指标上却存在技术难题:


  • 单一虚拟化计算规格难以跨越底层物理服务器;

  • 本地磁盘时延低性能高(NVME)但扩展性受限;

  • “云盘”扩展性好、总体吞吐高但时延和稳定性往往不如人意。


再往下深挖则是主流的“关系型云数据库服务”内核基本上基于集中式时代的产品(MySQL、PostgreSQL 或其他“自研”产品),没有原生云化的设计(如原生多租户能力、分布式计算存储资源利用能力);又由于当前国内主流云/数据库厂商对于数据库内核技术的掌握程度不足以支持其深度重构内核(例如引入分布式存储/计算引擎或 RDMA 等方案),只能在外围或者上层中间件修改,所以无论是对于云下主流商业化产品的兼容性支持,还是核心查询计算性能都不能完全满足要求。


具备分布式数据库内核完全自主设计能力的专业数据库厂商  ,其原生云化设计的通用型分布式关系型数据库则可以解决这个问题:


  • 可以不依赖平台级虚拟化直接利用硬件计算和 IO 能力避免损耗;

  • 支持分布式计算引擎,可实现计算资源的跨机利用而无需依赖“分布式中间件”;

  • 支持分布式文件存储引擎,而不需要依赖“云盘”,从而获得存储层低延时;

  • 可以在 SQL 引擎层面原生实现 Oracle 或其他主流产品生态兼容性支持。




政务云高性能数据库做强做优的探索与实践


高性能分布式关系型数据库 OceanBase 的引入


OceanBase 是蚂蚁集团科技投入内部全面去 Oracle 和 MYSQL 孵化的核心产品,是完全自研的原生分布式关系数据库,具有云原生、易扩展、强一致性、高度兼容 Oracle/MySQL 等特性,历经 10 年业务打磨。在 2019、2020、2021 连续登顶刷新国际 TPC 组织关系型数据库交易、分析型场景性能榜单后开始广泛进入大众视野。单独成立子公司并开放生态后,其多云输出形态和原生云化分布式数据库技术特点与政务云当前阶段广泛存在的数据库诉求非常匹配。

浙江省政务云为提升数字化建设水平,更好地服务各委办厅局,在充分调研当前高性能数据库需求基础上,引入了 OceanBase 分布式数据库服务。


图片.png

浙江省政务云OceanBase资源截图


浙江政务云政法云高级人民法院整体迁云实践探索


在浙江省高级人民法院整体迁云实践探索中,主要完成的尝试是:已上云系统透明扩展;核心业务系统平滑去 O 迁云和全面国产化;在数据资源管理上实现“一个库”横向扩容,高效数据共享。


图片.png浙江省高级人民法院官网截图


云下整体迁移云上的架构实现和工程实施步骤如下图所示,根据业务现状特点、业务耦合性和迁云紧迫性制定迁云路线。


  • 优先满足第一类已上云业务数据库资源可无限扩容需求(档案、卷宗),无需分库,解决集中式数据库实例容量上限问题。


  • 对数据生产源头且推送数据中心的第二类核心业务(审判、执行、送达、案款),逐个向云上 OB 迁移,同时建立相应的数据同步链路。


  • 对于依赖数据中心推送数据的第三类业务系统(如各类移动端应用),逐个迁移业务库,同时建立对应的原数据中心到云上 OB 的同步链路。


  • 通过对一二三类业务的解耦分步迁移以及对应的数据中台大数据分析业务逐步迁移,原线下数据中心逐步变瘦直至完全迁云。


图片.png

 

在数据资源“一个库”设计以及数据共享实时性和效率提升上,通过分布式水平扩展实现数据可根据业务需求聚合,数据资源可直接共享。如下图所示不同业务可依据实际业务需求使用租户/用户,租户之间通过数据同步组件进行共享。同租户用户之间通过用户权限实现共享,实现数据共享高度实时,并通过分区级读写分离技术实现数据共享和主业务生产之间的竞争避免。


图片.png

OceanBase多租户间、租户内多用户数据共享和读写分离示意

 

图片.png

OceanBase业务透明在线扩缩容,数据、负载自动重平衡示意


业务收益上,在无需重构应用架构的前提下,成功使用云上高性能数据库支撑了全省法院审判、执行、案款、送达等业务数据汇聚。支持了档案、卷宗数据的长期完整保存,支持各类数据碰撞聚合分析。


信息化收益上,实现了云上、线下数据库集中汇聚云上纯国产化数据库OceanBase;应用统一了开发技术栈,40+ 服务器资源缩减一半,资源可管理性提升;数据库服务故障恢复时间从小时级降低到分钟级。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
1月前
|
弹性计算 安全 关系型数据库
活动实践 | 自建数据库迁移到云数据库
通过阿里云RDS,用户可获得稳定、安全的企业级数据库服务,无需担心数据库管理与维护。该方案使用RDS确保数据库的可靠性、可用性和安全性,结合ECS和DTS服务,实现自建数据库平滑迁移到云端,支持WordPress等应用的快速部署与运行。通过一键部署模板,用户能迅速搭建ECS和RDS实例,完成数据迁移及应用上线,显著提升业务灵活性和效率。
|
7天前
|
运维 监控 Cloud Native
云原生之运维监控实践:使用 taosKeeper 与 TDinsight 实现对 时序数据库TDengine 服务的监测告警
在数字化转型的过程中,监控与告警功能的优化对保障系统的稳定运行至关重要。本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品之一,详细介绍了如何利用 TDengine、taosKeeper 和 TDinsight 实现对 TDengine 服务的状态监控与告警功能。作者通过容器化安装 TDengine 和 Grafana,演示了如何配置 Grafana 数据源、导入 TDinsight 仪表板、以及如何设置告警规则和通知策略。欢迎大家阅读。
25 0
|
2月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
2月前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
152 3
|
2月前
|
NoSQL Cloud Native atlas
探索云原生数据库:MongoDB Atlas 的实践与思考
【10月更文挑战第21天】本文探讨了MongoDB Atlas的核心特性、实践应用及对云原生数据库未来的思考。MongoDB Atlas作为MongoDB的云原生版本,提供全球分布式、完全托管、弹性伸缩和安全合规等优势,支持快速部署、数据全球化、自动化运维和灵活定价。文章还讨论了云原生数据库的未来趋势,如架构灵活性、智能化运维和混合云支持,并分享了实施MongoDB Atlas的最佳实践。
|
3月前
|
NoSQL Cloud Native atlas
探索云原生数据库:MongoDB Atlas 的实践与思考
【10月更文挑战第20天】本文探讨了MongoDB Atlas的核心特性、实践应用及对未来云原生数据库的思考。MongoDB Atlas作为云原生数据库服务,具备全球分布、完全托管、弹性伸缩和安全合规等优势,支持快速部署、数据全球化、自动化运维和灵活定价。文章还讨论了实施MongoDB Atlas的最佳实践和职业心得,展望了云原生数据库的发展趋势。
|
3月前
|
SQL 关系型数据库 MySQL
Go语言项目高效对接SQL数据库:实践技巧与方法
在Go语言项目中,与SQL数据库进行对接是一项基础且重要的任务
107 11
|
3月前
|
安全 NoSQL 关系型数据库
阿里云数据库:构建高性能与安全的数据管理系统
在企业数字化转型过程中,数据库是支撑企业业务运转的核心。随着数据量的急剧增长和数据处理需求的不断增加,企业需要一个既能提供高性能又能保障数据安全的数据库解决方案。阿里云数据库产品为企业提供了一站式的数据管理服务,涵盖关系型、非关系型、内存数据库等多种类型,帮助企业构建高效的数据基础设施。
162 2
|
3月前
|
SQL 存储 关系型数据库
添加数据到数据库的SQL语句详解与实践技巧
在数据库管理中,添加数据是一个基本操作,它涉及到向表中插入新的记录
|
3月前
|
Rust 前端开发 关系型数据库
Tauri 开发实践 — Tauri 集成本地数据库
本文介绍了在 Tauri 框架中集成本地数据库的几种方案,包括直接绑定 SQLite、使用第三方数据库库和使用 tauri-plugin-sql-api 插件。最终选择了 tauri-plugin-sql-api,因为它集成简单、支持多种数据库类型,并且与 Tauri 框架深度整合,提升了开发效率和安全性。文章详细介绍了如何安装和使用该插件,以及如何编写核心代码实现数据库操作。
301 2