开发者社区> 技术小能手> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

HybridDB · 最佳实践 · 阿里云数据库PetaData

简介:
+关注继续查看

前言

随着互联网DT时代的高速发展,业界需要简单高效的数据处理方式在海量数据中挖掘价值,企业厂商和开源界目前较流行的的做法,是提供支持类SQL接口的数据库服务,或者是提供SDK接口的数据处理平台服务。

在SQL接口的数据库服务中,传统的关系数据库,如MySQL、PG等,处理海量数据显得越来越力不从心,既无法突破单机硬件资源限制,又无法并行利用多机硬件资源;大数据NewSQL数据库,必须依赖外部数据库保证数据的事务特性,并通过数据导入工具将完整提交的数据导入进来计算,系统复杂度和成本较高。

在SDK接口的数据处理平台服务中,用户需要进行再次开发,扩展性和自由度较好,但是上线周期较长,易用性较差,且需要长期维护代码,保证稳定性和性能。

那么问题来了,是否有一类产品,能够兼顾易用性、大容量、低成本,既支持高并发低延迟OLTP业务,又支持海量数据的OLAP业务,一站解决这些问题呢?本文将介绍阿里云HTAP数据库HybridDB for MySQL,为用户解决海量数据处理的问题。

阿里云HTAP数据库HybridDB for MySQL

HTAP数据库是数据库专业评级机构Gartner提出的新数据库象限,指能够同时支持OLTP和OLAP业务的分布式数据库,典型的产品如,国外的SAP Hana和Oracle RAC,阿里云自研的HybridDB for MySQL等。

1.建设初衷和设计思路

HTAP数据库是数据库专业评级机构Gartner提出的新数据库象限,指能够同时支持OLTP和OLAP业务的分布式数据库,典型的产品如,国外的SAP Hana和Oracle RAC,阿里云自研的HybridDB for MySQL等。

在过去的几年,阿里云出现了大量的全链路监控分析类需求,包括监测物理机的资源消耗、网络的流量延迟、业务实例的内部统计,多维聚合分析各类监控数据并找出全链路异常,找出具体问题进行自动化运维等。在选型数据库时考虑到了这些问题:

  1. 数据总量大,日新增数据量大:单个业务每日新增各类统计数据,从2T-20T不等,数据保存至少30天,总量百T甚至上P;
  2. 访问并发大:数据库总连接在数百到数万不等,并发活跃连接在数百到数千不等;
  3. 响应延迟低,支持update批量数据:写入延迟不得超过秒级,部分业务需要update批量数据,以支持多轮迭代分析;
  4. 支持多维度检索和复杂分析:支持从不同维度查询数据,且各维度查询均不得超过秒级,同时要支持各类复杂的分析类需求,分析类sql支持范围覆盖tpc-h、tpc-ds等,分析类查询时间范围在秒级到小时级;
  5. 数据自动过期:用户设定一个数据保留的时间范围,数据库可以自动帮助用户清理;
  6. 在线扩容:数据库可随数据总量规模扩大而扩容,以承载更大规模的业务;
  7. 使用简便:用户可以使用SQL接口,无需额外写计算代码;无需关心数据备份等运维问题,监控告警系统完善;数据操纵、数据导入等生态周边齐全,支持常用的网络链路类型;
  8. 成本:数据库有低成本方案,支持冷数据以更低成本存储;

在这些苛刻的需求下,使得我们无法选择kv类存储引擎,因为在非主键类查询场景下,必须扫描全库数据,这导致查询完全不可用;也无法选择mr类计算引擎,因为其单次查询延迟过高,无法用在高并发业务场景中。RDS团队决定自己动手,自研一个数据库,以解决同类问题。

pic

HTAP数据库的技术思路,是将链路、存储、计算完全分离,且各个组件均允许水平扩容,存储分区间无共享,一份存储数据,扩容时无需搬动全局数据,精细地对每一类业务场景的SQL设计执行链路,以保证低延迟和高吞吐,各个组件的硬件容器可以替换,从而保证高性能和低成本可以兼得。用户只需要利用MySQL的各类连接器和客户端,如jdbc、navicat等,就可以直接使用和访问数据库,兼容用户的各类使用习惯。2.HTAP数据库云化服务

经历数年的成长,HybridDB for MySQL先后服务了集团内外的多个用户,包括RDS、SLB、CDN、菜鸟、安全等团队,日新增数据数百T,存量数据数P。

在公有云上,HybridDB for MySQL已经积累了大量的云服务接口,与RDS和传统解决方案对比起来:

pic

此外,HybridDB for MySQL也在努力补齐其他云服务功能,以对齐RDS for MySQL,支持常用的数据操纵平台,如DMS等,支持常用的数据迁移平台,如DTS、CDP等。

HTAP数据库在阿里云的最佳实践

随着互联网DT时代的高速发展,业界需要简单高效的数据处理方式在海量数据中挖掘价值,企业厂商和开源界目前较流行的的做法,是提供支持类SQL接口的数据库服务,或者是提供SDK接口的数据处理平台服务。

1.典型应用和架构

HybridDB for MySQL的一个典型应用,是在阿里云全链路大盘业务中,该业务涉及了阿里云多个核心产品的数据汇总分析、多维处理,引用该案例,可以介绍HTAP数据库的最佳实践。

pic

上图中体现了HybridDB for MySQL的几个典型应用:

  1. 作为分布式数据库,承接第一手数据写入和更新事务,保证数据的完整性,并为各类外部查询业务,提供不同层面的查询支持,包括高并发多维在线查询、数据报表、复杂分析等;
  2. 作为数据仓库,将HybridDB for MySQL内的数据进行二次加工,以支持ETL类业务;
  3. 作为更大规模数据处理系统(如odps)的数据缓存,利用数据交换工具工具,将外部数据源的数据汇总到HybridDB for MySQL中,以支持活跃数据的存储和计算;
  4. 作为各个子系统的数据总线,利用数据交换工具工具,将数据过滤导出到各个子系统中,以帮助这些专项子系统对数据进一步处理; 接下来将逐步介绍HybridDB for MySQL在这些应用场景的最佳实践。

2.实时写入、实时多维查询、实时分析

支持实时、高并发、低延迟类大数据业务,是HybridDB for MySQL的杀手锏,整套系统,仅有一份数据,既可保证在线业务的数据,具备事务特性,又可支持超越传统数据库的分析函数、计算语法等。

在阿里云全链路大盘中,包括RDS、SLB、CDN等产品的原始性能数据(如主机cpu、iops,业务实例qps、副本延迟,全局网络延迟等),需要实时汇总到中心HybridDB for MySQL数据库中,而这些数据在storm、flink、galaxy等流计算平台进行聚合分析(如每个时间窗口的统计量加和、join、开窗分组等),产生的分析结果,也将汇入相同的HybridDB for MySQL数据库中,单个业务产生的性能数据,常常达到每秒数百万条,并发活跃连接常常达到数百条甚至上千条。而这些原始数据和流式分析结果,也需要支持实时、多维度的呈现在用户面前,有的分析结果用于人工排查问题;有的分析结果则可以直接触发报警;有的分析结果可以指导自动化运维,如数据迁移等;有的分析结果可以用于指导产品运营状况、用户画像等。

pic

RDS数据分析系统是这类业务的翘楚,并引领了一股实时写入、实时分析的风潮,帮助RDS大幅改善了运维体验,提升了整个RDS的稳定性,发现和解决问题的周期,由过去的月、周级,减少到了现在的天、小时级,且有进一步提升的趋势。

3.批处理ETL

有些计算场景下,单次流计算并不能解决所有问题,一些较复杂的业务场景,比如参照大量的历史数据、外部数据源数据,进行级联事件分析(如全链路大盘参考ECS、SLB等产品的性能数据,挖掘RDS在过去一个月内的链路延迟状况)、事件回放,这类计算业务,则依赖HybridDB for MySQL已经存储的历史数据和外部数据源的数据进行综合计算,此时需要批量数据的ETL,重新抽取各个数据源的历史数据,进行再次计算。

在HybridDB for MySQL中,ETL则简化为了一类SQL语句模式:Insert into … Select …,这类语句,从HybridDB for MySQL的各个数据表中抽取数据,进行复杂计算,并将计算结果持久化下来,以便用户的多次访问。ETL功能可以令HybridDB for MySQL形成数据闭环,进一步降低用户导数据的开销和复杂度。

pic

HybridDB for MySQL的ETL功能预计6月初上线,阿里云部分云产品的数据分析系统正在试用该功能。

4.实时数据总线

在HybridDB for MySQL不能解决所有大数据问题时,用户还可以将HybridDB for MySQL当做数据总线,利用数据交换工具(如DTS、CDP等),将数据导出到其它数据存储和计算系统上,从而发挥数据更大的价值。

pic

从HybridDB for MySQL导出数据,可以有不同的目的,包括:导入到大数据计算存储平台(如ODPS、OSS),用于存储更长期限的历史数据,在需要时,亦可导回HybridDB for MySQL计算;导入到队列(如loghub、kafka),以供用户自己的消息总线播散数据,并级联到其它系统上;导入到RDS,以供用户在RDS生态下,继续扩展数据业务。

用HybridDB for MySQL充当数据总线的业务,以公有云用户居多,这些用户同时使用了阿里云的多套产品,组合出复杂的业务网,为了降低系统间的耦合性和成本,通常选择HybridDB for MySQL,既充当一级数据存储和计算系统,又充当二级数据总线,串联起其他的服务端。

5.实时数据缓存

凭借强大的存储和计算带宽,HybridDB for MySQL还可作为外部数据源的实时分布式数据缓存,利用数据交换工具(如DTS、CDP等),从其它数据存储和计算系统上,将数据导入到HybridDB for MySQL,可以帮助这些系统具备海量数据的实时处理能力。

pic

用HybridDB for MySQL充当数据总线的业务,以搜索类、日志类用户居多,这类用户期望在大数据存储和计算平台上的数据(如ODPS)也能有实时查询的能力,或者期望暂存数据系统(如loghub、kafka)能够支持多维数据检索,又或者期望小型数据库(如RDS)能够存储更多的历史数据,HybridDB for MySQL便很好的弥补了这些系统的缺憾,从而与这些系统共同提升和改进。

后记

HybridDB for MySQL依靠实时、高并发、低延迟的特性,已经应用在集团内外数十个企业级业务中,随着生态和功能越来越完善,HybridDB for MySQL将能承载更多的业务类型,帮助用户在DT时代快速发展。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
再次搞定 Ali 云函数计算 FC
原本早就该写完了微信 SDK 授权服务上云计划由于对 Ali 云函数计算 FC 的不熟悉遇到了很多的坑,再前面的文章中还吐槽了一通。在服务顺利跑通后,这回实打实的来总结一下顺利上云的保守指南~
22837 0
特稿|过去5年,阿里云是如何打造云原生数据库PolarDB的
阿里云在云原生数据库领域的自研创新突围。
23384 0
如何优雅的消除系统重复代码
在程序猿的日常工作中,不仅要跟随业务侧的发展不断开发新的需求,同时也需要维护老的已有平台。无论是开发新需求还是维护老系统,我们都会遇到同样一个问题,系统中总是充斥着很多重复的代码。
23795 0
初识Serverless函数计算
Serverless 并不是没有服务器,而是开发者不再需要关心服务器。在传统 Serverful 架构下,部署一个应用需要购买服务器,部署操作系统,搭建开发环境,编写代码,构建应用,部署应用,配置负载均衡机制,搭建日志分析与监控系统,应用上线后,继续监控应用的运行情况。而在 Serverless 架构下,开发者只需要关注应用的开发构建和部署,无需关心服务器相关操作与运维,在函数计算架构下,开发者只需要编写业务代码并监控业务运行情况。这将开发者从繁重的运维工作中解放出来,把精力投入到更有意义的业务开发上。
24125 0
【AI征文】对DeepRec认识以及了解
对DeepRec认识以及了解
57460 0
Tensorflow Serving部署模型与调用
本文以mnist为数据集,使用keras 构建CNN网络,将训练获取的模型通过Tensorflow Serving方式部署提供Rest Full接口,分别使用PostMan和Python调用服务,代码编辑调试使用阿里云PAI DSW实例,模型部署使用阿里云ECS虚拟机。
6025 0
业务中台之上的低代码应用开发平台
中台低代码平台帮助开发者掌握全栈能力,促进开发者提高工作效率,基于企业数字化业务能力组件,可以实现业务应用的敏捷按需装配,成为企业组装式应用创新平台,进而实现企业业务能力的持续优化和复用,促进从组织到企业甚至行业的业务能力集约与创新。
100824 0
十分钟生成影视级室内设计效果,红星美凯龙设计云如何升级传统家居行业
依托于阿里云强大的弹性云上GPU算力,红星美凯龙可以为客户提供快速的、高质量的渲染,实现秒级的门店快速设计。
65927 0
+关注
技术小能手
云栖运营小编~
7194
文章
9
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载