1. 产品简介
云原生数据仓库AnalyticDB MySQL版(ADB MySQL)是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。支持高吞吐的数据实时增删改、低延时的实时分析和复杂ETL,兼容上下游生态工具,可用于构建企业级报表系统、数据仓库和数据服务引擎。云原生数据库也包括PolarDB。
云原生可以从两个方面进行介绍:云和原生。随着云计算的发展,应用上云已是趋势;所谓原生是指系统在设计之初使用了云的技术架构。云原生系统的优势是利用云计算的分布式和弹性能力。
云原生数据仓库AnalyticDB MySQL版有以下特点:
• 兼容MySQL&超越MySQL:Mysql兼容99%;ANSI SQL:2013复杂分析支持。
• 完美的生态:支持20多种BI工具和OLTP与NoSQL无缝实时同步,包括RDS、PolarDB。
• 存储计算分离架构提供极致性价比:云原生中采用存储计算分离架构可以为用户提供弹性及更好的性价比。
• 一套存储支持实时写入、点查、多维分析多场景的混合负载。
• 完备的企业级特性:具有备份、Flashback、回收站、审计、自建账号VPC功能。
• MPP与DAG融合计算引擎实现数据库与大数据一体化:CBO与CodeGen、智能混合负载实现离线一体化,AI扩展与向量检索实现结构化/非结构化数据联合分析。
2. 产品定位
云原生数据仓库AnalyticDB MySQL版为企业级客户提供数据处理ETL、实时在线分析、核心报表、大屏和监控能力,提供稳定的离线和在线数据服务。
• 事务数据库(RDS/MYSQL/ORACLE)特点:数据量小于1TB的事务为主,使用成本为分析类功能不齐全,超过1TB分析性能慢。
• AnalyticDB for MySQL特点:数据量1T-10PB,使用成本包括SQL数据库习惯,支持数据实时传输且高并发。
• 大数据系统(Hadoop/Spark)特点:数据量大于10PB,使用成本包括部署复杂、使用成本高,不支持数据实时传输且并发低。
问题
• 事务数据库用户,数据小于1TB,分析功能和性能无法满足。
• 中小传统企业,数据量小于10PB,大数据部署成本高,使用复杂。
• 互联网数据类产品,例如电商卖家数据大盘等,要求高并发。
AnalyticDB MySQL版定位:简单易用的PB级实时数据仓库,可以满足以上需求。
3. 产品特点与优势
AnalyticDB for MySQL是新一代高性能、高可用,高性价比的企业级云原生数据仓库,有如下四个特点:
• 资源弹性:采用存储计算分离架构,支持存储计算资源在线扩缩容,支持BG到PB数据规模实时计算。
• 高性能:支持海量数据毫秒/秒级实时多维分析查询,支持数据实时高并发写入,数据实时更新立即可见。
• 低成本:支持资源分时弹性、冷热数据分层、资源组隔离等功能,计算资源和存储资源成本大幅降低。支持按量计费,单GB存储成本低至0.144元/月。
• 高可用:采用分布式技术架构,保障服务稳定高可用运行;通过阿里云云盘多副本机制实现数据可靠性保证。
4. 产品核心功能
1) 分时弹性
支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本。
• 白天查询业务高峰:白天工作高峰期,准时弹出计算资源,让业务查询更快,提高应用体验。
• 晚上ETL计算高峰:晚上ETL高峰期,准时弹出计算资源,让ETL计算任务稳定运行,低峰期准时释放,降低资源成本。
如下图,在上午8:30至11:30为业务高峰期,此时的负载为70%,QPS为400,响应时间为440ms,通过分时弹性,在业务高峰期将计算资源进行扩容,由原来的64core扩容至256core,来保障业务高峰期的平稳运行。在业务低峰期准时释放资源,降低资源使用成本。
2) 冷热数据分层
支持数据在表和分区级别分为热数据和冷数据,热数据存储在高性能介质,加快查询计算速度;冷数据存储在便宜的HDD介质上,节约存储成本。
• 冷热数据设置:在建表语句中设置表和分区的冷热属性,数据分别写入到对应的介质。
• 冷热数据切换:可以随时修改表和分区的冷热属性,系统自动进行数据搬迁。