MySQL用户如何构建实时数仓

简介: 依托数据库生态,AnalyticDB for MySQL可以给用户提供分析场景下的标准解决方案,尤其是在大数据和性能要求较高的情况下AnalyticDB for MySQL的价值可以更好的体现。

依托数据库生态,AnalyticDB for MySQL可以给用户提供分析场景下的标准解决方案,尤其是在大数据和性能要求较高的情况下AnalyticDB for MySQL的价值可以更好的体现。

MySQL用户为什么要单独构建数据仓库

为什么要单独构建数据仓库,而不是直接在MySQL数据库上运行分析查询?这个问题我上面文章提到过,为了回答这个问题,我们先来看下数据仓库与OLTP数据库之间的差别。数据仓库主要是针对批量写入和大量数据的读取操作,而OLTP数据库是针对持续写入操作以及大量的小规模读取操作。通常,数据仓库会因较高的数据吞吐量要求而使用非规范化模型,如星型模型和雪花模型。星型架构包含多个引用大量维度表的大型事实数据表。雪花型架构是星型架构的扩展,包含更加规范化的维度表。而OLTP数据库则使用高度规范化的模型,更适合高事务吞吐量的要求,对于复杂查询的性能很难满足用户要求。

规范化操作是一定要把分析查询拆分到数据仓库中,达到“臃肿”状态时再构建数据仓库是会付出迁移成本。直接在MySQL数据库上运行分析查询的缺点总结为:

  1. 很容易影响在线业务,只读实例扩展难,无法做到实时分析;
  2. 每月新增数据比较大情况下,需要定期手动做分库操作,从多个库检索数据进行分析,查询性能无法满足需求;
  3. 把数据统一抽取到大数据平台,技术门槛高,改造难度大耗时长。

什么是AnalyticDB for MySQL

几年前阿里云就意识到实时数据仓库的必要性,2015年AnalyticDB for MySQL肩负着阿里云实时数据仓库的使命上线公共云。AnalyticDB for MySQL是阿里云上唯一经过核心业务和超大数据量验证的实时数据仓库,其稳定性、规模性和性能是不容置疑的。AnalyticDB for MySQL是全球最快的数据仓库。全球最知名的数据管理系统评测标准化TPC组织公布了数据库领域分析性能基准测试最新排名:阿里云自研超大规模分析型数据库AnalyticDB正式荣登榜首,成为全球第一家通过TPC第三方严格审计认证的云上数仓产品。

AnalyticDB采用行列混存MPP技术,突破OLTP和传统数据仓库技术壁垒,最大优势是可以构建PB数据量下高性能和经济实用的数据仓库。全面兼容MySQL协议以及SQL:2003 语法标准,用户只需对现有业务进行少量更改,甚至不需要进行任何更改,即可把业务全部迁移到AnalyticDB for MySQL上来。因此,它已成为当今企业构建数据仓库和OLAP系统的理想选择。

解决方案架构图

架构简单,组件少,效率高。只需通过DTS把MySQL业务库数据实时同步到AnalyticDB for MySQL中,数据在AnalyticDB for MySQL实时数据仓库中进行加工处理和计算。

image

解决方案优势

  1. 实时性
    AnalyticDB for MySQL同时具有计算的实时性(计算在用户查询时发生,查询速度快,毫秒级返回)和数据的实时性(数据产生插入数仓后马上就可以查询到);
  2. 低成本和易扩展
    单节点最低1.30/小时,作为云上企业级数据仓库还易扩展的特性,高峰期实现秒级扩容。
  3. 简单易用
    全量+增量自动同步,数据入库简单、安全可靠;
  4. 高度兼容
    完全兼容MySQL,用户无须修改SQL,迁移成本极低;
  5. 生态丰富
    兼容常用BI、ETL和客户端工具,完备适配用户场景。

AnalyticDB for MySQL 典型应用场景

image

AnalyticDB for MySQL客户案例

递四方构建物流行业实时数仓

image

无他相机移动APP运营平台

image

写在最后

相比于大数据方案构建数仓,AnalyticDB for MySQL除了在实时性上有绝对优势外,使用简单也是不可或缺的优势。无需要储备大数据人才,数据库团队即可轻松玩转实时数据仓库,帮助公司节约至少百万成本。 AnalyticDB for MySQL 1元购活动正在火热进行中,限时续费包月八折,包年七折。你还等什么,赶紧来试用吧!

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
1月前
|
关系型数据库 MySQL Apache
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
292 2
|
1月前
|
SQL 存储 关系型数据库
轻松入门MySQL:数据库关联与多表查询,构建高效的业务决策引擎(6)
轻松入门MySQL:数据库关联与多表查询,构建高效的业务决策引擎(6)
|
1月前
|
监控 关系型数据库 MySQL
轻松入门MySQL:主键设计的智慧,构建高效数据库的三种策略解析(5)
轻松入门MySQL:主键设计的智慧,构建高效数据库的三种策略解析(5)
|
16天前
|
分布式计算 DataWorks 关系型数据库
实时数仓 Hologres产品使用合集之如何将MySQL数据初始化到分区表中
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
1月前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之ADB MySQL湖仓版和 StarRocks 的使用场景区别,或者 ADB 对比 StarRocks 的优劣势
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
1月前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之如何使用ADB MySQL湖仓版声纹特征提取服务
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
15天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库AnalyticDB产品使用合集之如何修改云ADB MySQL版的默认LIMIT
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
52 21
|
7天前
|
数据采集 分布式计算 大数据
森马基于MaxCompute+Hologres+DataWorks构建数据中台
本次案例主要分享森马集团面对多年自建的多套数仓产品体系,通过阿里云MaxCompute+Hologres+DataWorks统一数仓平台,保障数据生产稳定性与数据质量,减少ETL链路及计算时间,每年数仓整体费用从300多万降到180万。
|
15天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库AnalyticDB产品使用合集之是否支持mysql_fdw 和clickhousedb_fdw外部数据包装器
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
111 4
|
1月前
|
SQL 存储 关系型数据库
实时数仓 Hologres产品使用合集之有没有MySQL那样的AUTOINCREMENT字段来实现自增ID功能
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
117 5

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版