MySQL用户如何构建实时数仓

本文涉及的产品
云原生数据仓库 ADB PostgreSQL,4核16G 50GB 1个月
简介: 依托数据库生态,AnalyticDB for MySQL可以给用户提供分析场景下的标准解决方案,尤其是在大数据和性能要求较高的情况下AnalyticDB for MySQL的价值可以更好的体现。
+关注继续查看

依托数据库生态,AnalyticDB for MySQL可以给用户提供分析场景下的标准解决方案,尤其是在大数据和性能要求较高的情况下AnalyticDB for MySQL的价值可以更好的体现。

MySQL用户为什么要单独构建数据仓库

为什么要单独构建数据仓库,而不是直接在MySQL数据库上运行分析查询?这个问题我上面文章提到过,为了回答这个问题,我们先来看下数据仓库与OLTP数据库之间的差别。数据仓库主要是针对批量写入和大量数据的读取操作,而OLTP数据库是针对持续写入操作以及大量的小规模读取操作。通常,数据仓库会因较高的数据吞吐量要求而使用非规范化模型,如星型模型和雪花模型。星型架构包含多个引用大量维度表的大型事实数据表。雪花型架构是星型架构的扩展,包含更加规范化的维度表。而OLTP数据库则使用高度规范化的模型,更适合高事务吞吐量的要求,对于复杂查询的性能很难满足用户要求。

规范化操作是一定要把分析查询拆分到数据仓库中,达到“臃肿”状态时再构建数据仓库是会付出迁移成本。直接在MySQL数据库上运行分析查询的缺点总结为:

  1. 很容易影响在线业务,只读实例扩展难,无法做到实时分析;
  2. 每月新增数据比较大情况下,需要定期手动做分库操作,从多个库检索数据进行分析,查询性能无法满足需求;
  3. 把数据统一抽取到大数据平台,技术门槛高,改造难度大耗时长。

什么是AnalyticDB for MySQL

几年前阿里云就意识到实时数据仓库的必要性,2015年AnalyticDB for MySQL肩负着阿里云实时数据仓库的使命上线公共云。AnalyticDB for MySQL是阿里云上唯一经过核心业务和超大数据量验证的实时数据仓库,其稳定性、规模性和性能是不容置疑的。AnalyticDB for MySQL是全球最快的数据仓库。全球最知名的数据管理系统评测标准化TPC组织公布了数据库领域分析性能基准测试最新排名:阿里云自研超大规模分析型数据库AnalyticDB正式荣登榜首,成为全球第一家通过TPC第三方严格审计认证的云上数仓产品。

AnalyticDB采用行列混存MPP技术,突破OLTP和传统数据仓库技术壁垒,最大优势是可以构建PB数据量下高性能和经济实用的数据仓库。全面兼容MySQL协议以及SQL:2003 语法标准,用户只需对现有业务进行少量更改,甚至不需要进行任何更改,即可把业务全部迁移到AnalyticDB for MySQL上来。因此,它已成为当今企业构建数据仓库和OLAP系统的理想选择。

解决方案架构图

架构简单,组件少,效率高。只需通过DTS把MySQL业务库数据实时同步到AnalyticDB for MySQL中,数据在AnalyticDB for MySQL实时数据仓库中进行加工处理和计算。

image

解决方案优势

  1. 实时性
    AnalyticDB for MySQL同时具有计算的实时性(计算在用户查询时发生,查询速度快,毫秒级返回)和数据的实时性(数据产生插入数仓后马上就可以查询到);
  2. 低成本和易扩展
    单节点最低1.30/小时,作为云上企业级数据仓库还易扩展的特性,高峰期实现秒级扩容。
  3. 简单易用
    全量+增量自动同步,数据入库简单、安全可靠;
  4. 高度兼容
    完全兼容MySQL,用户无须修改SQL,迁移成本极低;
  5. 生态丰富
    兼容常用BI、ETL和客户端工具,完备适配用户场景。

AnalyticDB for MySQL 典型应用场景

image

AnalyticDB for MySQL客户案例

递四方构建物流行业实时数仓

image

无他相机移动APP运营平台

image

写在最后

相比于大数据方案构建数仓,AnalyticDB for MySQL除了在实时性上有绝对优势外,使用简单也是不可或缺的优势。无需要储备大数据人才,数据库团队即可轻松玩转实时数据仓库,帮助公司节约至少百万成本。 AnalyticDB for MySQL 1元购活动正在火热进行中,限时续费包月八折,包年七折。你还等什么,赶紧来试用吧!

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
存储 缓存 Cloud Native
|
消息中间件 分布式计算 监控
Flume+Kafka+Spark Streaming+MySQL实时日志分析
网络发展迅速的时代,越来越多人通过网络获取跟多的信息或通过网络作一番自己的事业,当投身于搭建属于自己的网站、APP或小程序时会发现,经过一段时间经营和维护发现浏览量和用户数量的增长速度始终没有提升。在对其进行设计改造时无从下手,当在不了解用户的浏览喜欢和个用户群体的喜好。虽然服务器日志中明确的记载了用户访浏览的喜好但是通过普通方式很难从大量的日志中及时有效的筛选出优质信息。Spark Streaming是一个实时的流计算框架,该技术可以对数据进行实时快速的分析,通过与Flume、Kafka的结合能够做到近乎零延迟的数据统计分析。
196 0
Flume+Kafka+Spark Streaming+MySQL实时日志分析
|
消息中间件 SQL JSON
FlinkSQL 实时采集Kafka内容到MySQL(实战记录)
最近在做实时采集Kafka发布的内容到MySQL,本文记录一下关键的点,细节不再描述,希望能帮助到大家。
610 0
FlinkSQL 实时采集Kafka内容到MySQL(实战记录)
|
SQL 弹性计算 关系型数据库
实验报告: PolarDB MySQL HTAP:实时数据分析加速
实验过程中忽略了在PolarDB mysql集群设置时开启行存/列存自动引流功能,发现开启这个功能后,如果会话use_imci_engine变量设置为off,单表分析的查询要慢不少。
467 0
实验报告: PolarDB MySQL HTAP:实时数据分析加速
|
关系型数据库 MySQL 数据挖掘
使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris
本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。
2841 0
使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris
|
关系型数据库 MySQL Java
Flink Mysql CDC结合Doris flink connector实现数据实时入库
Flink Mysql CDC结合Doris flink connector实现数据实时入库,Apache doris通过扩展支持通过 Flink 读写 doris 数仓中的数据表。
545 0
Flink Mysql CDC结合Doris flink connector实现数据实时入库
|
关系型数据库 MySQL Java
Flink Mysql CDC结合Doris flink connector实现数据实时入库
Apache doris通过扩展支持通过 Flink 读写 doris 数仓中的数据表,目前 doris 支持 Flink 1.11.x ,1.12.x,1.13.x,Scala版本:2.12.x目前Flink doris connector目前控制入库通过两个参数:1. sink.batch.size :每多少条写入一次,默认100条2. sink.batch.interval :每个多少秒写入一下,默认1秒这两参数同时起作用,那个条件先到就触发写doris表操作。
607 0
|
消息中间件 NoSQL 前端开发
实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
最近有个需求,实时统计pv,uv,结果按照date,hour,pv,uv来展示,按天统计,第二天重新统计,当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。
279 0
实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
|
canal 消息中间件 存储
手把手告诉你如何监听 MySQL binlog 实现数据变化后的实时通知!
Hello 大家好,我是阿粉。不知道大家在日常的工作中有没有遇到这样的场景,很多时候业务数据有变更需要及时加载到缓存、ES 或者发送到消息队列中通知下游服务。
2971 0
手把手告诉你如何监听 MySQL binlog 实现数据变化后的实时通知!
|
SQL 编解码 并行计算
PG+MySQL第9课-实时精准营销
通常业务场景会涉及基于标签条件圈选目标客户、基于用户特征值扩选相似人群、群体用户画像分析这些技术,本文将围绕这三个场景去介绍在实施精准营销里面的PG数据库的使用
PG+MySQL第9课-实时精准营销
相关产品
云原生数据仓库AnalyticDB MySQL版
云原生数据仓库 AnalyticDB PostgreSQL版
推荐文章
更多