加速查询MaxCompute再对接Quick BI,选交互式分析就对了!

简介: 典型离线大数据场景上,MaxCompute一直占据着不可撼动的地位,但由于其架构原因,当数据量很大时,查询速度较慢,不满足业务场景的ad-hoc查询。目前常用的加速方案是使用其他数据库来将MaxCompute数据加速查询,于是,选择一个怎样的数据库成为业务关注的重点。

导读

典型离线大数据场景上,MaxCompute一直占据着不可撼动的地位,但由于其架构原因,当数据量很大时,查询速度较慢,不满足业务场景的ad-hoc查询。目前常用的加速方案是使用其他数据库来将MaxCompute数据加速查询,于是,选择一个怎样的数据库成为业务关注的重点。
所选择的数据库不仅需要能够快速查询MaxCompute中的数据,满足业务的即席查询需求,也需要有存储、计算能力,面对不同的业务要求,能支持多种查询需求,更重要的是,不能出现数据的冗余存储,操作也要简便,方便运维、开发。同时,业务的完整链路通常是会将处理好的数据对接第三方BI工具,进行可视化分析,这对数据库的兼容能力又进一步提出需求。所以选择什么样的数据库更好呢?交互式分析告诉你答案!

为什么选择交互式分析?

1.从产品定义上来说,交互式分析不能视为数据库,而是一款大数据生态体系下的实时交互产品。
2.从架构上来说,采用存储、计算分离的架构,同时支持简单查询与复杂SQL查询,能实现PB级数据秒级查询响应,每秒亿级记录写入与查询,相比开源系统性能大幅提升。
3.从产品功能上来说:
1)生态兼容:既支持直接、导入查询MaxCompute离线数据,也支持实时数据实时写入实时查询,还能对离线数据和实时数据做联邦查询,完美满足各种业务场景的即席查询。
2)兼容PostgreSQL协议:用标准的SQL语言就能开发,无需额外的学习成本;同时还提供JDBC/ODBC接口,支持对接各种BI工具,无需数据迁移就能实现可视化分析。
3)与DataWorks深度集成:自研的开发平台HoloStudio深度集成在DataWorks上,提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具,简单易用,节约学习成本和时间成本。
综上所诉,加速查询MaxCompute离线数据,使用交互式分析是您的不二选择。

场景演示

下面,小编将会做场景演示,如何使用交互式分析查询MaxCompute数据并最终在Quick BI上可视化分析展现。
开发平台:MaxCompute、交互式分析(都基于DataWorks完成)、Quick BI
场景过程:MaxCompute产生数据源,交互式分析直接、导入查询MaxCompute数据,并对接Quick BI可视化展现。

前提条件

1.开通MaxCompute、交互式分析,并绑定至DataWorks项目空间。
2.开通Quick BI

1.MaxCompute准备数据源

本示例会演示交互式分析直接、导入查询两种场景,所以需要准备2张源表。
在Dataworks中新建2张表,或者直接选取数据地图中的2张表,示例选用数据地图中的两张MaxCompute表。
表1:airline
image.png
表2:bank_data
image.png

2.交互式分析查询MaxCompute数据。

在HoloStudio中查询MaxCompute数据,分为直接查询和导入查询。2者的区别在于:直接查询的数据巨仍然存储在MaxCompute,使用于一次query小于100GB的场景。导入查询的数据最终存储在交互式分析中。

1)对于表1:airline,在HoloStudio中新建外部表直接加速查询,最终数据如下:
image.png
关于直接加速查询MaxCompute表数据可以参见往期:在吗?0代码加速查询MaxCompute

2)对于表2:bank_data导入查询,最终数据如下:
image.png
关于导入查询MaxCmpute表数据,可以参见往期:来了,2行代码秒级查询MaxCompute!


3.Quick BI可视化分析

在交互式分析中对MaxCompute数据加速查询成功后,可以直接对接Quick BI,实现数据的可视化分析。在阿里云官网找到Quick BI并进入Quick BI控制台。并在控制台新增数据源,选用PostgreSQL数据源。
image.png
image.png

配置项 说明
显示名称 自定义
数据库地址 连接的交互式分析数据库公共网络地址
端口 连接的交互式分析数据公共网络端口地址
Schema public(默认)
用户名 当前账号的的Access ID
密码 当前账号的Access Key
vpc数据源 不勾选
SSL 不勾选

1)可视化交互式分析外部表
Quick BI成功连接交互式分析后,不会在数据表列表中显示外部表,若要可视化分析外部表,需要选用即席分析SQL模式。输入查询SQL,并单击执行,得到查询数据后,单击创建数据集。
image.png
在数据集可以看到外部表,可以根据业务需要在右侧选择分析功能。例如仪表盘
image.png
按照查看数据维度来对数据进行展现,并根据个人喜好美化插件,最终展现如下:
image.png

2)可视化分析交互式分析内部表
在Quick BI中,连接成功数据源之后,即可在界面上显示出当前数据源的内部表,需要可视化分析需要单击右侧生成数据集
image.png
生成的数据集如下,对数据集新建仪表盘进行可视化分析。
image.png
最终的简易分析图表如下,可以根据分析维度自行对数据进行拖拽,简单方便。
image.png
以上操作为完整的使用交互式分析加速查询MaxCompute数据 再对接Quick BI可视化分析,无需多次导数据,也无需数据的多次迁移,用一套sql语言,就能实现从数据源-数据处理-数据可视化分析的完整链路。同时在查询性能上,还能实现秒级交互式响应,真正适用与即席查询、olap等场景。还等什么,赶紧用交互式分析吧!
若您在使用交互式分析中有任何疑问,欢迎进钉钉群交流
image.png

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
453 2
|
SQL 大数据 数据挖掘
玩转大数据:从零开始掌握SQL查询基础
玩转大数据:从零开始掌握SQL查询基础
553 35
|
SQL 分布式计算 数据挖掘
阿里云 MaxCompute MaxQA 开启公测,公测可申请 100CU 计算资源解锁近实时高效查询体验
阿里云云原生大数据计算服务 MaxCompute 推出 MaxQA(原 MCQA2.0)查询加速功能,在独享的查询加速资源池的基础上,对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化,显著减少了查询响应时间,适用于 BI 场景、交互式分析以及近实时数仓等对延迟要求高且稳定的场景。现正式开启公测,公测期间可申请100CU(价值15000元)计算资源用于测试,欢迎广大开发者及企业用户参与,解锁高效查询体验!
阿里云 MaxCompute MaxQA 开启公测,公测可申请 100CU 计算资源解锁近实时高效查询体验
|
负载均衡 大数据
大数据散列分区查询频率
大数据散列分区查询频率
246 5
|
存储 大数据 数据管理
大数据分区提高查询性能
大数据分区提高查询性能
459 2
|
存储 负载均衡 大数据
大数据水平分区提高查询性能
【11月更文挑战第2天】
340 4
|
存储 分布式计算 安全
MaxCompute Bloomfilter index 在蚂蚁安全溯源场景大规模点查询的最佳实践
MaxCompute 在11月最新版本中全新上线了 Bloomfilter index 能力,针对大规模数据点查场景,支持更细粒度的数据裁剪,减少查询过程中不必要的数据扫描,从而提高整体的查询效率和性能。
|
11月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
658 14
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
434 4
|
12月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1098 0