让你的QuickBI报表快起来: 使用DLA Presto来无缝加速

简介: QuickBI提供了通过DLA Presto加速MaxCompute查询的功能,在TPCH测试中,查询的性能提升最小的1倍多,最大的8倍多,让您的报表飞起来 :)

Quick BI是专为云上用户量身打造的新一代智能BI服务平台, 提供海量数据实时在线分析服务,支持拖拽式操作、提供了丰富的可视化效果。QuickBI提供了通过DLA加速MaxCompute查询的功能,当报表基于MaxCompute 数据源创建时,您可以在Quick BI上配置DLA加速引擎,通过DLA Presto为MaxCompute 数据源加速,从而节约报表的查询时间,提升用户体验。

关于加速的效果,我们专门针对TPCH数据集做了测试,TPCH一共22条SQL中,查询的特征是偏IO密集型的SQL(17条)都有加速效果,加速效果从最小的1.x倍,到最大的8.x倍,比如提升倍数最大的Q12 111.6s -> 13s,大大提高了体验。

为了方便大家体验这个加速功能,咱们在文章末尾准备了一个免费试用的活动,欢迎大家试用。

原理

开启查询加速后,QuickBI会在DLA中创建MaxCompute的表,当用户查看报表时,QuickBI会同时向MaxCompute和DLA发起查询,如果DLA先返回结果,就会使用DLA的查询结果,从而达到查询加速的效果。

在DLA中会对MaxCompute的数据、分区等信息进行缓存。如果一个查询依赖的数据存在于缓存中且缓存有效(MaxCompute中没有进行过更新操作,因此MaxCompute中的数据和缓存一致),则直接读取缓存的数据,否则从MaxCompute读取数据。这样DLA总是能返回最新的数据,并且在对MaxCompute中同样的数据进行多次查询时,会起到加速的效果。

DLA对MaxCompute的查询加速不仅限于来自QuickBI的查询,直接通过DLA查询MaxCompute数据源也可以享受到查询加速的效果。

加速效果

我们通过一个测试来验证DLA查询加速的效果。
数据源:向MaxCompute导入TPCH-100GB的数据。最大的两个表 lineitem 6亿行左右。orders 1.5亿行。lineitem表按照l_shipdate分区,分区数2000+,orders表按照o_orderdate分区,分区数2000+。其他表仍然不分区。
测试SQL:TPCH的22条SQL(其中Q20 ODPS报错跑不出来)。
测试方法:分别在MaxCompute中直接执行SQL,和通过DLA64核256GB的CU执行SQL,比较延时。
测试结果
DLA中有加速效果的查询如下:

dla-odps-boost-marked.png

这张图的纵轴是查询的运行时间,单位是毫秒,横轴是所有运行的查询。可以看出TPCH一共22条SQL中,绝大部分有加速的效果,这些查询的特征是偏IO密集型的,加速效果从最小的1.x倍,到最大的8.x倍,比如提升倍数最大的Q12 111.6s -> 13s,大大提高了体验。

实施步骤

步骤1 开通Presto CU

DLA只在CU版提供了Maxcompute查询加速功能。因此,如果您没有开通Presto CU,需要参考开通CU文档进行开通。
注意:
• DLA Presto与需要加速MaxCompute项目要在同一地域。
• 推荐规格64核256 GB及以上版本。

步骤2 配置加速引擎

在Quick BI配置加速引擎,具体操作请参见配置加速引擎。
说明 在配置加速引擎之前,需要将IP地址10.152.69.0/24,10.152.163.0/24,139.224.4.0/24加入到DLA的白名单。否则,Quick BI无法成功连接DLA,起不到加速查询的效果。

优惠活动

针对QuickBI加速的场景,DLA这边推出了64C免费试用一周的活动,消除您试用的后顾之忧,优惠的开通可以直接找相关对接的阿里云对接的同学,或者直接加入我们的钉钉群进行咨询:

dingding_dla.jpeg

相关实践学习
阿里云实时数仓实战 - 用户行为数仓搭建
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求:熟练掌握 SQL 语法熟悉 Linux 命令,对 Hadoop 大数据体系有一定的了解   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
相关文章
|
数据采集 运维 DataWorks
DataWorks产品使用合集之打开quickbi报表时很慢,该怎么办
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
140 0
|
大数据 数据挖掘 BI
【实验】阿里云大数据助理工程师认证(ACA)- QuickBI报表制作(下)
【实验】阿里云大数据助理工程师认证(ACA)- QuickBI报表制作(下)
449 0
【实验】阿里云大数据助理工程师认证(ACA)- QuickBI报表制作(下)
|
Web App开发 分布式计算 数据可视化
【实验】阿里云大数据助理工程师认证(ACA)- QuickBI报表制作(上)
【实验】阿里云大数据助理工程师认证(ACA)- QuickBI报表制作
481 0
【实验】阿里云大数据助理工程师认证(ACA)- QuickBI报表制作(上)
|
数据可视化 数据挖掘 大数据
Apsara Clouder认证之旅 使用Quick BI 制作企业数据分析报表
认证笔记 - Apsara Clouder 技能认证 - 大数据技能认证 - 使用 Quick BI 制作企业数据分析报表
344 1
Apsara Clouder认证之旅 使用Quick BI 制作企业数据分析报表
|
BI API JavaScript
QuickBI助你成为分析师——群空间自主开通嵌入第三方报表权限
用户使用过程中经常需要将创建的仪表板嵌入至自己应用中,方便查看。目前目前高级版群空间下支持用户自助化开通报表权限,通过获取拼接Token方式后台验证更加严格,并且支持实时更新/关闭Token以保证数据安全。
3038 0
如何用QuickBI制作图表联动的销售报表
在仪表板的制作实践中,大家经常有这样的需求:点击仪表板中某个图表控件中的某个区域,仪表板中和这个图表控件相关的其他图表控件的内容就根据当前被选择区域对应的维度的维度成员的内容发生联动。本文以阿里云数加QuickBI的数据建模中提供的样例数据集为例,如何制作一张图表联动的仪表板。
7374 0
|
7月前
|
SQL 数据可视化 BI
Quick BI产品测评:从数据连接到智能分析的全流程体验
瓴羊智能商业分析-Quick BI是阿里云旗下的云端智能BI平台,连续五年入选Gartner ABI魔力象限。它提供从数据接入到决策的全链路服务,支持零代码操作、40+可视化组件与OLAP分析,实现跨终端呈现。其创新点包括云原生架构、企业级安全体系及智能决策引擎,适用于零售、金融等行业。评测中,通过免费试用与官方文档,体验了数据准备、仪表板搭建及智能小Q功能,发现智能化能力强大但部分文档需更新优化。
731 67
|
7月前
|
运维 监控 数据可视化
产品测评 | 大模型时代下全场景数据消费平台的智能BI—Quick BI深度解析
Quick BI是阿里云旗下的全场景数据消费平台,助力企业实现数据驱动决策。用户可通过连接多种数据源(如本地文件、数据库等)进行数据分析,并借助智能小Q助手以对话形式查询数据或搭建报表。平台支持数据可视化、模板快速构建视图等功能,但目前存在不支持JSON格式文件、部分功能灵活性不足等问题。整体而言,Quick BI在数据分析与展示上表现出强大能力,适合业务类数据处理,未来可在智能化及运维场景支持上进一步优化。
|
7月前
|
SQL 数据可视化 BI
挖掘QuickBI产品的独特价值——模板市场一键应用篇
模板市场一键应用的独特价值在于: - 所见即所得、丰富的数据看板模板参考,提效业务人员工作方式及时间,对于数据人来说,日常大量的数据需要分析,追求更快地赋能业务决策,同时可以有效降低设计数据看板的时长耗用,是BI产品很重要的一项落地企业业务的能力; - 一键应用按钮减少了业务人员对产品的学习成本、操作成本; - 拖拉拽字段的操作本身是敏捷BI工具相较于其它数据处理方式(如SQL、Python、Excel)的一大超越,但替换数据集的支持直接节省了用户进行拖拉拽,可谓又是一增效点。同时也可以帮助日常业务人员(非专业数据处理人员)快速理解他需要提供的分析数据的数据类型。
167 1