双引擎驱动Quick BI十亿数据0.3秒分析,首屏展示时间缩短30%

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
数据可视化DataV,5个大屏 1个月
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
简介: 在规划中,Quick BI制定了产品竞争力建设的三大方向,包括Quick(快)能力、移动端能力和集成能力。针对其中的产品“报表查看打开慢”“报表开发数据同步慢”等性问题开展专项战役——Quick战役,以实现展现快、计算快,为使用者提供顺滑体验为目标。

“Quick”是产品始终追求的目标


Quick BI数据可视化分析平台,在2021年二次入选了Gartner ABI魔力象限,这是对产品本身能力强有力的认证。在不断夯实B I的可视化体验和权限管控能力之外,推进Quick BI的全场景数据消费能力,让数据在企业内最大限度的流转起来。


在规划中,Quick BI制定了产品竞争力建设的三大方向,包括Quick(快)能力、移动端能力和集成能力。针对其中的产品“报表查看打开慢”“报表开发数据同步慢”等性问题开展专项战役——Quick战役,以实现展现快、计算快,为使用者提供顺滑体验为目标。


20220225103120.jpg

点击收看介绍视频



双引擎成就Quick全新体验

无论是开发者还是阅览者,若想要在使用Quick BI的过程中获得流畅快速的体验,可能在这两个方面进行优化:


在数据报表开发的过程中,大量级数据需要在一定范围的时间内响应,即计算要快;

面对报表的查看者,首屏打开和下拉加载的时间需要在一定范围内完成,即展现要快。

Quick BI推出计算引擎和渲染引擎,以双引擎的方式为产品全力加速。


1、计算引擎(Quick引擎)

包含原有直连模式,新增加速模式、抽取模式、智能缓存模式,用户按照不同场景的不同需求,通过配置开关进行模式的选择。在数据集开发和数据作品制作的过程中获得加速体验,可以有效提升用户报表的数据查询速度,减少用户的数据库查询压力。



实时加速

基于 MPP 内存计算引擎,查询中实时从数据库(调/读)取数据,并在计算引擎的内存中进行计算,有效提升用户数据计算的性能,适用于对数据时效有高要求的情况。


抽取模式

把数据库或数仓的数据抽取到Quick引擎的高性能列式存储引擎中,支持全量模式和增量模式,分析计算负载直接在Quick BI引擎中进行,充分利用Quick引擎性能的同时,降低用户数仓的负担,适用于没有独立数仓或数仓负载过重的情况。


智能缓存

提供的2种缓存模式都可以直接返回结果,提升用户查询速度,减少数据库访问次数。


数据集缓存

将用户已经查询过的结果缓存在 Quick BI 高速缓存组件内,一段时间内完全一致的查询可以直接返回查询结果。


智能预计算

算法根据用户的历史查询记录,对数据集的查询进行预聚合,提前计算出用户所需的结果,保存在高性能存储中。一旦用户查询命中,则直接返回结果。


2、渲染引擎

负责取得肉眼可见页面的内容,包括图像、图表等,并进行数据信息整理,以及计算网页的显示方式,然后输出并展现。由于BI场景的报表(仪表板、电子表格、门户等)内容相当复杂,渲染引擎的加速可以非常直接的影响Quick BI报表的打开速度,优化用户的报表阅览体验。渲染引擎的加速动作无需进行任何配置,无声地服务整个分析流程。

渲染引擎进行了如下整体升级:


  • 资源(js/css/ajax等)加载优化:包括预加载、按需加载、任务调度、TreeShaking等
  • 前端计算&执行优化:数据流节流、懒数据策略、mutable改造、深克隆等计算优化等
  • 可视化升级:底层可视化统一,桑基图等大数据量下解析优化、渲染次数收敛等
  • 移动端升级:包体积优化(压缩前20.6M减少至5.6M)、图表预加载、资源本地化缓存等
  • 查询链路优化:支持 MaxCompute 加速查询、登录层优化、防止配置查询缓存穿透、缓存优化等
  • 性能工具升级:SQL诊断支持 MaxCompute 数据源,并支持 SQL 诊断工具的国际化等


利用五种机制整体提升渲染引擎作业效果


任务调度机制

支持在各段加载和执行流程中利用组件或函数控制CPU时间和网络占用优先级,从而将首屏内容的展示时间点缩短至少了30%


截流渲染机制

支持Redux类数据流体系,以配置化方式控制单位时间组件渲染次数,组件平均渲染次数减少90%以上


按需计算机制

按需加载和执行JS逻辑组件及其资源,利用LazyObject思路(即:使用时初始化执行,而非定义时)进行按需调用,LazyCache思路(即:命中时计算和缓存,而非实时)进行数据流模型计算,节省约30%的CPU时间以及40%的网络占用


预加载机制

通过将原本串行依赖的流程逻辑按不同时机并行(如:当页面拉取JS资源时同时拉取后端数据,在空闲时预加载下一屏内容),根据历史使用习惯预先加载后续可能访问的内容,达到瞬时查看的效果。


资源本地化缓存机制

将js等资源本地化的形式,加上根据不同设备(移动端等)的资源管理策略,有效解决系统内存释放导致的缓存失效,弱网环境导致的资源加载缓慢等问题。


经过一系列核心能力的升级和特定场景的针对性优化,操作平均FPS(每秒传输帧数)可达55左右,较复杂报表下,首屏加载时间也从最初18秒降至3秒以内(中等简单报表2秒内),结合Quick引擎,还可以支持10亿级数据量的报表3秒内展现。


典型场景下的性能体验全面提升


1、数据开发视角的场景方案

(1)报表展示的数据在一定时间内固定不变

有些客户对数据需要每天进行一次汇总,并通过 Quick BI 的可视化图表以日报形式展示出来。这些展示的数据在下一次汇总之前都不会发生变化,同时这些汇总数据比较固定,不需要阅览报表的人主动更改查询条件。


如是场景,推荐开启数据集上的缓存功能。用户可以自行设置缓存的有效期,在有效期内,相同的查询会命中缓存,直接将该周期内第一次查询的结果毫秒级返回。以上述场景为例,用户可以开启 12 小时的缓存,这样日报只会在第一次打开时进行数据查询,之后一整天的时间,一旦客户点击打开,报表就会立刻展现。


(2)报表数据存在较多变化,对非实时数据进行分析

以大促为例,商家在活动结束后,对大促期间的销量、营业额以及营销投放效果进行复盘。数据分析包含很多维度,比如类目、地区、部门等等。商家的分析师或者决策者在查看报表时,往往会对维度进行调整、变更、钻取,来获得更加深入的洞察。这个场景下用户数据查询的动作多变,上述的缓存策略往往很难命中。


此时,可以在数据集的 Quick 引擎中开启抽取加速。抽取加速默认全表加速,允许用户同步T-1 的数据到 Quick 引擎高性能存储及分析模块中,后续的查询和计算会直接在 Quick 引擎中进行,减少用户数据库的性能压力。抽取加速可以做到亿级数据,亚秒级响应。


与此同时还可以开启智能预计算模式, 会对用户的查询历史进行分析, 提前对可能的查询进行预聚合。用户的查询如果命中,则会直接返回聚合结果。


(3)用户数据源查询慢,但对数据实时性有要求

有的用户,数仓里的数据每天都在实时变化。以仓储管理为例,仓库里每天货物的进出是动态的,这些数据会实时落到数据库里,而客户希望能够通过 Quick BI 的报表,对这些动态数据进行分析。显然,上面提到的缓存方案以及抽取加速都无法达成这个目的。


对于这类用户来说,他们可以在数据集的 Quick 引擎里开启实时加速, 通过引擎内置的 MPP 内存计算引擎,对数据进行实时的内存计算,从而达到加速的目的。


开启了 Quick 引擎的实时加速,可以做到亿级数据,秒级响应。


(4)用户查询依赖维度值的获取

企业如果需要以产品类目为维度,对销售记录进行分析。这个时候,就会用到 Quick BI 的查询控件,以下拉列表的方式对“类目”这个维度的值进行展示和选择。


以服装公司为例,共有100 个产品类目,销售记录上千万条。这个时候从完整的销售记录里获取类目值,效率太低。可以使用 Quick BI 提供的维值加速方案, 将类目的维度表配置进维值加速功能,此时100 个类目仅对应 100 行数据,而不再是原来的上千万条。


再获取类目下拉列表时,就会直接从维度表中读取,大大提升下拉列表里维度值的获取效率。


2、Quick BI阅览者视角的加速效果

(1)即席分析表格

500W单元格,秒级渲染完毕(60 FPS),操作流畅:



(2)报表首屏打开

基于双引擎,在1亿行数据,20个图表组件,常规聚合类查询下进行标准测试,一个标准复杂报表可在2秒内展现:



更多关于“快速体验”的内容,欢迎试用Quick BIhttps://bi.aliyun.com/




阿里云数据中台是阿里巴巴数据中台唯一商业化输出,以数据中台方法论为内核,构建起”快、准、全、统、通“的智能大数据体系。

阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入:

  • - Dataphin,智能数据建设与治理
  • - Quick BI,数据可视化分析
  • - Quick Audience,一站式消费者运营和管理
  • - Quick Tracking,全域行为洞察
  • - Quick Stock, 智能货品运营
  • - Quick Decision,风控决策数字引擎

目前正对外输出系列解决方案,包括通用数据中台解决方案、零售数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案等。

钉钉群二维码.png

相关实践学习
助力游戏运营数据分析
本体验通过多产品组合构建了游戏数据运营分析平台,提供全面的游戏运营指标分析功能,并有效的分析渠道效果。更加有效地掌握游戏运营状态,也可充分利用数据分析的结果改进产品体验,提高游戏收益。
Quick BI在业务数据分析中的实战应用
Quick BI 是一款专为云上用户和企业量身打造的新一代自助式智能BI服务平台,其简单易用的可视化操作和灵活高效的多维分析能力,让精细化数据洞察为商业决策保驾护航。为了帮助您更快的学习和上手产品,同时更好地感受QuickBI在业务数据分析实践中的高效价值,下面将以一个真实的数据分析案例为场景带您开启QuickBI产品之旅。场景:假设您是一家大型互联网新零售企业的数据分析师,您的经理刚刚拿到8月份的月度运营分析数据,他发现近期企业运营状况不佳,8月份毛利额环比前几个月下滑较大,三季度存在达标风险。因此将这个任务交给了您,根据订单信息和流量渠道信息等相关数据,分析企业8月份毛利额下滑的关键要素,并将其分享给团队,以便指导相关业务部门采取决策和行动,提高企业整体毛利额。  
相关文章
|
6月前
|
监控 数据可视化 搜索推荐
四度入选Gartner后Quick BI又有大动作 | 着重交互分析与监控告警升级,持续优化分析链路
四度入选Gartner后Quick BI又有大动作 | 着重交互分析与监控告警升级,持续优化分析链路
368 0
|
移动开发 小程序
分析实时云渲染在小程序中可行性应用
实时云渲染是可以应用于小程序中的,因为小程序其实从技术角度来说,X小程序的本质是H5网页,其实和我们在电脑上打开网页道理差不多,只不过小程序还有些其他的特定。而云流化在网页中打开是基础功能,因此在将需要流化的3D应用程序流化出的地址直接内嵌于小程序中,即可实现小程序中打开服务器端的3D应用并进行实时的交互。
183 0
分析实时云渲染在小程序中可行性应用
|
数据采集 分布式计算 关系型数据库
离线计算-国内查询转换率|学习笔记
快速学习离线计算-国内查询转换率
180 0
|
监控 安全 搜索推荐
Quick BI产品核心功能大图(七)订阅与监控:数据波动,一手掌控
作为企业的管理者和经营者,要关注的数据指标太多了。如何在第一时间掌握指标的异常波动、发现经营风险?如何保证相关人员定期接收经营数据,不再遗漏?或许你需要 Quick BI 的帮助。
|
存储 SQL 缓存
双引擎驱动Quick BI十亿数据0.3秒分析,首屏展示时间缩短30%
在规划中,Quick BI制定了产品竞争力建设的三大方向,包括Quick(快)能力、移动端能力和集成能力。针对其中的产品“报表查看打开慢”“报表开发数据同步慢”等性问题开展专项战役——Quick战役,以实现展现快、计算快,为使用者提供顺滑体验为目标。
420 0
|
缓存 分布式计算 数据可视化
Quick BI产品核心功能大图(四)Quick引擎加速:十亿数据亚秒级分析
随着数字化进程的深入,数据应用的价值被越来越多的企业所重视。基于数据进行决策分析是应用价值体现的重要场景,不同行业和体量的公司广泛依赖BI产品制作报表、仪表板和数据门户,以此进行决策分析。
801 0
|
监控 搜索推荐 数据可视化
Quick BI产品核心功能大图(五)移动端:让数据在更多业务场景中流通
将数据更好的融入日常工作中,一个重要的前提条件就是多端多渠道的数据触达和办公协同能力。 Quick BI凭借移动端交互体验,帮助用户随时随地便捷查看报表,并通过在线协同方式,追踪策略的执行落地。让数据在企业中流动起来,真正将数据贯穿在业务决策的过程中。
376 0
Quick BI产品核心功能大图(五)移动端:让数据在更多业务场景中流通
|
SQL 搜索推荐 数据挖掘
Quick BI产品核心功能大图(二):即席分析
“授人以鱼不如授人以渔”!Quick BI的即席分析,提供灵活的数据分析能力,随时取数、随时分析。 在IT支撑,提供标准元数据,以及由组织管理员完善行级权限管控的基础之上,业务人员能够借助即席分析提成本的通过拖拽,零SQL的进行分析和取数,降低对BI分析师的依赖,最终实现数据分析和业务决策的提效。
616 0
|
SQL 存储 缓存
【视频特辑】数据分析不卡顿,十亿数据0.3秒搞定!看看Quick引擎是如何做到的吧~
报表加载慢、分析卡顿导致思路被打断...常常会给数据分析师造成很大困扰。 不如试试Quick引擎,十亿数据只需0.3秒就可以完成数据分析!
298 0
【视频特辑】数据分析不卡顿,十亿数据0.3秒搞定!看看Quick引擎是如何做到的吧~
|
安全 搜索推荐 数据建模
【直播发布】Quick BI V4.0重磅推出即席分析&模板市场,新版数据集交互体验全面提升
【直播发布】Quick BI V4.0重磅推出即席分析&模板市场,新版数据集交互体验全面提升
499 0
【直播发布】Quick BI V4.0重磅推出即席分析&模板市场,新版数据集交互体验全面提升