《交互式分析六脉神剑》之真正的秒级交互式响应

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 在离线大数据场景上,MaxCompute拥有着举足轻重的地位,但使用过MaxCompute的开发者们都会发现,针对简单查询能够满足业务要求,但是随着数量增多,查询query变得复杂时,响应速度会变得特别慢,满足不了实时交互的要求。

hi,大家好,今天为大家带来《交互式分析六脉神剑》之第三剑中冲剑--秒级交互式响应。
第一剑:5分钟学会交互式分析?!
第二剑:《交互式分析六脉神剑》之HoloStudio初体验

金庸武侠中的中冲剑是指:右手中指—阳明—胃经—中冲剑,其特点:大开大阖,气势雄迈。正好对应交互式分析的核心特点之一秒级交互式响应,今天小编就为大家介绍,秒级交互式响应如何体现在具体的数据开发实践中。

在离线大数据场景上,MaxCompute拥有着举足轻重的地位,但使用过MaxCompute的开发者们都会发现,针对简单查询能够满足业务要求,但是随着数量增多,查询query变得复杂时,响应速度会变得特别慢,满足不了实时交互的要求。而众所周知,交互式分析的核心功能之一是对MaxCompute离线数据加速查询。具体的加速体现在以下两个方面:(本案例均采用HoloStudio来进行演示,关于HoloStudio的介绍可参见HoloStudio简介

简单场景

MaxCompute直接查询

针对简单查询场景,可以直接使用交互式分析进行查询,无需数据导入导出,就能实现实时查询。
示例如下:在MaxCompute中有一张小表(数据量约为1.5亿条)。
image

使用基于交互式分析的HoloStudio查询MaxCompute中的数据,只需要在HoloStudio中一键创建外部表即可。建表成功后,一键点击数据预览就能查看数据(注意:使用直接查询的方式数据仍然存储在MaxCompute中哦)
image
关于性能表现:直接查MaxCompute表中的200000条数据,用时1.7秒,真正做到秒级交互式响应。
image

MaxCompute导入查询

随着数据量的增多,大家会发现,使用交互式分析进行直接MaxCompute查询响应也会有一丢丢的吃力,这时,可以将MaxCompute中的数据导入进交互式分析进行查询。具体导入步骤可以参见用户手册:导入查询
示例采用同一张MaxCompute表数据(约1.5亿条数据),将表导入交互式分析中(数据存储在交互式分析中),查询其中的200000条数据,用时约0.8秒,比用交互式分析直接查询MaxCompute数据快将近1.5倍。
image

随着MaxCompute中数据量逐渐变多时,交互式分析的查询响应更是表现惊人,这背后的技术离不开我们自研的系统架构。关于交互式分析架构的了解可以参见架构介绍

复杂场景

但其实在真实的场景中,开发者/数据分析师不仅仅只对单一表进行简单查询,更多的是对多表做复杂关联分析、多维分析等。下面通过一个示例来具体展示,交互式分析中对MaxCompute海量数据复杂查询的性能表现:
本示例中MaxCompute两张表的数据量分别为:6亿条和5千万条。
image
image

交互式分析直接加速复杂查询

使用交互式分析直接加速查询MaxCompute中的表数据,并做相同的复杂join,响应时间为:6.6秒。
image

交互式分析导入查询

相同情况下,将MaxCompute中两张表数据导入进交互式分析中,做相同条件的复杂join,响应时间:5.5秒。
image

通过以上场景的讲述,不管是直接加速还是导入查询,在查询响应的性能上都有着惊人的表现,尤其是随着数据量的增多以及查询的复杂度增加时,变现力更是惊人。但有朋友可能会有些疑惑,使用交互式分析直接查询和导入查询性能表现都很不错,到底该怎么选择呢?通俗来讲:
直接查询适用场景:数据量小于100GB的简单查询。
导入查询适用场景:单表查询大于100GB、复杂查询、含索引的查询、数据需更新、insert操作。

今天的分享到此就到这里结束了,关于交互式分析的更多功能请期待下期分享。
也欢迎大家进入我们的钉钉交流群,小编会实时在线为您解答各种疑难杂症!
image

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
并行计算 算法 C++
统一内存统一内存的基本概念和使用
统一内存统一内存的基本概念和使用
2415 0
统一内存统一内存的基本概念和使用
|
5月前
|
机器学习/深度学习 人工智能 数据挖掘
基于YOLOv8的狗狗品种(多达60种常见犬类)品种鉴别识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
随着宠物经济的不断发展,狗狗已经成为众多家庭的重要成员。不同品种犬类在性格、饲养方式、健康管理上有显著差异,快速准确地识别狗狗品种有着重要应用价值。传统方式依赖人工识别,效率低且易出错。 本项目借助YOLOv8强大的目标检测能力,结合高质量数据集训练,实现60种犬类的高精度自动分类识别,并提供可交互图形界面,极大降低使用门槛。
基于YOLOv8的狗狗品种(多达60种常见犬类)品种鉴别识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
|
3月前
|
缓存 安全 C++
C盘爆满电脑卡?3个简单技巧+1个便捷工具,小白也能轻松清理
电脑使用久了,C盘常因系统文件、软件安装和临时缓存堆积而空间不足,导致运行卡顿甚至蓝屏。本文教你识别C盘“隐形垃圾”,并提供3个手动清理技巧和1个实用工具(CCleaner),轻松释放空间,提升电脑速度,延长使用寿命。定期清理C盘,让电脑始终保持流畅运行。
706 0
|
Linux 网络架构
通过route , tracert , traceroute 查看本地路由配置及访问ip或域名时经过的路由信息
通过route , tracert , traceroute 查看本地路由配置及访问ip或域名时经过的路由信息
4010 2
|
NoSQL 数据可视化 Docker
这是一份简单到没朋友的上手图数据库的图文教程
本文是一份极度友好,你即便只会一个开机操作、不懂任何数据库的人,也能通过学习本文查询到你想要的图关系。
1335 1
|
安全 Java 关系型数据库
医院门诊管理系统的设计与实现
医院门诊管理系统的设计与实现
285 1
|
自然语言处理 iOS开发 UED
FL Studio20中文版永久升级教程
FL Studio中文版来啦!!!为了国内音乐创作者服务,免去安装后需要调整语言的麻烦,FL Studio特意为大家带来了中文版的FL Studio,安装后软件自动是中文,中文版顾名思义就是只支持中文版。
882 0
|
开发工具 git
Compose中实现原生TabView+ViewPager的效果
Compose中实现原生TabView+ViewPager的效果
1690 0
Compose中实现原生TabView+ViewPager的效果
|
网络协议 安全 机器人
互联网的发展简史—web
前言:互联网是我现在生活所离不开的一个东西,但是你知道互联网的前世今生吗?本文将讲解互联网的发展史,以及很火的元宇宙概念。
2818 1
 互联网的发展简史—web
|
机器学习/深度学习 传感器 移动开发
EDFT扩展离散傅里叶变换算法附matlab代码
EDFT扩展离散傅里叶变换算法附matlab代码

热门文章

最新文章