来了,2行代码秒级查询MaxCompute!

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 今天小编就来为大家讲解,使用HoloStudio,用最少的代码,最快的查询MaxCompute中的数据,既解放了双手,又实现了数据的秒级交互响应,两全其美!

看了《在吗?0代码加速查询MaxCompute请查收!》的朋友们纷纷表示按照文章操作,能够快速查询到MaxCompute中的数据,同时还不需要写建表代码,简单又实用。但是呢,随之而来就会有个问题,业务数据量太大时,直接查询响应也会有点迟缓,依赖HoloStudio的导入查询具体怎么操作?今天小编就来为大家讲解,如何使用HoloStudio用最少的代码导入查询MaxCompute数据,实现秒级交互式响应!(小Tips:直接查询数据仍然存在MaxCompute中,导入查询数据最终存在交互式分析中)
往期精彩传送门:
HoloStudio介绍:《交互式分析六脉神剑》之Dataworks-HoloStudio初体验
DataWorks数据服务:交互式分析加速查询MaxCompute封装API的最佳实践
DataWorks调度:什么?你还不会使用DataWorks调度?
操作步骤

1.准备MaxCompute数据表

准备一张MaxCompute表,本示例直接采用数据地图中的一张表,数据条数约为7600万条
image.png

2.HoloStudio新建外部表

在HoloStudio中新建一张外部表,用于做MaxCompute表字段的一一映射。在HoloStudio中选择PG管理--外部表,一键新建外部表。因为是将整张表数据导入进交互式分析,所以字段全部映射(可根据项目情况选择部分字段映射)
image.png
若是直接外部表的话,查询20万条数据用时2.5秒
image.png
3.HoloStudio新建真实存储表
在HoloStudio中新建一张真实存储表,用于真正接受数据。新建内部表的字段需要一一对应。最简单的建表操作就是复制外部表的建表语句,再修改成对应内部表即可,不需要自己再写建表sql,轻轻松松完成建内部表。
image.png

3.导入数据

将数据从MaxCompute中导入至交互式分析中,可以选择部分字段数据导入,也可以选择全部数据导入。若数据量太大,使用SQL Console会报50秒超时的错误,这是DataWorks本身的限制,请使用HoloStudio的终端进行数据导入。示例导入全部数据SQL如下,只需要1行代码即可:

INSERT INTO holo_lineitem92
SELECT * FROM  odps_lineitem92;

导入7600万条数据用时15秒
image.png

4.查询数据

数据导入完成之后,可以直接查询数据,示例,同样查询20万条数据,用时4毫秒返回。(1行代码)

SELECT * from holo_lineitem92 LIMIT 200000;

image.png
结论:通过以上操作步骤,相信大家也都学会了如何在HoloStudio中用最少的代码将MaxCompute中的数据导入查询,具体的操作步骤,大家也可以参考官网文档:离线数据导入分析
通过两次HoloStudio的查询MaxCompute数据演示,相信大家也能更加直观体会到两种查询方式的区别:小数据量使用直接查询也可以直接获取结果,但是大数据量更建议大家导入查询,查询性能在同等资源条件下也会更优。
同时,使用HoloStudio,能让你用最少的代码,最快的查询MaxCompute中的数据,既解放了双手,又实现了数据的秒级交互响应,两全其美啊!
若大家对交互式分析有任何疑问,欢迎大家进群咨询哦
image.png





相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8天前
|
存储 负载均衡 大数据
大数据水平分区提高查询性能
【11月更文挑战第2天】
20 4
|
1月前
|
存储 JSON 监控
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
51 4
|
3月前
|
关系型数据库 MySQL 分布式数据库
PolarDB 并行查询问题之大数据量的实时分析查询挑战如何解决
PolarDB 并行查询问题之大数据量的实时分析查询挑战如何解决
35 2
|
4月前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之针对MaxCompute查询结果排队问题,该如何优化
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
68 10
|
4月前
|
SQL 机器学习/深度学习 分布式计算
MaxCompute产品使用合集之怎么使用SQL查询来获取ODPS中所有的表及字段信息
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
131 7
|
4月前
|
SQL 分布式计算 数据处理
MaxCompute操作报错合集之使用Spark查询时函数找不到的原因是什么
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
4月前
|
分布式计算 资源调度 DataWorks
MaxCompute操作报错合集之出现“查询运行日志失败”的报错,一般是什么导致的
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
4月前
|
分布式计算 大数据 数据挖掘
MaxCompute产品使用合集之如何解决MC通过外部表方式访问Hologres时,数据量达到3000万条左右导致查询速度慢
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4月前
|
SQL 分布式计算 DataWorks
MaxCompute操作报错合集之使用sql查询一个表的分区数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
4月前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用合集之使用临时查询创建的表,在表管理和公共表没有找到,是什么原因
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。