数据计算MaxCompute读取外部表

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
简介: 数据计算MaxCompute读取外部表

数据计算MaxCompute读取外部表(数据在OSS GZ压缩)速度慢,可以尝试以下方法提高效率:

调整并发度:适当增加并发度可以同时读取更多数据,提高读取速度。但需要注意,并发度过高可能会增加系统负载和资源消耗。

调整批量大小:适当增加批量大小可以减少网络传输次数,提高读取速度。但批量大小过大可能会浪费系统资源,增加任务执行时间。需要根据实际情况进行调整。

使用异步方式:使用异步方式读取数据可以避免阻塞其他任务的执行,提高整体任务效率。但需要注意,异步方式可能会导致数据丢失或重复写入。需要根据实际情况进行选择。

优化OSS存储类型:根据数据特点选择合适的OSS存储类型可以提高读取速度和降低存储成本。例如,对于需要频繁访问的数据,可以选择标准存储类型;对于不经常访问的数据,可以选择低频访问存储类型。

优化MaxCompute查询语句:优化查询语句可以提高数据的读取速度和减少数据传输量。例如,使用分区表、索引等方式可以加速查询操作。

调整单个Mapper读取数据量的大小:在读取结构化数据时,可以通过设置odps.sql.mapper.split.size参数来调整每个Mapper读取Table数据的大小,以加速SQL执行。单位是MB。

将OSS大文件拆分为小文件:如果OSS外部表路径下的OSS文件只有一个,由于压缩方式下的非结构化数据不支持拆分,所以只能生成一个Mapper,导致处理速度较慢。建议在OSS对应的外部表路径下,将OSS大文件拆分为小文件,从而增加读取外部表生成的Mapper数量,提升读取速度。

以上方法仅供参考,建议根据实际情况选择适合的方法进行优化。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
SQL 分布式计算 大数据
大数据计算MaxCompute怎么查看示例的id呢?
大数据计算MaxCompute怎么查看示例的id呢?
21 0
|
2月前
|
SQL 分布式计算 大数据
请问本地安装了大数据计算MaxCompute studio,如何验证联通性及基本DDL操作呢?
请问本地安装了大数据计算MaxCompute studio,如何验证联通性及基本DDL操作呢?
18 0
|
30天前
|
存储 分布式计算 大数据
MaxCompute:大数据计算的新篇章
MaxCompute:大数据计算的新篇章
30 2
|
2月前
|
存储 分布式计算 大数据
首批!阿里云MaxCompute完成中国信通院基于无服务器架构大数据平台测试
近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。
193 0
|
2月前
|
存储 分布式计算 大数据
开通大数据计算MaxCompute就能存储外表了吗?
开通大数据计算MaxCompute就能存储外表了吗?
14 0
|
2月前
|
分布式计算 大数据 调度
大数据计算MaxCompute怎么将一个Quota的资源优先供给给标准模式的生产库调度使用?
大数据计算MaxCompute怎么将一个Quota的资源优先供给给标准模式的生产库调度使用?
21 2
|
2月前
|
分布式计算 大数据 MaxCompute
大数据计算MaxCompute表字段a为string类型,里面存的数据格式为小数, 通过alter table是不能将这个字段a转为decimal类型吗?
大数据计算MaxCompute表字段a为string类型,里面存的数据格式为小数, 通过alter table是不能将这个字段a转为decimal类型吗?
16 0
|
2月前
|
SQL 分布式计算 大数据
大数据计算MaxCompute表字段a为string类型,里面存的数据格式为小数, 通过alter table是不能将这个字段a转为decimal类型吗?
大数据计算MaxCompute表字段a为string类型,里面存的数据格式为小数, 通过alter table是不能将这个字段a转为decimal类型吗?
33 0
|
2月前
|
SQL 分布式计算 大数据
大数据计算MaxCompute可以WM_CONCAT 符合条件的内容吗?
大数据计算MaxCompute可以WM_CONCAT 符合条件的内容吗?
19 0
|
2月前
|
存储 SQL 分布式计算
请问大数据计算MaxCompute建表时怎么给decimal类型的字段设置默认值为0?
请问大数据计算MaxCompute建表时怎么给decimal类型的字段设置默认值为0?
29 0