阿里云 MaxCompute 2020-10 月刊

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute10月新发布功能在sql的产品能力、易用性、性能以及存储优化方面持续增强,欢迎阅读本刊了解最新feature及用法。
+关注继续查看

【10月新功能发布】

1、MaxCompute 支持 sort by 不带 distribute by

MaxCompute 支持 sort by 不带 distribute by,提供数据重排的解决方案,提高SQL执行的过滤性能。

适用客户
开发者

发布功能
MaxCompute 支持不带 distribute by 的sort by,提供数据重排的解决方案,提高谓词下推的过滤性能。当 sort by 语句前没有 distribute by 时能够增加

存储压缩率,同时读取的时候如果有过滤,能够利用这个信息减少真正从磁盘读取的数据量,提高后面进行的全局排序的效率。

查看文档 >>


2、SEMI JOIN 支持 MAPJOIN Hint

SEMI JOIN支持MAPJOIN Hint,提高 LEFT SEMI/ANTI JOIN的性能,为数据倾斜问题提供解决方案。

适用客户
开发者,分析师

发布功能
当一个大表和一个或多个小表JOIN时,用户可以在SELECT语句中显式指定MAPJOIN Hint以提升查询性能。目前MAPJOIN Hint进一步支持 LEFT SEMI JOIN和LEFT ANTI JOIN, 可以提高SEMI JOIN的性能,同时也为数据倾斜问题提供解决方案。

查看文档 >>


3、OSS外部表CSV/TSV文件支持GBK编码格式

OSS外部表CSV/TSV文件支持GBK编码格式。

适用客户
开发者

发布功能
OSS 外部表 odps.text.option.encoding 原先支持三种格式:UTF-8/UTF-16/US-ASCII,在新版本中增加了对GBK编码格式的支持。

查看文档 >>


4、批量 Drop Partition 支持条件筛选

使用条件表达式匹配选中的分区进行批量删除,满足用户希望一次删除符合某个规则的一个或多个分区的需求。

适用客户
开发者、数据仓库管理员

发布功能
支持条件筛选方式删除分区。如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使条件表达式匹配选中的分区进行批量删除。

查看文档 >>


5、MaxCompute 新增支持更多内置函数

新增 WIDTH_BUCKET 函数,时间函数 year/quarter/month 等对 DateTime 输入数据类型的支持。

适用客户
开发者、数据分析师

发布功能
WIDTH_BUCKET函数:获取某个字段值落入的分组编号,设定分组范围的最小值和最大值,以及分组个数,构建指定个数的大小相同的分组,返回字段值落

入的分组编号。
时间函数 year/quarter/month/day/hour/minute/second 增加对DateTime输入数据类型的支持 - 增加如下内建函数接口:
• INT year(datetime date)
• INT quarter(datetime date)
• INT month(datetime date)
• INT day(datetime date)
• INT hour(datetime date)
• INT minute(datetime date)
• INT second(datetime date)

查看文档 >> 查看文档 >>


6、MaxCompute 写表支持Zorder by语句

增加 SQL DML的 zorder by 语句,支持把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上降低存储成本。

适用客户
开发者、数据分析师

发布功能
增加 SQL DML 的 zorder by 语句,支持DML语句的方式把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上降低存储成本。

查看文档 >>


阅读往期月刊 >>
MaxCompute 产品官网 >>
免费下载《SaaS模式云数据仓库手册》>>

更多关于大数据计算产品技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群
123.jpg

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
分布式计算 运维 大数据
MaxCompute,原名ODPS,是阿里云提供的一种大数据计算服务
MaxCompute,原名ODPS,是阿里云提供的一种大数据计算服务
28 1
|
4月前
|
分布式计算 数据挖掘 调度
阿里云 MaxCompute 2023-5~8 月刊
【MaxCompute已发布免费试用计划,为数仓建设提速】新用户可0元领取5000CU*小时计算资源与100GB存储,有效期3个月。
281 2
阿里云 MaxCompute 2023-5~8 月刊
|
5月前
|
分布式计算 Cloud Native 大数据
阿里云最新产品手册——阿里云核心产品——云原生大数据计算服务——迁移到MaxCompute
阿里云最新产品手册——阿里云核心产品——云原生大数据计算服务——迁移到MaxCompute自制脑图
93 1
|
7月前
|
分布式计算 Cloud Native 大数据
《阿里云产品手册2022-2023 版》——云原生大数据计算服务 MaxCompute
《阿里云产品手册2022-2023 版》——云原生大数据计算服务 MaxCompute
110 0
|
7月前
|
分布式计算 Cloud Native 大数据
《阿里云产品手册2022-2023 版》——云原生大数据计算服务 MaxCompute
《阿里云产品手册2022-2023 版》——云原生大数据计算服务 MaxCompute
|
8月前
|
存储 分布式计算 运维
阿里云 MaxCompute 2023-1~4 月刊
MaxCompute 发布新人特惠免费试用规格,5000CU*H计算资源和100GB存储,3个月免费用,让您0元体验MaxCompute 强劲的产品力。
913 0
阿里云 MaxCompute 2023-1~4 月刊
|
10月前
|
分布式计算 MaxCompute 开发者
《阿里云MaxCompute百问百答》电子版地址
为了更好地帮助广大MaxCompute用户解决可能遇到的问题,阿里云 MaxCompute团队基于MaxCompute开发者社区和其它渠道反馈的问题,总结归纳 出MaxCompute各个功能点的常见问题,希望可以给正在学习和使用MaxCompute 的用户提供一些帮助。
107 0
《阿里云MaxCompute百问百答》电子版地址
|
10月前
|
分布式计算 MaxCompute
《基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议》电子版地址
基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议
221 0
《基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议》电子版地址
|
12月前
|
分布式计算 MaxCompute
《基于阿里云MaxCompute 构建企业云数据仓库CDW的最佳实践建议》电子版地址
基于阿里云MaxCompute 构建企业云数据仓库CDW的最佳实践建议
184 0
《基于阿里云MaxCompute 构建企业云数据仓库CDW的最佳实践建议》电子版地址
|
12月前
|
SQL 分布式计算 数据挖掘
阿里云 MaxCompute 2022-12月刊
本刊为您带来 2022年12月 MaxCompute 产品最新动态。
746 0
阿里云 MaxCompute 2022-12月刊
推荐文章
更多