阿里云 MaxCompute 2020-10 月刊

简介: MaxCompute10月新发布功能在sql的产品能力、易用性、性能以及存储优化方面持续增强,欢迎阅读月刊了解最新feature及用法。

【10月新功能发布】

1、MaxCompute 支持 sort by 不带 distribute by

MaxCompute 支持 sort by 不带 distribute by,提供数据重排的解决方案,提高SQL执行的过滤性能。

适用客户
开发者

发布功能
MaxCompute 支持不带 distribute by 的sort by,提供数据重排的解决方案,提高谓词下推的过滤性能。当 sort by 语句前没有 distribute by 时能够增加存储压缩率,同时读取的时候如果有过滤,能够利用这个信息减少真正从磁盘读取的数据量,提高后面进行的全局排序的效率。

查看文档 >>


2、SEMI JOIN 支持 MAPJOIN Hint

SEMI JOIN 支持 MAPJOIN Hint,提高 LEFT SEMI/ANTI JOIN的性能,为数据倾斜问题提供解决方案。

适用客户
开发者,分析师

发布功能
当一个大表和一个或多个小表JOIN时,用户可以在 SELECT 语句中显式指定 MAPJOIN Hint 以提升查询性能。目前 MAPJOIN Hint 进一步支持 LEFT SEMI JOIN 和 LEFT ANTI JOIN, 可以提高 SEMI JOIN 的性能,同时也为数据倾斜问题提供解决方案。

查看文档 >>


3、OSS 外部表 CSV/TSV 文件支持 GBK 编码格式

OSS 外部表 CSV/TSV 文件支持 GBK 编码格式。

适用客户
开发者

发布功能
OSS 外部表 odps.text.option.encoding 原先支持三种格式:UTF-8/UTF-16/US-ASCII,在新版本中增加了对GBK编码格式的支持。

查看文档 >>


4、批量 Drop Partition 支持条件筛选

使用条件表达式匹配选中的分区进行批量删除,满足用户希望一次删除符合某个规则的一个或多个分区的需求。

适用客户
开发者、数据仓库管理员

发布功能
支持条件筛选方式删除分区。如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使条件表达式匹配选中的分区进行批量删除。

查看文档 >>


5、MaxCompute 新增支持更多内置函数

新增 WIDTH_BUCKET 函数,时间函数 year/quarter/month 等对 DateTime 输入数据类型的支持。

适用客户
开发者、数据分析师

发布功能
WIDTH_BUCKET函数:获取某个字段值落入的分组编号,设定分组范围的最小值和最大值,以及分组个数,构建指定个数的大小相同的分组,返回字段值落入的分组编号。
时间函数 year/quarter/month/day/hour/minute/second 增加对DateTime输入数据类型的支持 - 增加如下内建函数接口:
• INT year(datetime date)
• INT quarter(datetime date)
• INT month(datetime date)
• INT day(datetime date)
• INT hour(datetime date)
• INT minute(datetime date)
• INT second(datetime date)

查看文档 >> 查看文档 >>


6、MaxCompute 写表支持Zorder by语句

增加 SQL DML的 zorder by 语句,支持把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上降低存储成本。

适用客户
开发者、数据分析师

发布功能
增加 SQL DML 的 zorder by 语句,支持DML语句的方式把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上降低存储成本。

查看文档 >>


阅读往期月刊 >>
MaxCompute 产品官网 >>
免费下载《SaaS模式云数据仓库手册》>>

更多关于大数据计算产品技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群
123.jpg

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
运维 Cloud Native Devops
「译文」什么是 SRE(站点可靠性工程师)?SRE 是做什么的?
「译文」什么是 SRE(站点可靠性工程师)?SRE 是做什么的?
|
人工智能 安全 Apache
QwenPaw:你的私人 AI 助理 —— 数据归你、记忆进化、多端触达的开源个人智能体
QwenPaw 是一款开源、本地优先的AI个人智能体(Apache 2.0),数据归属用户、记忆自主进化、支持钉钉/飞书/微信等多端触达。3行命令即可部署,内置Coding IDE、Persona人格、定时任务、MCP工具生态与多Agent协作,真正属于你的私有AI助理。
QwenPaw:你的私人 AI 助理 —— 数据归你、记忆进化、多端触达的开源个人智能体
|
5月前
|
人工智能 弹性计算 API
什么是 AlibabaCloud Agent Toolkit
Alibaba Cloud Agent Toolkit 是面向AI Agent的阿里云智能工具套件,集成OpenAPI、Terraform、CLI与文档能力,提供MCP插件、场景化Skills及执行审计机制,助AI准确查API、生成代码、规划架构、校验部署,实现安全、可靠、可追溯的云上智能运维。
3957 2
|
7月前
|
人工智能 自然语言处理 测试技术
不会写代码也能做Skill?低代码+AI实测
本文探讨AI时代测试工程师如何零代码打造可复用的AI技能(Skill):从“用AI写脚本”跃迁至“教AI帮别人写脚本”。依托JeecgBoot、OpenClaw、Claude Skill-Creator等低代码+AI工具,测试经验可转化为结构化SOP,封装为AI可理解、执行、共享的能力资产。实操路径清晰,门槛远低于想象。
|
8月前
|
缓存 分布式计算 调度
技术深度报道:解析云器Lakehouse如何实现超越Spark 10倍性能提升
云器科技2024年末发布TPC-DS 10TB基准测试报告,Lakehouse引擎性能达Spark的10倍。核心源于四大技术:C++向量化引擎(3×)、Cascades成本优化器(2×)、DAG直连调度(1.3×)与自适应缓存(1.3×),实现全栈协同优化。(239字)
288 0
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
1196 1
|
分布式计算 Java 流计算
Fluss on 鲲鹏 openEuler 大数据实战
本文介绍了基于华为鲲鹏ARM架构服务器与openEuler操作系统,构建包含HDFS、ZooKeeper、Flink、Fluss及Paimon的实时大数据环境的完整实战过程。涵盖了软硬件配置、组件部署、集群规划、环境变量设置、安全认证及启停脚本编写等内容,适用于企业级实时数据平台搭建与运维场景。
1931 0
Fluss on 鲲鹏 openEuler 大数据实战
|
存储 测试技术 Apache
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
本文整理自阿里云 Flink 存储引擎团队李晋忠,兰兆千,梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究。
127860 4
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
|
SQL 存储 大数据
更改 HIVE 表字段数据类型有哪些注意事项?
更改 HIVE 表字段数据类型有哪些注意事项?
|
存储 Linux 网络安全
如何在 Linux 中检查和设置时区?
【7月更文挑战第12天】
2436 2
如何在 Linux 中检查和设置时区?

相关产品

  • 云原生大数据计算服务 MaxCompute