阿里云MaxCompute 2018-5月刊

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 5月,MaxCompute提供全表扫描的设置操作,可允许或禁止全表扫描;支持OSS上的Hive文件格式;支持OSS压缩格式GZIP。。。更多新功能新体验,欢迎阅读本文了解。

5月MaxCompute又发布哪些新功能,优化了哪些产品体验呢?小编带你一起看~

image

【新功能】 MaxCompute提供全表扫描的设置操作

以开关的形式,通过设置允许或禁止全表扫描。true为允许,false为禁止 项目级别控制:setproject odps.sql.allow.fullscan=false/true Session级别控制:set odps.sql.allow.fullscan=false/true 参考文档

【体验优化】MaxCompute Optimizer - Join Grouping优化

用户query有多个连续的join时,并且这些join有共同的join key,MaxCompute Optimizer会将这些join合并成multi-way join,多路join的输入数据直接shuffle到同一个stage,在做multi-way join时直接将多路的数据来做join,能减少不需要的中间join的数据量,减少整个query的stage,加速query执行。

【新功能】MaxCompute非结构化功能支持RAM子账号

MaxCompute非结构化处理框架,新增支持RAM子账号创建外部表 参考文档

【新功能】MaxCompute支持OSS上的Hive文件格式

MaxCompute非结构化,新增支持读取OSS上的开源数据格式:PARQUET、RCFILE 参考文档

【新功能】MaxCompute支持OSS压缩格式GZIP

MaxCompute支持OSS压缩格式-内置StorageHandler支持gzip的读/写压缩 参考文档

【新功能】MaxCompute SQL支持STRUCT复杂类型的排序与比较

MaxCompute SQL支持 STRUCT类型,并且可以任意嵌套使用,同时Java UDF也同样支持STRUCT,用户可以直接将复杂类型传入UDF中 参考文档

【新功能】MaxCompute SQL 新语法 SEMI JOIN

MaxCompute SQL 新语法 SEMI JOIN,包括:LEFT SEMI JOIN,LEFT ANTI JOIN 参考文档

【新功能】MaxCompute SQL 支持 CASE/WHEN的隐式类型转换

新增MaxCompute SQL:CASE/WHEN 表达式的隐式转换规则 参考文档

【新功能】MaxCompute SQL支持更多的内置函数

聚合函数:VARIANCE/VAR_POP、VAR_SAMP、COVAR_POP、COVAR_SAMP、PERCENTILE 字符函数:TRANSLATE 窗口函数:NTILE 其他函数:NVL 参考文档

【新功能】MaxCompute SQL支持Select Transform语言功能

SELECT TRANSFORM 功能允许用户指定启动一个子进程,将输入数据按照一定的格式通过stdin输入子进程,并且通过parse子进程的stdout输出,来获取输出数据。适合实现MaxCompute SQL没有的功能又不想写UDF的情况。

【价格调整】MaxCompute 2.0 NewSQL新特性商业化收费

MaxCompute2.0 NewSQL 采用的计费标准为:一次 SQL 计算费用 = 计算输入数据量 SQL 复杂度 SQL 价格。当天的所有计量信息在第二天做一次性汇总收费,并直接体现在您的账户账单中。NewSQL范围:涉及MaxCompute2.0新的基本数据类型与内建函数、复杂类型的扩充、CTE,VALUES,SEMIJOIN 、脚本模式与参数化视图、SELECT TRANSFORM 等。

价格调整内容
涉及2.0新的基本数据类型与内建函数、复杂类型的扩充、CTE,VALUES,SEMIJOIN 、脚本模式与参数化视图、SELECT TRANSFORM 等。

如需了解更多关于MaxCompute, 欢迎加入“MaxCompute开发者交流”钉钉群,群号:11782920,或扫码入群

image

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
11天前
|
人工智能 分布式计算 Cloud Native
阿里云大数据AI产品月刊-2025年9月
大数据& AI 产品技术月刊【2025年 9 月】,涵盖 9 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
阿里云大数据AI产品月刊-2025年9月
|
3月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
173 0
|
3月前
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
279 0
|
1月前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
185 1
|
1月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
144 1
|
存储 机器学习/深度学习 人工智能
阿里云ODPS:在AI浪潮之巅,铸就下一代智能数据根基
在智能爆炸时代,ODPS正从传统数据平台进化为“AI操作系统”。面对千亿参数模型与实时决策挑战,ODPS通过流批一体架构、多模态处理、智能资源调度等技术创新,大幅提升效率与智能化水平。从自动驾驶到医疗联合建模,从数字孪生到低代码AI开发,ODPS正重塑企业数据生产力,助力全球客户在算力洪流中抢占先机。
135 0
|
24天前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
103 14
|
2月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
96 0
|
3月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
108 4

相关产品

  • 云原生大数据计算服务 MaxCompute