阿里云MaxCompute 2018-5月刊

简介: 5月,MaxCompute提供全表扫描的设置操作,可允许或禁止全表扫描;支持OSS上的Hive文件格式;支持OSS压缩格式GZIP。。。更多新功能新体验,欢迎阅读本文了解。

5月MaxCompute又发布哪些新功能,优化了哪些产品体验呢?小编带你一起看~

image

【新功能】 MaxCompute提供全表扫描的设置操作

以开关的形式,通过设置允许或禁止全表扫描。true为允许,false为禁止 项目级别控制:setproject odps.sql.allow.fullscan=false/true Session级别控制:set odps.sql.allow.fullscan=false/true 参考文档

【体验优化】MaxCompute Optimizer - Join Grouping优化

用户query有多个连续的join时,并且这些join有共同的join key,MaxCompute Optimizer会将这些join合并成multi-way join,多路join的输入数据直接shuffle到同一个stage,在做multi-way join时直接将多路的数据来做join,能减少不需要的中间join的数据量,减少整个query的stage,加速query执行。

【新功能】MaxCompute非结构化功能支持RAM子账号

MaxCompute非结构化处理框架,新增支持RAM子账号创建外部表 参考文档

【新功能】MaxCompute支持OSS上的Hive文件格式

MaxCompute非结构化,新增支持读取OSS上的开源数据格式:PARQUET、RCFILE 参考文档

【新功能】MaxCompute支持OSS压缩格式GZIP

MaxCompute支持OSS压缩格式-内置StorageHandler支持gzip的读/写压缩 参考文档

【新功能】MaxCompute SQL支持STRUCT复杂类型的排序与比较

MaxCompute SQL支持 STRUCT类型,并且可以任意嵌套使用,同时Java UDF也同样支持STRUCT,用户可以直接将复杂类型传入UDF中 参考文档

【新功能】MaxCompute SQL 新语法 SEMI JOIN

MaxCompute SQL 新语法 SEMI JOIN,包括:LEFT SEMI JOIN,LEFT ANTI JOIN 参考文档

【新功能】MaxCompute SQL 支持 CASE/WHEN的隐式类型转换

新增MaxCompute SQL:CASE/WHEN 表达式的隐式转换规则 参考文档

【新功能】MaxCompute SQL支持更多的内置函数

聚合函数:VARIANCE/VAR_POP、VAR_SAMP、COVAR_POP、COVAR_SAMP、PERCENTILE 字符函数:TRANSLATE 窗口函数:NTILE 其他函数:NVL 参考文档

【新功能】MaxCompute SQL支持Select Transform语言功能

SELECT TRANSFORM 功能允许用户指定启动一个子进程,将输入数据按照一定的格式通过stdin输入子进程,并且通过parse子进程的stdout输出,来获取输出数据。适合实现MaxCompute SQL没有的功能又不想写UDF的情况。

【价格调整】MaxCompute 2.0 NewSQL新特性商业化收费

MaxCompute2.0 NewSQL 采用的计费标准为:一次 SQL 计算费用 = 计算输入数据量 SQL 复杂度 SQL 价格。当天的所有计量信息在第二天做一次性汇总收费,并直接体现在您的账户账单中。NewSQL范围:涉及MaxCompute2.0新的基本数据类型与内建函数、复杂类型的扩充、CTE,VALUES,SEMIJOIN 、脚本模式与参数化视图、SELECT TRANSFORM 等。

价格调整内容
涉及2.0新的基本数据类型与内建函数、复杂类型的扩充、CTE,VALUES,SEMIJOIN 、脚本模式与参数化视图、SELECT TRANSFORM 等。

如需了解更多关于MaxCompute, 欢迎加入“MaxCompute开发者交流”钉钉群,群号:11782920,或扫码入群

image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
20天前
|
人工智能 数据管理 Serverless
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
22 2
|
20天前
|
人工智能 运维 Cloud Native
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
20 2
|
4天前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
211 0
|
20天前
|
人工智能 数据管理 大数据
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
24 2
|
20天前
|
人工智能 运维 数据管理
阿里云数据库走向Serverless与AI驱动的一站式数据平台
阿里云数据库走向Serverless与AI驱动的一站式数据平台
24 2
|
24天前
|
人工智能 Cloud Native 数据管理
阿里云数据库:向Serverless与AI驱动的一站式数据平台迈进
众所周知,在人工智能迅猛发展的现在,在AI驱动下的数据平台,正在向一站式、智能化的方向演进,还有就是云原生+Serverless的不断深入,一站式数据平台将让数据管理开发像“搭积木”一样简单实用,以性价比更高、体验更优的云数据库服务,助推用户业务提效增速。据悉阿里云数据库正在朝着Serverless与AI驱动的方向发展,构建一站式、智能化的数据平台,这一发展趋势将为用户提供更简单、实用的数据管理开发体验,以提高业务效率和降低成本。那么本文就来分享一下如何看待阿里云数据库的这一转变,并展望云原生和Serverless对数据管理与开发的未来带来的更多可能性。
44 1
阿里云数据库:向Serverless与AI驱动的一站式数据平台迈进
|
1月前
|
人工智能 分布式计算 大数据
重磅!阿里云在海外市场推出系列AI大数据产品
重磅!阿里云在海外市场推出系列AI大数据产品
34 1
|
2月前
|
人工智能 大数据 Anolis
龙蜥多款镜像登陆阿里云 ACR 制品中心 AI /大数据镜像专场推荐榜
龙蜥社区作为 ACR 制品中心的重要合作伙伴,持续贡献丰富、安全、便捷、稳定的容器镜像,所贡献的镜像连续上榜 ACR 制品中心!
|
3月前
|
分布式计算 运维 DataWorks
松柏之志,下聚百川-松下中国阿里云大数据实践
松下集团在中国及东北亚地区拥有有64家法人公司,员工人数约4万人,业务范围涉及研究开发,养老、铸件、汽车、车载、能源、电池等多个方面,这些多元化的业务组合为松下常年可持续性发展提供坚实保障。中国地区的松下已有30多年的历史,集合了研发、生产、制造、流通、销售、服务于一体。 互联网浪潮下,松下作为百年传统制造业企业,在务实的坚实基础上进行创新,本文将围绕数字化改革中所遇挑战,松下数据治理实践及未来期待三部分进行说明。
101432 13
松柏之志,下聚百川-松下中国阿里云大数据实践
|
3月前
|
存储 分布式计算 大数据
首批!阿里云MaxCompute完成中国信通院基于无服务器架构大数据平台测试
近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。
193 0

相关产品

  • 云原生大数据计算服务 MaxCompute