阿里云 MaxCompute 2020-7 月刊-阿里云开发者社区

开发者社区> 晋恒> 正文

阿里云 MaxCompute 2020-7 月刊

简介: 2020年7月,MaxCompute发布使用包年包月计算资源作业支持优先级功能等8项功能,并于8月5日重磅发布企业级安全新能力,解读SaaS模式云数据仓库MaxCompute数据的持续保护。
+关注继续查看

2020年8月5日 “MaxCompute企业级安全新能力发布”,解读SaaS模式云数据仓库MaxCompute数据的持续保护。
了解发布详情>>

【7月新发布功能】

1.MaxCompute使用包年包月计算资源作业支持优先级功能

MaxCompute支持作业优先级的功能可以更合理分配使用包年包月计算资源,给高优先级业务加一道保障。

适用客户
适用于MaxCompute使用包年包月计算资源的用户。

发布功能
使用MaxCompute包年包月计算资源时,资源池为独享同时也是有限的,而业务优先级不同,对应的任务也有不同优先级,当任务都处在资源等待状态时,通过优先级功能,可以让优先级高的任务优先获取到资源执行,从而更合理分配使用有限的计算资源。

此功能同时支持关联DataWorks调度任务基线优先级,若通过DataWorks使用MaxCompute,且有调度任务,可以根据业务划分调度任务优先级,当调度任务发起MaxCompute job时,对应的优先级会传到MaxCompute转化成MaxCompute的优先级。

开启使用优先级功能前,务必要先梳理好各任务/流程优先级,避免滥用高优先级从而达不到预定的效果。

查看文档 >>


2.MaxCompute管家支持对包年包月配额组分时管理

MaxCompute管家支持对包年包月配额组分时管理,满足对不同工作负载能力的项目时段进行资源隔离,避免相互干扰,提高资源使用率。

适用客户
MaxCompute包年包月计算资源用户

发布功能
MaxCompute包年包月资源可以通过MaxCompute管家进行配额管理,新支持的配额组分时功能,可以实现因不同项目(开发、生产)1天之内对资源使用的时段不同而需要对配额组按照时段来分配大小的需求,从而满足时段的差异化资源需求,更大化提高资源使用效率。

分时配额功能主要是支持包年包月的预留型计算资源的分时设置,可以根据业务需求,对配额进行分时,然后划分N个包年包月资源配额组,每个配额组每个时段设置具体的预留CU最大和最小值,并关联对应的project。如生产项目关联的配额组在夜间时段可分配多些预留资源,而开发项目管理的配额组可在白天开发高峰期分配多些预留资源,由此隔离生产/开发/不同工作负载的能力,更大化提高资源使用率。

查看文档 >>


3.MaxCompute 使用包年包月计算资源的Project支持指定SQL任务使用按量付费计算资源

MaxCompute支持包年包月项目中的SQL使用按量计费资源,突破了独享资源的局限,从而更灵活更合理的使用包年包月资源。

适用客户
MaxCompute包年包月计算资源用户

发布功能
MaxCompute使用包年包月的项目支持指定SQL提交到关联的按量付费计算资源池执行。在使用此功能前,需要先开通对应区域的按量付费服务,还要评估哪些使用包年包月资源的项目有SQL任务需要指定使用按量付费计算资源。确认好后,通过MaxCompute 管家将包年包月的项目增加按量付费配额组,再在对应包年包月项目指定SQL作业使用按量付费资源运行,指定好后此SQL每次执行会直接提交到按量付费资源池中执行,执行成功则按量付费。

在该功能之前,同个项目同个业务需求有任务需求使用按量付费资源池时,需要单独创建按量付费项目并在项目中创建任务进行执行,还需要打通项目之间的权限,跨项目任务依赖等额外的管理工作,使用起来便捷性和体验都比较差,而“包年包月的项目支持指定SQL使用按量付费计算资源”功能将带来更好的使用体验从而提升工作效率。

查看文档 >>


4.MaxCompute新增项目的默认数据类型版本从1.0变更为2.0

MaxCompute通过DataWorks控制台新增项目时,项目的默认数据类型版本从1.0变更为2.0。

适用客户
MaxCompute公共云用户

发布功能
MaxCompute通过DataWorks控制台新增项目时,项目的默认数据类型版本从1.0变更为2.0。该变更已于2020年7月13日到2020年7月22日陆续对中国站各个区域进行了升级,并将于2020年7月29日到2020年8月6日陆续对国际站各个区域进行升级。如果您之前创建过存量项目,新建项目时需要选择合适的数据类型版本。不同数据类型版本的项目进行数据交互时可能会引起兼容性问题。

MaxCompute有3个数据类型版本,不同数据类型版本在定义和行为上有一定的差异。MaxCompute将数据类型相关属性组成3个组合,分别对应1.0数据类型版本、2.0数据类型版本和Hive兼容数据类型版本。详情请参见数据类型版本说明。

数据类型版本说明 >>
创建项目空间说明 >>


5.Python UDF支持更多数据类型

Python 2 UDF 和Python 3 UDF 支持更多数据类型。

适用客户
MaxCompute公共云用户。

发布功能
Python 2 和Python 3 的UDF/UDTF/UDAF 新增支持 DECIMAL、数据类型2.0的DECIMAL、复杂类型ARRAY、MAP、STRUCT和复杂类型嵌套。
目前Python UDF 支持数据类型包括BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、数据类型2.0的DECIMAL、复杂数据类型(ARRAY、MAP和STRUCT)和复杂数据类型嵌套。
目前Python 3 UDF 读资源表,即get_cache_table读取引用资源表的内容支持 BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、数据类型2.0的DECIMAL、FLOAT、CHAR、VARCHAR、BINARY、DATE、ARRAY、MAP和STRUCT数据类型。

Python 2 UDF >>
Python 3 UDF >>


6.MaxCompute新增APPROX_DISTINCT等内建聚合函数

MaxCompute新增内建聚合函数,包括APPROX_DISTINCT、ANY_VALUE、ARG_MAX、ARG_MIN等。

适用客户
MaxCompute公共云用户。

发布功能
MaxCompute新增内建聚合函数,包括APPROX_DISTINCT、ANY_VALUE、ARG_MAX、ARG_MIN等。
APPROX_DISTINCT(value) 返回输入的非重复值的近似数目。
ANY_VALUE(value) 实现在取值范围内任选一个值返回。
ARG_MAX(valueToMaximize, valueToReturn) 返回指定判断列最大值的行对应的指定返回列的值。
ARG_MIN(valueToMaximize, valueToReturn) 返回指定判断列最小值的行对应的指定返回列的值。

查看文档 >>


7.MaxCompute支持代码嵌入式UDF

MaxCompute的代码嵌入式UDF允许在SQL脚本中直接书写Java或Python代码。

适用客户
MaxCompute公共云用户。

发布功能
代码嵌入式UDF功能支持把Java或Python代码嵌入到SQL脚本中,即将SQL脚本和第三方代码放入同一个源码文件,减少了使用UDT或UDF的操作步骤,给日常开发和维护带来了便利。

在脚本编译的时候,编译器把嵌入代码识别并提取出来,做必要的编译(Java 代码),动态生成资源,然后结合创建临时函数(Temporary Function)的能力来注册函数。这样,您可以在一个SQL脚本中完成代码编译(Java)、添加资源、创建函数这一系列的操作。代码嵌入式UDF功能还能够解决维护人员阅读他人SQL代码时,无法查看含有UDF的代码内部实现逻辑,甚至有些jar包找不到源码的问题。

查看文档 >>


8.MaxCompute支持SQL语言定义函数

SQL语言定义函数允许在SQL中使用SQL定义的UDF并调用。

适用客户
MaxCompute公共云用户。

发布功能
MaxCompute UDF支持java或者Python定义,很多时候需要实现一些比较简单的的功能,而这些功能有的可以直接通过SQL来描述出来,因此MaxCompute支持SQL语言定义函数(SQL Function),避免编译(Java UDF),添加资源,创建函数等复杂操作,提高代码易读性和代码复用率。SQL Function 能够在SQL中使用SQL定义的UDF并调用。SQL Function可以接受 Function类型的参数。调用时传入的可以是内置函数、UDF 或者 Sql Functions。SQL Function 支持匿名函数,即接受 Function类型参数的SQL Function,调用时传入匿名函数。

SQL Function 作为一种用户自定义函数,弥补了之前系统只能用Java/Python写UDF的不足。此外还扩展了Function Type和匿名函数等特性,让您表达业务逻辑具有了更多的灵活性。

查看文档 >>

MaxCompute 产品官网 https://www.aliyun.com/product/odps
阅读往期月刊 https://yq.aliyun.com/publication/49
更多关于大数据计算产品技术交流,可扫码加入“MaxCompute开发者社区”钉钉群
二维码.JPG

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
6449 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7639 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
5027 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9346 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
2048 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
16353 0
+关注
晋恒
大数据计算服务MaxCompute产品运营
190
文章
22
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载