阿里云MaxCompute 2019-10 月刊-阿里云开发者社区

开发者社区> 晋恒> 正文

阿里云MaxCompute 2019-10 月刊

简介: MaxCompute支持分区合并,支持VPC网络IP白名单设置,支持自然连接NATURAL JOIN等新功能尽在10月刊。
+关注继续查看

您好,MaxCompute 2019.10月刊为您带来10月产品、技术最新动态,欢迎阅读。订阅 MaxCompute 月刊 >>


导读

【重要发布】10月产品重要发布

【文档更新】10月重要文档更新

【干货精选】10月精选技术文章

【技术活动】活动回顾与预告


【重要发布】10月产品重要发布

1. 支持新运算符     查看详情 >>>

支持新运算符,丰富MaxCompute计算场景,用户使用更加灵活。

适用客户
MaxCompute公共云客户

发布功能
1) IS [NOT] DISTINCT FROM:
例如:a IS DISTINCT FROM b,相当于not(a<=>b);a IS NOt DISTINCT FROM b相当于 a<=>b
2) A||B:字符串连接操作符(||) :
例如:a||b||c 相当于concat(a, b, c)


2. 支持自然连接NATURAL JOI     查看详情 >>>

支持自然连接NATURAL JOIN,提升了MaxCompute SQL引擎的JOIN能力,用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
支持自然连接(Natural Join) 即参与JOIN的两张表根据字段名字自动决定连接字段。支持 outer natural join,支持使用using字段执行join,输出字段中公共字段只出现一次。例如:表src的字段(key1, key2, a1, a2),表src2的字段(key1, key2, b1, b2),SELECT * FROM src NATURAL JOIN src2; 由于 src 和 src2 有两个同名字段 (key1, key2) ,所以相当于:SELECT src.key1 as key1, src.key2 as key2, src.a1, src.a2, src2.b1, src2.b2 FROM src INNER JOIN src2 ON src.key1 = src2.key1 AND src.key2 = src2.key2;


3. 支持LIMIT OFFSET     查看详情 >>>

支持LIMIT OFFSET,MaxCompute SQL引擎能力提升,用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
OFFSET 和 ORDER BY LIMIT语句配合,可以指定跳过OFFSET数目的行。例如:SELECT * FROM src ORDER BY key LIMIT 20 OFFSET 10;将 src 按照 key从小到大排序后,输出第11到第30行 (OFFSET 10 指定跳过前10行,LIMIT 20 指定最多输出20行)


4. 新增内置函数JSON_TUPLE和EXTRACT     查看详情 >>>

新增内置函数JSON_TUPLE和EXTRACT,MaxCompute SQL引擎能力提升,用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
新增字符串函数JSON_TUPLE、日期函数EXTRACT。格式说明:STRING JSON_TUPLE(STRING json,STRING key1,STRING key2,...),用于一个标准的JSON字符串中,按照输入的一组键(key1,key2,...)抽取各个键指定的字符串。INT EXTRACT( from ),提取日期的一部分。


5. JOIN与SETOP支持括号指定优先级     查看详情 >>>

JOIN与SETOP支持括号指定优先级,MaxCompute SQL引擎能力提升,客户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
支持通过括号指定JOIN的优先级,括号内的JOIN优先级较高。如下JOIN语句中,先执行src2 JOIN src3得出结果后再执行与src的JOIN。例如:SELECT * FROM src JOIN (src2 JOIN src3 on xxx) ON yyy;


6. MaxCompute支持分区合并     查看详情 >>>

MaxCompute 有分区数量上限6万的限制,当分区数量过多时,可使用合并分区功能,对数仓数据进行归档。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute支持合并分区,对数仓数据进行归档,将同一个表下多个分区数据快速合并成一个分区, 并删除之前分区, 把数据移动到指定的分区下。


7. MaxCompute支持VPC网络IP白名单设置     查看详情 >>>

MaxCompute支持VPC网络IP白名单设置,客户安全管理更加灵活。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute支持VPC网络IP白名单设置。


8. 新增flag支持只grouy by / order by 字段序号,而不用写字段名     查看详情 >>>

新增flag支持只grouy by / order by 字段序号,而不用写字段名,SQL语法更丰富,书写更灵活。

适用客户
MaxCompute公共云客户

发布功能
1) 当sql语句set flagset hive.groupby.position.alias=true;时,GROUP BY 中的整形常量会被当做select的列序号处理。示例:set hive.groupby.position.alias=true; select region, sum(total_price) from sale_detail group by 1;(常量1代表select的列中第一列即region);
2) 当sql语句set flagset hive.orderby.position.alias=true;时,ORDER BY 中的整形常量会被当做select的列序号处理。例如:表src的列为(key BIGINT,value BIGINT) SELECT FROM src ORDER BY 2 limit 100; 等同于SELECT FROM src ORDER BY value limit 100。


9. 支持一次增加或删除多个分区     查看详情 >>>

支持一次增加或删除多个分区,使客户对分区管理更加灵活。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute的DDL语义升级,支持一次增加或删除多个分区的操作,用户可执行批量的分区管理操作,提升了数仓管理操作的效率。


10. 支持指定表的列默认值     查看详情 >>>

支持指定表的列默认值,提升了MaxCompute DDL的能力,用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
DEFAULT value 指定列的默认值,当insert操作不指定该列时,该列写入默认值。[(col_name data_type [DEFAULT value] [COMMENT col_comment], ...)]

【文档更新】10月重要文档更新     更多文档 >>>

  1. 新增Hive迁移到MaxCompute最佳实践视频
  2. 新增成本优化最佳实践
  3. 新增PyODPS示例 PyDOPS的排序 > PyODPS的去重 > PyODPS的采样 > PyODPS的数据缩放 > PyODPS的空值处理 >
  4. 新增支持VPC网络IP白名单设置 项目空间操作 > 设置IP白名单 >

【干货精选】10月精选技术文章     更多详情 >>>

  1. 最全合集】[一文看尽 2019杭州云栖大会 MaxCompute 技术分享
  2. 如何有效降低大数据平台安全风险
  3. 丰富、连接、待集成—MaxCompute 生态再出发
  4. 混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践
  5. 阿里巴巴大数据技术关键进展及展望

【技术活动】回顾和预告

【双11】MaxCompute 限时折扣,预付费标准版年付8折。活动时间:11月1日-11月11日

活动回顾

《技术直播 kafka 数据如何同步到 MaxCompute 》2019.10.22 19:00-19:40

<直播简介> 主要介绍Kafka产品的原理和使用方式,以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。

视频回放 >>>
分享资料下载 >>>

《Hadoop 数据如何同步至 MaxCompute》 2019.10.29 19:00-19:40

<直播简介> **云下Hadoop用户如何快速、平滑的迁移到阿里云MaxComute大数据生态?如何快速完成数据和业务的迁移以及生态系统的对接?MaxCompute提供了数据迁移工具-MMA,支持Meta、数据、作业和工作流的批量自动化迁移,帮助客户高效、低成本的上云,快速构建云上业务。

视频回放 >>>
分享资料下载 >>>

活动预告

《MySQL/RDS 数据如何同步到 MaxCompute》 2019.11.5 19:00-19:40

【直播简介】主要讲解MySQL/RDS业务数据如何通过DataWorks数据集成或DTS同步到MaxCompute。
【观看直播】MaxCompute开发者社区2群


《日志数据如何同步到 MaxCompute》 2019.11.12 19:00-19:40

【直播简介】主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。
【观看直播】MaxCompute开发者社区2群

点击链接加入 MaxCompute开发者社区2群 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
22597 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
6900 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7749 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
5455 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
2137 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
16808 0
+关注
晋恒
大数据计算服务MaxCompute产品运营
190
文章
22
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载