阿里云MaxCompute 2019-10 月刊

您好，MaxCompute 2019.10月刊为您带来10月产品、技术最新动态，欢迎阅读。订阅 MaxCompute 月刊 >>


导读

【重要发布】10月产品重要发布

【文档更新】10月重要文档更新

【干货精选】10月精选技术文章

【技术活动】活动回顾与预告

【重要发布】10月产品重要发布

1. 支持新运算符     查看详情 >>>

支持新运算符，丰富MaxCompute计算场景，用户使用更加灵活。

适用客户
MaxCompute公共云客户

发布功能
1) IS [NOT] DISTINCT FROM：
例如：a IS DISTINCT FROM b，相当于not(a<=>b);a IS NOt DISTINCT FROM b相当于 a<=>b
2) A||B：字符串连接操作符(||) ：
例如：a||b||c 相当于concat(a, b, c)


2. 支持自然连接NATURAL JOI     查看详情 >>>

支持自然连接NATURAL JOIN，提升了MaxCompute SQL引擎的JOIN能力，用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
支持自然连接（Natural Join） 即参与JOIN的两张表根据字段名字自动决定连接字段。支持 outer natural join，支持使用using字段执行join，输出字段中公共字段只出现一次。例如：表src的字段(key1, key2, a1, a2)，表src2的字段(key1, key2, b1, b2)，SELECT * FROM src NATURAL JOIN src2; 由于 src 和 src2 有两个同名字段 （key1, key2) ，所以相当于：SELECT src.key1 as key1, src.key2 as key2, src.a1, src.a2, src2.b1, src2.b2 FROM src INNER JOIN src2 ON src.key1 = src2.key1 AND src.key2 = src2.key2;


3. 支持LIMIT OFFSET     查看详情 >>>

支持LIMIT OFFSET，MaxCompute SQL引擎能力提升，用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
OFFSET 和 ORDER BY LIMIT语句配合，可以指定跳过OFFSET数目的行。例如：SELECT * FROM src ORDER BY key LIMIT 20 OFFSET 10；将 src 按照 key从小到大排序后，输出第11到第30行 （OFFSET 10 指定跳过前10行，LIMIT 20 指定最多输出20行）


4. 新增内置函数JSON_TUPLE和EXTRACT     查看详情 >>>

新增内置函数JSON_TUPLE和EXTRACT，MaxCompute SQL引擎能力提升，用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
新增字符串函数JSON_TUPLE、日期函数EXTRACT。格式说明：STRING JSON_TUPLE(STRING json,STRING key1,STRING key2,...)，用于一个标准的JSON字符串中，按照输入的一组键（key1,key2,...）抽取各个键指定的字符串。INT EXTRACT( from )，提取日期的一部分。


5. JOIN与SETOP支持括号指定优先级     查看详情 >>>

JOIN与SETOP支持括号指定优先级，MaxCompute SQL引擎能力提升，客户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
支持通过括号指定JOIN的优先级，括号内的JOIN优先级较高。如下JOIN语句中，先执行src2 JOIN src3得出结果后再执行与src的JOIN。例如：SELECT * FROM src JOIN (src2 JOIN src3 on xxx) ON yyy;


6. MaxCompute支持分区合并     查看详情 >>>

MaxCompute 有分区数量上限6万的限制，当分区数量过多时，可使用合并分区功能，对数仓数据进行归档。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute支持合并分区，对数仓数据进行归档，将同一个表下多个分区数据快速合并成一个分区, 并删除之前分区, 把数据移动到指定的分区下。


7. MaxCompute支持VPC网络IP白名单设置     查看详情 >>>

MaxCompute支持VPC网络IP白名单设置，客户安全管理更加灵活。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute支持VPC网络IP白名单设置。


8. 新增flag支持只grouy by / order by 字段序号，而不用写字段名     查看详情 >>>

新增flag支持只grouy by / order by 字段序号，而不用写字段名，SQL语法更丰富，书写更灵活。

适用客户
MaxCompute公共云客户

发布功能
1） 当sql语句set flagset hive.groupby.position.alias=true;时，GROUP BY 中的整形常量会被当做select的列序号处理。示例：set hive.groupby.position.alias=true; select region, sum(total_price) from sale_detail group by 1;（常量1代表select的列中第一列即region）；
2） 当sql语句set flagset hive.orderby.position.alias=true;时，ORDER BY 中的整形常量会被当做select的列序号处理。例如：表src的列为（key BIGINT，value BIGINT） SELECT FROM src ORDER BY 2 limit 100; 等同于SELECT FROM src ORDER BY value limit 100。


9. 支持一次增加或删除多个分区     查看详情 >>>

支持一次增加或删除多个分区，使客户对分区管理更加灵活。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute的DDL语义升级，支持一次增加或删除多个分区的操作，用户可执行批量的分区管理操作，提升了数仓管理操作的效率。


10. 支持指定表的列默认值     查看详情 >>>

支持指定表的列默认值，提升了MaxCompute DDL的能力，用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
DEFAULT value 指定列的默认值，当insert操作不指定该列时，该列写入默认值。[(col_name data_type [DEFAULT value] [COMMENT col_comment], ...)]

【文档更新】10月重要文档更新     更多文档 >>>

1. 新增Hive迁移到MaxCompute最佳实践视频
   
2. 新增成本优化最佳实践
   
3. 新增PyODPS示例 PyDOPS的排序 > PyODPS的去重 > PyODPS的采样 > PyODPS的数据缩放 > PyODPS的空值处理 >
   
4. 新增支持VPC网络IP白名单设置 项目空间操作 > 设置IP白名单 >
   
   

【干货精选】10月精选技术文章     更多详情 >>>

1. 最全合集】[一文看尽 2019杭州云栖大会 MaxCompute 技术分享
   
2. 如何有效降低大数据平台安全风险
   
3. 丰富、连接、待集成—MaxCompute 生态再出发
   
4. 混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践
5. 阿里巴巴大数据技术关键进展及展望
   
   

【技术活动】回顾和预告

【双11】MaxCompute 限时折扣,预付费标准版年付8折。活动时间：11月1日-11月11日

活动回顾

《技术直播 kafka 数据如何同步到 MaxCompute 》2019.10.22 19:00-19:40

<直播简介> 主要介绍Kafka产品的原理和使用方式，以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。

视频回放 >>>
分享资料下载 >>>

《Hadoop 数据如何同步至 MaxCompute》 2019.10.29 19:00-19:40

<直播简介> **云下Hadoop用户如何快速、平滑的迁移到阿里云MaxComute大数据生态？如何快速完成数据和业务的迁移以及生态系统的对接？MaxCompute提供了数据迁移工具-MMA，支持Meta、数据、作业和工作流的批量自动化迁移，帮助客户高效、低成本的上云，快速构建云上业务。

视频回放 >>>
分享资料下载 >>>

活动预告

《MySQL/RDS 数据如何同步到 MaxCompute》 2019.11.5 19:00-19:40

【直播简介】主要讲解MySQL/RDS业务数据如何通过DataWorks数据集成或DTS同步到MaxCompute。
【观看直播】MaxCompute开发者社区2群


《日志数据如何同步到 MaxCompute》 2019.11.12 19:00-19:40

【直播简介】主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。
【观看直播】MaxCompute开发者社区2群

点击链接加入 MaxCompute开发者社区2群 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入