阿里云 MaxCompute 2021年4-6月刊合集

欢迎通过本期月刊了解 MaxCompute 2021年4月-6月产品动态

1、MaxCompute 支持 Dynamic Filter 智能优化功能提高任务执行效率  查看文档 >>

适用客户

开发者、分析师、SQL优化用户

发布功能

JOIN是分布式系统中常见的操作，在海量数据场景下，也是一个非常耗时、耗资源的操作。针对JOIN场景，MaxCompute推出Dynamic Filter 智能优化功能，可以利用JOIN本身的等值连接属性，基于运行时动态生成过滤器，在Shuffle或JOIN之前提前过滤数据，实现加速查询运行。

该功能适用于维度表和事实表执行JOIN的场景。您可以在Session级别通过开关强制打开、智能选择打开或手工提示使用动态过滤器，并使用动态分区裁剪方法先过滤分区再使用动态过滤器。

2、2021年8月10日 MaxCompute 流式数据通道服务功能商业化

2021年8月10日，MaxCompute 流式数据通道服务功能即将结束免费公测，开始对流式数据通道服务写入的数据按量计费。

计费公式及规则：

流式数据写入费用 = 流式写入数据量（GB）×流式数据写入价格（0.08元/GB）

• MaxCompute为每个MaxCompute项目每天提供100GB的免费流量，当天写入数据量超出100GB部分按上述计费公式计费。
• MaxCompute会按天推送您的流式写入计量信息，并在第二天给出您的流式写入费用账单。
• 流式写入数据量：指写入请求的HTTP Body的大小。承载数据的HTTP Body使用ProtoBuffer编码，因此一般比数据原始容量要小，但是比压缩后存储在MaxCompute上的数据量要大。

MaxCompute 流式数据通道服务功详情参见 流式数据通道服务概述。计费详情参见 流式数据写入费用（按量计费）。

3、2021年8月10日 MaxCompute SQL 的 UPDATE、DELETE和MERGE INTO功能商业化

2021年8月10日，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能即将结束免费公测，开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业，届时会产生计算费用。

如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能，届时可以放心使用。

MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等保障。

计费公式及规则：

• 如果MaxCompute项目的计费模式为包年包月，计算费用不单独收费。
• 如果MaxCompute项目的计费模式为按量计费，计算费用计算规则调整为：单条SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）。其中：SQL复杂度通过SQL关键字个数折算。SQL关键字个数=JOIN个数+GROUP BY个数+ORDER BY个数+DISTINCT个数+窗口函数个数+MAX（INSERT个数|UPDATE个数|DELETE个数-1, 1）。

如果您担心费用超出预期，可以配置消费监控告警控制消费。更多监控告警信息，请参见 消费监控告警。

您还需要注意如下内容：

• 如果MaxCompute项目的计费模式为按量计费，MaxCompute会根据UPDATE、DELETE和MERGE INTO语句扫描的输入数据量×SQL复杂度×单价计算费用。当您对Transactional表执行更新或删除操作后会生成Delta文件，Delta文件积累较多后会造成数据膨胀并影响读取性能，也会逐渐增大扫描数据量，增加费用。即使MaxCompute项目的计费模式为包年包月，也会占用更多资源，影响后续作业执行效率。您可以通过Compact方法合并Delta文件，更多语法信息请参见 合并Transactional表文件。
• MaxCompute会按照批处理方式执行delete、update作业，每一条语句都会使用资源并产生费用，建议您使用批量方式删除或更新数据，请参见 更新或删除数据（UPDATE | DELETE）。命令示例如下

        --推荐方案：使用关联方法，一次改写或删除所有需要操作的数据。 update table1 set col1= (select value1 from table2 where table1.id = table2.id and table1.region = table2.region);

        --不推荐方案：逐行操作。 update table1 set col1=1 where id='2021063001'and region='beijing'; update table1 set col1=2 where id='2021063002'and region='beijing'; ......

4、MaxCompute 视频中心全新改版上线  视频中心>>

MaxCompute 新版视频中心包含产品发布会、大数据系列公开课、近年云栖大会精彩演讲、行业客户案例、最佳实践、人物专访等内容，方便您一站式获取MaxCompute相关的视频信息。

5、精选技术及实践文章

• 数仓架构的持续演进与发展 — 云原生、湖仓一体、离线实时一体、SaaS模式
• 如何基于 MaxCompute 快速打通数据仓库和数据湖的湖仓一体实践
• MaxCompute 中如何通过logview诊断慢作业
• MaxCompute 挑战使用SQL进行序列数据处理
• MaxCompute 造数据-方法详解
• 使用MaxCompute LOAD命令批量导入OSS数据最佳实践—STS方式LOAD开启KMS加密OSS数据
• MaxCompute 非事务表如何更新数据
• Azkaban业务流程如何转化为DataWorks业务流程
• [JDBC] Kettle on MaxCompute 使用指南
• UDF精简使用大全

MaxCompute 产品官网 >>

阅读往期月刊 >>

阿里云 MaxCompute 2021-3 月刊 >>

更多关于大数据计算、云数仓技术交流，欢迎扫码加入 “MaxCompute开发者社区” 钉钉群