阿里云 MaxCompute 2021年4-6月刊合集

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本次月刊合集包含 MaxCompute 近期功能发布及商业化动态,更推荐10篇技术及实践文章供产品用户阅读了解。

欢迎通过本期月刊了解 MaxCompute 2021年4月-6月产品动态


1、MaxCompute 支持 Dynamic Filter 智能优化功能提高任务执行效率  查看文档 >>


适用客户

开发者、分析师、SQL优化用户


发布功能

JOIN是分布式系统中常见的操作,在海量数据场景下,也是一个非常耗时、耗资源的操作。针对JOIN场景,MaxCompute推出Dynamic Filter 智能优化功能,可以利用JOIN本身的等值连接属性,基于运行时动态生成过滤器,在Shuffle或JOIN之前提前过滤数据,实现加速查询运行。


该功能适用于维度表和事实表执行JOIN的场景。您可以在Session级别通过开关强制打开、智能选择打开或手工提示使用动态过滤器,并使用动态分区裁剪方法先过滤分区再使用动态过滤器。



2、2021年8月10日 MaxCompute 流式数据通道服务功能商业化


2021年8月10日,MaxCompute 流式数据通道服务功能即将结束免费公测,开始对流式数据通道服务写入的数据按量计费。


计费公式及规则:

流式数据写入费用 = 流式写入数据量(GB)×流式数据写入价格(0.08元/GB)

  • MaxCompute为每个MaxCompute项目每天提供100GB的免费流量,当天写入数据量超出100GB部分按上述计费公式计费。
  • MaxCompute会按天推送您的流式写入计量信息,并在第二天给出您的流式写入费用账单。
  • 流式写入数据量:指写入请求的HTTP Body的大小。承载数据的HTTP Body使用ProtoBuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。

MaxCompute 流式数据通道服务功详情参见 流式数据通道服务概述。计费详情参见 流式数据写入费用(按量计费)



3、2021年8月10日 MaxCompute SQL 的 UPDATE、DELETE和MERGE INTO功能商业化


2021年8月10日,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能即将结束免费公测,开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业,届时会产生计算费用。


如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能,届时可以放心使用。

MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等保障。

计费公式及规则:

  • 如果MaxCompute项目的计费模式为包年包月,计算费用不单独收费。
  • 如果MaxCompute项目的计费模式为按量计费,计算费用计算规则调整为:单条SQL计算费用=计算输入数据量×SQL复杂度×单价(0.3元/GB)。其中:SQL复杂度通过SQL关键字个数折算。SQL关键字个数=JOIN个数+GROUP BY个数+ORDER BY个数+DISTINCT个数+窗口函数个数+MAX(INSERT个数|UPDATE个数|DELETE个数-1, 1)。

 

如果您担心费用超出预期,可以配置消费监控告警控制消费。更多监控告警信息,请参见 消费监控告警

您还需要注意如下内容:

  • 如果MaxCompute项目的计费模式为按量计费,MaxCompute会根据UPDATE、DELETE和MERGE INTO语句扫描的输入数据量×SQL复杂度×单价计算费用。当您对Transactional表执行更新或删除操作后会生成Delta文件,Delta文件积累较多后会造成数据膨胀并影响读取性能,也会逐渐增大扫描数据量,增加费用。即使MaxCompute项目的计费模式为包年包月,也会占用更多资源,影响后续作业执行效率。您可以通过Compact方法合并Delta文件,更多语法信息请参见 合并Transactional表文件
  • MaxCompute会按照批处理方式执行delete、update作业,每一条语句都会使用资源并产生费用,建议您使用批量方式删除或更新数据,请参见 更新或删除数据(UPDATE | DELETE)。命令示例如下

        --推荐方案:使用关联方法,一次改写或删除所有需要操作的数据。 update table1 set col1= (select value1 from table2 where table1.id = table2.id and table1.region = table2.region);

        --不推荐方案:逐行操作。 update table1 set col1=1 where id='2021063001'and region='beijing'; update table1 set col1=2 where id='2021063002'and region='beijing'; ......



4、MaxCompute 视频中心全新改版上线  视频中心>>


MaxCompute 新版视频中心包含产品发布会、大数据系列公开课、近年云栖大会精彩演讲、行业客户案例、最佳实践、人物专访等内容,方便您一站式获取MaxCompute相关的视频信息。

 


5、精选技术及实践文章




MaxCompute 产品官网 >>

阅读往期月刊 >>

阿里云 MaxCompute 2021-3 月刊 >>


更多关于大数据计算、云数仓技术交流,欢迎扫码加入 “MaxCompute开发者社区” 钉钉群

哈哈哈哈.png



相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
3月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
154 0
|
3月前
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
224 0
|
27天前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
122 1
|
1月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
|
3月前
|
人工智能 分布式计算 DataWorks
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
阿里云ODPS技术栈通过MaxCompute、Object Table与MaxFrame等核心组件,实现了多模态数据的高效处理与智能分析。该架构支持结构化与非结构化数据的统一管理,并深度融合AI能力,显著降低了分布式计算门槛,推动企业数字化转型。未来,其在智慧城市、数字医疗、智能制造等领域具有广泛应用前景。
331 6
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
|
存储 机器学习/深度学习 人工智能
阿里云ODPS:在AI浪潮之巅,铸就下一代智能数据根基
在智能爆炸时代,ODPS正从传统数据平台进化为“AI操作系统”。面对千亿参数模型与实时决策挑战,ODPS通过流批一体架构、多模态处理、智能资源调度等技术创新,大幅提升效率与智能化水平。从自动驾驶到医疗联合建模,从数字孪生到低代码AI开发,ODPS正重塑企业数据生产力,助力全球客户在算力洪流中抢占先机。
119 0
|
5天前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
62 14
|
2月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
74 0
|
3月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
91 4

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute