阿里云 MaxCompute 2021-8 月刊-阿里云开发者社区

开发者社区> 阿里巴巴大数据计算> 正文
登录阅读全文

阿里云 MaxCompute 2021-8 月刊

简介: 8月MaxCompute最新发布多项新功能,包括MaxCompute SQL 支持物化视图;流式数据通道服务功能商业化发布;SQL UPDATE、DELETE和MERGE INTO功能商业化发布;支持读取 OSS 上 Hudi、Delta Lake 格式文件;支持访问开启 Kerberos 认证授权机制的 Hadoop 集群。

本期月刊将为您带来 MaxCompute 8月产品最新动态。


导读

  • 8月产品发布最新动态
  • 8月技术直播回顾
  • 9月技术直播预告


8月产品发布最新动态


1、MaxCompute SQL 支持物化视图 查案文档 >>


适用客户

开发者、分析师、可以通过空间换时间的预计算方式提升查询效率的用户。


发布功能

MaxCompute SQL推出物化视图(Materialized View)功能。物化视图本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。

物化视图适用于如下场景:模式固定、且执行频次高的查询。查询包含非常耗时的操作,比如聚合、连接操作等。


创建了物化视图后,执行查询操作时,MaxCompute SQL查询改写能力会自动匹配到最优物化视图,并直接从物化视图中读取数据,从而大大提高查询效率,您不需要修改已有查询,例如改为从物化视图查询数据。


当前物化视图只支持手工更新或DataWorks调度更新,后续会进一步提供周期、自动更新,增量更新,外表支持等能力。


2、MaxCompute流式数据通道服务功能商业化发布 查案文档 >>


适用客户

有流计算Blink、数据通道DataHub、数据传输服务DTS、消息服务kafka、实时数据同步等场景的企业、机构。


发布功能

MaxCompute流式数据通道服务,支持API及插件方式实现流式数据无感知高QPS写入MaxCompute。

MaxCompute流式数据通道服务提供流式语义API支持,简化分布式服务开发操作。 支持分布式服务并发创建分区, 支持数据异步zorder by排序功能。


3、MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化发布 查案文档 >>


自2021年8月10日起,中国公共云MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化。


产品介绍

自2021年8月10日起,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测,开始正式计费。

已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业,届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能,届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。


价格调整内容

公测期间按量计费模式中包含UPDATE、DELETE和MERGE INTO关键字的SQL语句不计费。

商业化后SQL作业计费规则如下:

  • 如果MaxCompute项目的计费模式为包年包月,SQL计算费用不单独收费。
  • 如果MaxCompute项目的计费模式为按量计费,SQL计算费用计算规则调整为:单条SQL计算费用=计算输入数据量×SQL复杂度×单价(0.3元/GB)。其中:SQL复杂度通过SQL关键字个数折算。SQL关键字个数=JOIN个数+GROUP BY个数+ORDER BY个数+DISTINCT个数+窗口函数个数+MAX(INSERT个数|UPDATE个数|DELETE个数-1, 1)。


4、MaxCompute 支持读取 OSS 上 Hudi、Delta Lake 格式文件 查案文档 >>


适用客户

基于OSS 构建实时数据湖的客户,可以通过 MaxCompute 查询到实时数据,即时洞察业务数据变化。


发布功能

Delta Lake 和 Hudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute 基于阿里云 DLF、OSS产品提供了支持 Delta 或 Hudi 存储机制的湖仓一体架构。您可以通过 MaxCompute 查询到实时数据,即时洞察业务数据变化。


5、MaxCompute 支持访问开启 Kerberos 认证授权机制的 Hadoop 集群


适用客户

  • 已经基于 Hadoop、阿里云 EMR 集群搭建数据平台,并开启 Kerberos 认证授权机制的客户;
  • 对集群资源弹性有需求,希望利用 MaxCompute 的弹性与大规模机器学习能力,快速迭代创新业务的客户;
  • 企业有多个 Hadoop 集群,需要各个集群之间数据打通,利用 DataWorks 构建企业数据中台的客户。


发布功能

大部分企业的 Hadoop 的生产集群开启了 Kerberos 认证授权机制,本次功能升级能够利用 MaxCompute 访问开启 Kerberos 认证授权机制的 Hadoop 集群,极大的扩展了湖仓一体对接 Hadoop 的适用范围。


8月技术直播回顾


2021阿里巴巴大数据技术公开课第二季 — SaaS模式云数据仓库MaxCompute应用场景实践


「 第一讲 」基于MaxCompute的智能推荐解决方案   直播回放 >> 阅读文字版 >>

「 第二讲 」基于MaxCompute+开放搜索的电商、零售行业搜索开发实践   直播回放 >> 阅读文字版 >>

「 第三讲 」基于MaxCompute+PAI的用户增长方案实践   直播回放 >> 阅读文字版 >>

「 第四讲 」基于MaxCompute的实时数据处理实践   直播回放 >> 阅读文字版 >>


9月技术直播预告


2021阿里巴巴大数据技术公开课第二季 — SaaS模式云数据仓库MaxCompute应用场景实践


「 第五讲 」基于MaxCompute分布式Python能力的大规模数据科学分析   9月8日 17:00-17:30

「 第六讲 」基于MaxCompute +Hologres 的人群圈选和数据服务实践   9月15日 17:00-17:30

「 第七讲 」基于 MaxCompute SQL 的半结构化数据处理实践   9月22日 17:00-17:30

「 第八讲 」基于Delta lake、Hudi格式的湖仓一体方案   9月24日 17:00-17:30

扫描下方二维码加入钉群观看直播


有二维码.png

MaxCompute 二维码拼图-第 4 页.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里巴巴大数据计算
使用钉钉扫一扫加入圈子
+ 订阅

阿里大数据官方技术圈

官方博客
最新文章
相关文章
链接