学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021

简介: VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。

一、顶会概览

 

VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。

 

作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。

 

多篇研究成果的发布离不开25位计算平台布道师和达摩院布道师花费大量时间撰写和修改,布道师们通过撰写论文和参加学术会议,借助布道的力量,传播阿里云技术优势,为推动开放共赢的云计算生态作出积极贡献。

 

二、首次提出多种执行模式和调度策略混合的动态设计


Fangorn在业界首次提出通过混合执行模式来管理分布式作业的设计,允许执行框架自动探索性能与资源利用间的最佳平衡。 其采用的组件间轻耦合的分层架构,能根据实时数据统计信息,对分布式作业进行多层次的动态调整,为MaxCompute以及PAI平台上的多种计算作业提供自适应的最优执行计划。


”如何在超大规模集群和系统中,同时管理多种计算负载的问题,是当前业界数据公司的重点研究方向“,Fangorn在这些方向上的创新,以及在MaxCompute等多个生产平台上的全面落地,为分布式系统的多层次优化打开了大门。

图片 1.png

Fangorn执行框架整体架构

 

三、首个基于TVR Cost模型的通用增量计算优化器框架

 

Tempura提出了一种介于传统流处理和批处理之间的全新增量计算模式,结合批处理的高资源利用率和流处理低延迟的优势,提供了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活权衡。提出了世界上首个基于TVR Cost模型的通用增量计算优化器框架,在集成众多现有增量计算方法的同时,用户可以随时增添任意自定义增量计算方法。


世界上首个落地生产的渐进式优化项目,在MaxCompute渐进式智能数据仓库业务中广泛使用,相比传统批处理,在缩短作业运行时间的同时,节省大量计算资源。

图片 2png.png

四、阿里云布道师、论文作者:

 

论文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on

Shared Clusters

陈颖达、王家忙、陆一峰、韩颖、吕志强、闵雪宾、才华、张炜、范浩川、李超、关涛、林伟、贾扬清、周靖人


论文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing

王作至、曾凯、黄柏彤、陈唯、崔晓宗、王博、刘吉、樊莉亚、渠大川、侯震宇、关涛、李晨、周靖人

 

五、延伸阅读:

 

VLDB全称International Conference on Very Large Date Bases,是数据库领域的顶级学术会议,和SIGMODICDE共同构成了数据管理与数据库领域的三大顶级会议。本次2021大会共收录了216篇Research Paper、23Industry Paper56Demo Paper

 

论文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clustershttp://vldb.org/pvldb/vol14/p2972-chen.pdf

 

论文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processinghttp://www.vldb.org/pvldb/vol14/p14-wang.pdf


CF1EF376-FA65-45bb-B36E-1E5F110A055C.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
16小时前
|
Python
平台组成-仿真数据平台
平台里内建了一个数据产生平台
|
3天前
|
分布式计算 Hadoop Java
大数据实战平台环境搭建(下)
大数据实战平台环境搭建(下)
12 0
|
3天前
|
分布式计算 Hadoop Java
大数据实战平台环境搭建(上)
大数据实战平台环境搭建(上)
12 1
|
3天前
|
存储 运维 监控
|
3天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之要查看MaxCompute Studio中的项目中的计算任务代码,我该怎么操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3天前
|
分布式计算 资源调度 Hadoop
Apache Hadoop入门指南:搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用,并引导初学者了解Hadoop的基本概念、核心组件(HDFS、YARN、MapReduce)及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境,学习者可掌握基本操作。此外,文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性,旨在为读者提供Hadoop入门指导,助其踏入大数据处理的旅程。
233 0
|
3天前
|
JavaScript 前端开发 大数据
数字太大了,计算加法、减法会报错,结果不正确?怎么办?用JavaScript实现大数据(超过20位的数字)相加减运算。
数字太大了,计算加法、减法会报错,结果不正确?怎么办?用JavaScript实现大数据(超过20位的数字)相加减运算。
|
3天前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
63 0
|
3天前
|
SQL 分布式计算 HIVE
开源湖仓一体平台(二):Arctic(上篇)
开源湖仓一体平台(二):Arctic(上篇)
开源湖仓一体平台(二):Arctic(上篇)
|
3天前
|
SQL 消息中间件 分布式计算
开源湖仓一体平台(一):LakeSoul
开源湖仓一体平台(一):LakeSoul

热门文章

最新文章