阿里巴巴MaxCompute亮相VLDB2017

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: [摘要]8月28日-9月1日,第四十三届VLDB会议在德国慕尼黑举行。阿里巴巴在本届VLDB展区重点展示了MaxCompute、ApsaraDB、AliSQL、AnalyticDB和POLARDB等数据库和数据处理技术,引起现场与行业专家学者的注意和交流探讨。
8月28日-9月1日,第四十三届VLDB会议在德国慕尼黑举行。阿里巴巴在本届VLDB展区重点展示了MaxCompute、ApsaraDB、AliSQL、AnalyticDB和POLARDB等数据库和数据处理技术,引起现场与行业专家学者的注意和交流探讨。
edb4b284f7b34ad1241241051a0cb936ce6d92f2

VLDB,全称International Conference on Very Large Databases,是数据库领域三大顶级国际会议之一,是由成立于美国的非盈利性机构VLDB基金会赞助和运营。第一届VLDB于1975年在美国召开,大会以在全球普及数据库技术研究和交流作为使命。

本届VLDB共有来自全球的750篇研究论文投稿,其中133被接收,接收率不到18%。整体内容覆盖traditional database、data analysis、spacial and graph和deap leaning等领域。在现场展示方面,VLDB2017的参展厂商既包括Oracle、SAP、Microsoft等传统含数据库业务的厂商,也包括阿里巴巴、Google和Facebook等新兴的互联网科技企业。

阿里巴巴数据库技术作为阿里IT基础设施的重要组成部分,和阿里云数据库ApsaraDB的技术支撑,在工程实践和技术创新上一直走在同行前列。从2011起,阿里数据库技术团队开始使用MySQL等开源数据库和OceanBase自研数据库取代传统商业数据库,2016年双11创下支付峰值12万笔/秒世界纪录;经过历年双11磨练,基于MySQL深度定制的AliSQL比官方版本性能提升70%,秒杀场景下性能提升近百倍。

业务能力方面,阿里巴巴已将自有数据库技术和服务通过阿里云输出,满足电商、云计算和金融等多种应用场景的客户需求,目前阿里云提供近20种数据库服务,是全球最稳定、最完整的云数据库产品阵列。

阿里自研的大数据计算服务——MaxCompute(原名ODPS),技术上支持高达EB级存储并提供完善的数据导入方案,支持包括SQL、MapReduce、Graph等计算类型及MPI迭代类算法在内的多种计算模式,具备万台服务器扩展能力和跨地域容灾能力,为阿里云上千万客户提供快速、完全托管的PB级数仓解决方案。该通用计算平台承担着阿里巴巴集团,蚂蚁金服,菜鸟网络,高德,优酷土豆等关联公司95%以上的大数据存储和计算任务。对外,在阿里云公共云和专有云上提供PaaS大数据开放服务,是阿里云-数加的主力计算平台。升级后的 MaxCompute2.0 完全拥抱大数据开源生态,支持更多的语言功能,带来更快的运行速度,为人工智能等热门领域提供海量数据计算支持。

即将发布的阿里云POLARDB,基于最新的存储和网络硬件设备特点,大量采用高速网络互联、存储块设备、分布式文件系统、数据库物理复制、数据共享存储等热点技术手段,通过放弃传统分布式数据库OLTP多路并发写的支持,采用一写多读的架构设计,简化分布式系统难以兼顾的理论模型,大幅度提升OLTP性能。

阿里自研实时高并发在线分析型数据库AnalyticDB,支持毫秒级的多个大表关联计算,全面兼容MySQL协议,内置支持多种数据源数据快速接入,支持高并发准实时数据写入/删除,写入速度可达数百万TPS,对千亿级数据进行即时的多维分析透视和业务探索。

在现场3天的交流展示环节中,众多工业界技术专家和高校学者到访阿里巴巴技术展台,就阿里目前在数据库和大数据方面的技术进展进行交流。来自Facebook的华人工程师陈国强回忆到,他曾在2012年初次来杭州做过交流,到VLDB2014在杭州举办,再到今天VLDB2017现场交流,让他感觉到阿里在大数据技术方面的能力和硅谷的差距正在迅速变小。


a6739cdf42f90a758cfd922b98cc98e3b902adec
Yoshinori Matsunobu和林晓斌在阿里巴巴展台合影

近年来,阿里巴巴数据库技术和学界合作也走在了前列,此次参与VLDB2017的数据技术领域知名学者,IEEE Fellow、新南威尔士大学林学民教授,已经在图数据库领域和阿里巴巴数据库技术团队一起展开合作。前微软研发合伙人周靖人也在去年加入阿里巴巴,周靖人是云计算大数据、大规模分布式系统和数据库等领域的国际级学者,他曾多次在数据和系统领域的国际顶会议上(VLDB、SIGMOD和ODSI等)发表论文,也是此次VLDB2017的工业和应用分论坛的主席之一。在此次展会期间,还有来自德雷斯顿理工的Wolfgang Lehner教授,滑铁卢大学的Tamer Ozsu教授等国际数据库学界顶级专家造访阿里技术展台并交流探讨。

fa24d4f2fae57d7d7bf14f93277fa9b0ca752439
周靖人和加拿大滑铁卢大学Tamer Ozsu教授等人在阿里巴巴展台合影

从3月推出的NASA计划,到7月推出首个全球性科研项目“AIR”计划,阿里巴巴旨在解决社会经济发展中的“新技术”难题,驱动行业未来20年发展的科研项目,希望以此搭建学术界和工业界的合作平台,联合双方优势共同促进前沿技术的发展,推进计算机科学领域基础性、前瞻性、突破性的研究,构建全新基础技术生态。

231917d3ccd8c2bd659b2da51d3fffe93a879a0a点击活动链接

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
26天前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
81 1
|
分布式计算 算法 搜索推荐
阿里巴巴内部:2022年全技术栈PPT分享(架构篇+算法篇+大数据)
我只截图不说话,PPT大全,氛围研发篇、算法篇、大数据、Java后端架构!除了大家熟悉的交易、支付场景外,支撑起阿里双十一交易1682亿元的“超级工程”其实包括以下但不限于客服、搜索、推荐、广告、库存、物流、云计算等。 Java核心技术栈:覆盖了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。 大数据:Spark、Hadoop
|
4月前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute是由阿里巴巴集团创建的
【7月更文挑战第1天】
142 58
|
3月前
|
机器学习/深度学习 搜索推荐 算法
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
|
4月前
|
存储 搜索推荐 数据建模
阿里巴巴大数据实践之数据建模:构建企业级数据湖
阿里巴巴通过构建高效的数据湖和实施先进的数据建模策略,实现了数据驱动的业务增长。这些实践不仅提升了内部运营效率,也为客户提供了更好的服务体验。随着数据量的不断增长和技术的不断创新,阿里巴巴将持续优化其数据建模方法,以适应未来的变化和发展。
|
4月前
|
存储 分布式计算 Hadoop
阿里巴巴飞天大数据架构体系与Hadoop生态系统的深度融合:构建高效、可扩展的数据处理平台
技术持续创新:随着新技术的不断涌现和应用场景的复杂化,阿里巴巴将继续投入研发力量推动技术创新和升级换代。 生态系统更加完善:Hadoop生态系统将继续扩展和完善,为用户提供更多元化、更灵活的数据处理工具和服务。
|
6月前
|
分布式计算 算法 搜索推荐
阿里巴巴内部:全技术栈PPT分享(架构篇+算法篇+大数据)
我只截图不说话,PPT大全,氛围研发篇、算法篇、大数据、Java后端架构!除了大家熟悉的交易、支付场景外,支撑起阿里双十一交易1682亿元的“超级工程”其实包括以下但不限于客服、搜索、推荐、广告、库存、物流、云计算等。 Java核心技术栈:覆盖了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。 大数据:Spark、Hadoop
|
分布式计算 算法 搜索推荐
阿里巴巴内部:全技术栈PPT分享(架构篇+算法篇+大数据)
我只截图不说话,PPT大全,氛围研发篇、算法篇、大数据、Java后端架构!除了大家熟悉的交易、支付场景外,支撑起阿里双十一交易1682亿元的“超级工程”其实包括以下但不限于客服、搜索、推荐、广告、库存、物流、云计算等。 Java核心技术栈:覆盖了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。 大数据:Spark、Hadoop
|
大数据
《重磅发布!300页阿里巴巴大数据核心技术公开,速度收藏》电子版地址
重磅发布!阿里巴巴大数据团队历时一年,集合25+专家协力打造《像阿里巴巴一样玩转大数据》系列电子书,近300页实战精华。
146 0
《重磅发布!300页阿里巴巴大数据核心技术公开,速度收藏》电子版地址

相关产品

  • 云原生大数据计算服务 MaxCompute