开发者社区> KB小秘书> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

新一代计算引擎亮相云栖大会 ——带你深度了解阿里巴巴计算平台

简介: 2018年9月19日至22日,在杭州云栖小镇,170余场前沿技术、产品及行业峰会,如火如荼地进行着。这次云栖大会的主题是“驱动数字中国”。作为阿里巴巴经济体新一代计算引擎的计算平台,深度参与了此次峰会。下面小编带大家一起回顾大会的精彩内容。
+关注继续查看

2018年9月19日至22日,在杭州云栖小镇,170余场前沿技术、产品及行业峰会,如火如荼地进行着。这次云栖大会的主题是“驱动数字中国”。作为阿里巴巴经济体新一代计算引擎的计算平台,深度参与了此次峰会。下面小编带大家一起回顾大会的精彩内容。

新一代计算引擎-大数据智能计算引擎

9月21日下午,计算智能峰会在云栖举行。在此次会议上,阿里巴巴副总裁、计算平台负责人周靖人博士及其团队向大家展示了阿里巴巴大数据智能计算引擎的核心技术能力。近年来,由于分布式计算力、网络、存储等能力的大幅提升,大规模数据采集和高效处理成为可能;随着深度学习、机器学习技术的发展,大量、全面、准确的数据成为当前几乎所有商业或科学决策的重要必备条件。海量数据存储、精准数据采集、丰富的数据类型、高效的机器智能算法及与之匹配的超大规模计算力直接决定了技术企业的水平和前景,也影响着技术企业所赋能整个经济体的效率和效果。作为阿里巴巴集团新一代的计算引擎,阿里巴巴计算平台支撑了整个阿里经济体90%以上的结构化/非结构化数据的存储、交换、管控,数据规模已超EB级别。这是一套通用的、超大规模、企业级、全托管的大数据计算体系,包括核心计算引擎、机器学习引擎,集成开发环境,数据存储和管理,以及与上层合作的解决方案,并且具备了新一代计算引擎的五大要素:

  • 海量数据规模下高性价比的离线及实时计算力;
  • 实时+离线任务一体化研发能力;
  • 实时+离线异构数据湖交互式查询能力;
  • 超大规模机器学习、深度学习异构计算力;
  • 一站式端到端的云上大数据智能研发平台。

image.png

上图为阿里巴巴副总裁、计算平台负责人周靖人博士在云栖大会

在本次为期四天的云栖大会上,除计算智能峰会专场外,计算平台还设有数加DataWorks、大数据计算、Flink、机器学习平台、开源大数据五场分论坛专场。

DataWorks-新一代大数据智能云研发平台

数加DataWorks专场—“谱写数据研发的交响曲”,作为大数据必备的一站式研发平台,吸引了大量的参会者参与。DataWorks经过9年集团发展、5年公共云、3年专有云的发展,服务了成千上万的企业。本次大会上,来自阿里巴巴集团的众多专家对新一代大数据智能云研发平台做了详细的解读,针对新一代数据平台的发展趋势提出了4个核心能力:实时离线任务一体化开发、异构数据湖查询、数据端到端服务、实时交互式查询。

image.png

上图为阿里巴巴资深技术专家、数加DataWorks负责人徐晟在云栖大会

MaxCompute-阿里巴巴旗舰级大数据平台

与主论坛一同亮相的MaxCompute大数据计算专场也获得了极大关注。作为阿里巴巴集团旗舰级大数据平台,MaxCompute承载了阿里集团99%的数据存储及95%的计算能力。2017年10月,将TPC的benchmark适配到MaxCompute,进行了全球首次基于公共云的bigbench大数据基准测试,数据规模拓展到100TB,性能达到7830QPM,成为首个突破7000分的引擎。 2018年该性能结果再次提升超过2倍,达到18176.71QPM,用实力证明了“中国计算,世界能力”。从计算力、生态化、智能化、图关系四个维度来看,MaxCompute提供的不仅是单一的计算引擎,而是具备EB级规模的云原生、高性能、面向企业完整的大数据服务。

image.png

上图为阿里巴巴研究员、通用计算平台负责人关涛在云栖大会

Flink-阿里巴巴在Flink上的优化与改进

此次云栖大会计算平台也首次设立了Flink的论坛。三年前,在阿里巴巴内部启动Flink时,因其开源产品的特性,很难满足阿里大体量的特定场景需求,为了将Flink在阿里巴巴真正运行起来,阿里巴巴实时计算团队做了大量的优化,并命名为Blink。Blink在迭代优化的过程中,也在不断向社区捐赠代码,真正做到“取之开源,用之开源”。目前,阿里巴巴的实时业务场景,从搜索到广告、数据平台、安全等等。所有大的场景都是基于阿里巴巴内部版本Blink展开,同时通过RealtimeCompute产品在阿里提供公共云服务。在前不久刚落幕的Flink Forward上,阿里为Flink提出的批流融合新突破,成为了技术架构上的一个新方向,并在阿里巴巴内部已经得到了初步的成果和验证。

image.png

上图为阿里巴巴研究员、实时计算负责人蒋晓伟在云栖大会

PAI-阿里巴巴的算法平台

同日举办的还有计算平台的机器学习平台专场-“为AI的旅程加速”,吸引了大量参会者驻足。机器学习平台PAI (Platform of Artificial Intelligence)是阿里巴巴集团的机器学习算法平台,该平台为用户提供了一站式数据处理、算法模型训练、离线在线预测的服务。随着计算力及数据量进一步呈爆发式增长,数据的积累使得机器学习训练出来的模型有效性大大提高,甚至突破了人类水平,机器智能开始被广泛应用到各行各业。机器学习平台PAI,无缝对接了强大的计算引擎及大数据研发平台。在2018年杭州云栖大会的机器学习专场上,PAI团队向与会者介绍了在深度学习、在线预测、流式算法、增强学习等领域的技术创新。

image.png

上图为阿里巴巴研究员、机器学习平台负责人林伟在云栖大会

EMR-开源大数据专场

E-MapReduce在云栖为大家带来一场开源大数据的分享盛宴,从方方面面给各种需求的客户带来了不同的内容,给广大的Hadoop体系用户带来了构建大数据平台的多个必备利器,包括对基础计算引擎SparkSQL的极大优化,对OSS读写的50%以上的性能提升。对大数据运维的全面支持能力EMR apm,以及在深度学习上我们的探索EMR learning。 所有这一切不仅仅是在讲台上,也都已经在我们的云上版本中逐步放出,服务到所有的用户。

image.png

图为EMR-开源大数据专场现场

阿里巴巴大数据智能云上编程大赛

由阿里巴巴计算平台事业部和阿里云天池平台联合主办的“阿里巴巴大数据智能云上编程大赛”在此次云栖大会期间迎来了总决赛。本次大赛经历2个月时间,共吸引来自全球9个国家地区,超过1100名的技术Geek加入挑战,最终来自北京邮电大学、南京理工大学、江苏省气象台、黑龙江邮政等高校和单位的5支参赛队伍成功入围决赛。在计算智能峰会上,编程大赛的结果正式公布。冠军“Now coder”团队由来自北京邮电大学的四位研究生组成,他们热爱编程和算法,数据与应用各有所长,相互协作成功夺冠。由于混沌现象的存在,天气预报的精度一直难以提高。本次大赛参赛选手以“集合降水预报”为课题,选取真实的杭州及周边区域格点降水数据,借助于阿里巴巴离线数据存储计算平台MaxCompute和算法引擎PAI,以及一站式数据智能云研发平台DataWorks的各方面能力,以所见即所得的体验,顺利完成了对气象数据的分析利用和结果展现,让算法和应用相辅相成,共同奏响了数据与应用的交响曲。

image.png

今天,阿里巴巴计算平台已随着云上业务的发展,将技术普惠到全球,服务于各行各业的企业用户,我们的新一代智能计算引擎正逐步成为当今中国技术积累最深,经受过最大业务考验,具有真正企业级服务能力的大数据智能计算平台。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”
2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。阿里云云原生一体化数仓可以解决企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理,通过精简的架构,支撑分析决策、异构大数据平台之上的全域数据分析需求。
0 0
云栖大会推出阿里灵杰,大数据+AI一体化平台 6 大重磅发布
10月20日2021杭州云栖大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清发布大数据+AI一体化平台新品牌“阿里灵杰”,提供从“生产-采集-存储-分析-开发-治理-价值体现”整套云原生技术架构和产品体系,配套智能化运维平台和强大的数据资产安全管控能力。
0 0
从阿里云峰会看一站式数据AI平台的演进
今年因为广州疫情爆发,没能到现场参加阿里云峰会,只能线下看直播,从云原生,数据治理到AI开发范式,智能运维,低代码开发,无不揭示了云给大家带来的价值。可以看到今年所有主题的核心都是围绕如何为开发者构建高效的范式和架构支撑软件开发迭代,这也算是回归了云的初心。
0 0
重塑双11技术引擎 阿里落地全球最大规模云原生实践
效率提升100%,成本却降了80%,云原生成为全面上云新底座 ,2020双11核心系统全面云原生化 。
0 0
【0720 - 0724 直播导视 | PPT 下载】新一代云原生数据仓库AnalyticDB、藏经阁发布会物联网行业实践和展望
本周多场技术公开课等你来解锁:新一代云原生数据仓库AnalyticDB、藏经阁发布会物联网行业实践和展望、JAVA的云上转型等!
0 0
阿里云,Facebook,英特尔,Databricks, Flink 大数据&AI前沿技术一文看尽—2019杭州云栖大会 “大数据&AI” 峰会全集
本次大数据&AI峰会围绕 “大数据和AI” 主题,深入讨论大数据及AI发展的新形势、新挑战和新机遇。主题演讲内容涉及大数据*AI各个方面,广泛且深入。从阿里巴巴 “AI加持的飞天大数据平台、AI at Facebook、英特尔在数据分析和人工智能技术方面的创新,到广受开发者关注的Flink和Spark,通过数据,算力,算法深入阐述数据为本,智能为用,将大数据与AI深度融合,呈现了业界最前沿技术。
1269 0
Analytics-Zoo:统一的大数据分析+AI平台|阿里云峰会 开源大数据专场
2019阿里云峰会·上海开发者大会于7月24日盛大开幕,本次峰会与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货,共同探讨前沿科技趋势。本文整理自开源大数据专场中英特尔资深架构师利智超先生的精彩演讲。
3807 0
什么是飞天?全球级大数据计算平台,自主研发!
飞天大数据平台就是数字化时代的核心技术。这是中国在新一轮科技革命中把握机遇的关键。
2173 0
【2018杭州云栖】大数据计算专场:带你感知无处不在的超大规模大数据计算
云栖大会首日,与主论坛一同亮相的大数据计算专场获得了极大关注。阿里巴巴计算平台六位技术专家与衣二三公司CTO,共同引领开发者们直击阿里巴巴超大规模的大数据计算服务,解构数据世界,分享大数据计算前沿科技。整个下午座无虚席,众多来宾站立参与全程。
4042 0
+关注
文章
问答
来源圈子
更多
分享阿里巴巴搜索推荐团队在技术领域的经验与探索
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
边缘计算专场-基于英特尔平台技术的创新应用
立即下载
开发者专场-云原生赋能AI:基于云原生的AI开发普惠—徐晓舟 最终版
立即下载
飞天大数据&AI产品手册
立即下载