阿里云大数据+AI技术沙龙上海站回顾 | ​揭秘TPC-DS 榜单第一名背后的强大引擎-阿里云开发者社区

开发者社区> 开源大数据EMR> 正文

阿里云大数据+AI技术沙龙上海站回顾 | ​揭秘TPC-DS 榜单第一名背后的强大引擎

简介: 11月16日的大数据+AI沙龙上海站取得圆满成功! EMR 团队在国内运营最大的 Spark 社区,为了更好地传播和分享业界最新技术和最佳实践,现在联合开源社区同行,打造一个纯粹的技术交流线下沙龙《大数据 + AI》,定期为大家做公益分享。本次分享,揭秘TPC-DS 榜单第一名背后的强大引擎,探索Pyboot如何打通大数据生态,一同学习业内最新的存储方案和机器学习平台。
+关注继续查看

11月16日,阿里云大数据+AI技术沙龙,首战上海站取得圆满成功。我们邀请到阿里巴巴计算平台事业部 技术专家辛庸,辰山,抚月,诚历;高级技术专家铁杰,以及Intel软件工程师喻杉和大家进行分享交流。

以下是各议题相关资料沉淀。


议题一:
基于 Spark 打造高效云原生数据分析引擎

视频观看链接:https://developer.aliyun.com/live/1712?spm=a2c6h.12873581.0.0.270f1566XWpLUS&groupCode=apachespark

PPT链接:https://www.slidestalk.com/AliSpark/Meetup_Shanghai_16944

辛庸,阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop,Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作,专注于计算引擎、存储结构、数据库事务等内容。

议题简介:
由阿里巴巴 EMR 团队提交的 TPC-DS 成绩在九月份的榜单中取得了排名第一的成绩。这个成绩背后离不开 EMR 团队对 Spark 执行引擎持续不断的优化。
本次分享将选取一些有代表性的优化点,深入到技术细节做详细介绍,包括但不限于动态过滤、CBO增强、TopK排序等等。


议题二:
使用分布式自动机器学习进行时间序列分析

视频观看链接:https://developer.aliyun.com/live/1713?spm=a2c6h.12873581.0.0.270f1566XWpLUS&groupCode=apachespark

PPT链接:
https://www.slidestalk.com/AliSpark/TimeSeriesForecastingAutoML_Shan_19111673315

喻杉,Intel大数据分析团队软件工程师。她目前专注于在analytics-zoo大数据和人工智能平台上开发自动机器学习组件。在加入intel前,她在浙江大学获得了学士和硕士学位。

内容简介:
对于时间序列预测搭建机器学习应用的过程非常繁琐且需要大量经验。为了提供一个简单易用的时间序列预测工具,我们将自动机器学习应用于时间序列预测,将特征生成,模型选择和超参数调优等过程实现自动化。我们的工具基于Ray(UC Berkeley RISELab开源的针对高级AI 应用的分布式框架,并作为Analytics zoo(由intel开源的统一的大数据分析和人工智能平台)的一部分功能提供给用户。


议题三:
云上大数据的存储方案设计和选择

视频观看链接:https://developer.aliyun.com/live/1714?spm=a2c6h.12873581.0.0.270f1566XWpLUS&groupCode=apachespark

PPT链接:https://www.slidestalk.com/AliSpark/13535?video

姚舜扬,花名辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作;

苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, 曾就职于华为、网易. Apache HDFS committer. 对Hadoop、HBase等有深入研究, 对分布式存储、高性能优化有丰富经验. 目前从事大数据云化相关工作.

议题简介:
上云拐点已来,开源大数据上云是业界共识。如何满足在云上低成本存储海量数据的同时又实现高效率弹性计算的潜在需求?放眼业界,都有哪些成熟存储方案和选择?各自适用的存储和计算场景是什么?背后的技术关键和考虑因素都有哪些?欢迎大数据技术爱好者面对面交流和探讨!


议题四:
从Python 到Java ,Pyboot加速大数据和AI的融合

视频观看链接:
https://developer.aliyun.com/live/1715?spm=a2c6h.12873581.0.0.270f1566XWpLUS&groupCode=apachespark

https://developer.aliyun.com/live/1717?spm=a2c6h.12873581.0.0.270f1566XWpLUS&groupCode=apachespark

PPT链接:https://www.slidestalk.com/AliSpark/PybootAI12722

郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台;

孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作;

议题简介:
Python 代表机器学习生态,而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序,后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口,还有没有更高效的一手数据通道,将两个生态对接起来,乃至深度融合?Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。


EMR团队介绍

阿里云 EMR 团队,致力于为客户提供开源大数据 Hadoop/Spark 生态基于云端的一站式,高可用弹性计算平台。EMR 团队在国内运营最大的 Spark 社区,为了更好地传播和分享业界最新技术和最佳实践,现联合开源社区同行,打造一个纯粹的技术交流线下沙龙《大数据 + AI》,定期为大家做公益分享。
社区地址:https://developer.aliyun.com/group/apachespark


作为运行在阿里云平台上的一种大数据处理的系统解决方案,阿里云 Elastic MapReduce(E-MapReduce)构建于阿里云云服务器 ECS 上,基于开源的 Apache Hadoop 和 Apache Spark,让用户可以方便地使用 Hadoop 和 Spark 生态系统中的其他周边系统(如 Apache Hive、Apache Pig、HBase 等)来分析和处理自己的数据。官网:https://www.aliyun.com/product/emapreduce

E-MapReduce 目前已服务政府、教育、新零售、服务、互联网、人工智能等行业超千家企业,提供集群管理工具的集成解决方案,如主机选型、环境部署、集群搭建、集群配置、集群运行、作业配置、作业运行、集群管理、性能监控等。

今年3月份,E-MapReduce成为全球首个通过TPC认证的公共云产品。2019年9月,E-MapReduce新版本在TPC-DS 10TB benchmark中再次勇夺第一,性能达到5,261,414 QphDS,比之前最好成绩提升19%,并且将单位查询成本降低38%。同时,E-MapReduce首次将TPC-DS数据集规模拓展至100TB,性能达到14,861,137 QphDS,100TB的数据规模是竞争对手产品最大处理能力的10倍。

Jindo是阿里云智能E-MapReduce团队在开源的Apache Spark基础上自主研发的云原生分布式计算和存储引擎,已经在近千E-MapReduce客户中大规模部署使用。Jindo Spark在开源版本基础上做了大量优化和扩展,深度集成和连接了众多阿里云基础服务。

此次TPC-DS benchmark报告经过了严格第三方审计流程,任何阿里云智能的客户可以在阿里云官网购买并使用 最新版本。在benchmark测试中我们在阿里云ECS服务器上使用了Jindo Spark的最新版本,在几乎相同的硬件环境上,新版本的Jindo Spark展示了性能、功能和扩展性上有了长足的进步,在TPC-DS为代表的SQL查询性能相比以往版本有3倍以上的性能提升,查询规模更是提升了10倍,可以非常稳定的处理100TB规模的数据表。在本次 TPC-DS 10TB benchmark测试中,Jindo 引擎体现了比开源软件以及商业大数据产品更好的性能和更完整的分析支持。

感谢在开发的同时EMR团队对Spark社区的贡献。更多对Jindo Spark的性能优化和功能增强工作还在进行中,对开源大数据和数据库OLAP场景感兴趣的同学可以联系EMR团队的无谓、铁杰和亦龙,也可加入钉钉群交流

二维码.JPG

微信扫描微信公众号二维码,每日推送技术文章和最新活动
公众号二维码.jpg


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
uploadfile上传文件失败,数据接收不到问题排查步骤。
1.[font=宋体]检查域名白名单是否已经添加。[/font] 2.[font=宋体]上传[/font]URL[font=宋体]是否写对。[/font] 3.[font=宋体]服务器接收是否正确。
615 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
6418 0
案例详解|大数据上云助力新零售企业数智化转型,挖掘数据的价值
曾经风光无限的零售大型超市业态--大卖场,当初代表先进零售模式进入中国市场,激起零售行业蓬勃发展的大浪潮,但是近年来,随着人们消费方式的巨大转变以及来自电子商务的冲击,传统大卖场的发展发生逆转。传统的零售技术和模式已经无法满足顾客的需求,同时传统门店面临租金高,成本高,人流量减少等困境,亟需寻求新的发展。本篇文章将以D客户为案例,详解上云带来的核心价值以及上云方案和步骤,希望能给您的业务带来一定帮助。
168 0
大数据上云那些事儿:(一)上云工具的选择
阿里云•数加上如果要实现大数据上云,可选的工具有以下几种(如下图所示),主要分为批量加载工具和实时采集工具两大类。工具这么多,那么我应该选择哪一个呢? 首先第一就是确定您的业务场景对实时性的要求。 a) 如果是实时性要求不高,则采用批量加载类工具,定时完成批量数据加载即可。
3664 0
深入阿里云大数据IDE–MaxCompute Studio
在云栖社区主办的云栖计算之旅第5期–大数据与人工智能分享中,阿里云计算平台高级专家薛明为大家深入地介绍了阿里云大数据IDE–MaxCompute Studio,并对于其特性和背后的技术思想进行了讲解。
8878 0
今日开启! 论道数据价值,阿里云数据库精英与你相约2019数据技术嘉年华
这是一个数据的时代,在互联网技术的推动下,数据在开放融合中正在创造前所未有的价值;创新的数据技术也在不断激发企业业务模式的革新,以数据聚集、数据挖掘、数据运营为驱动的数据企业正在加速成长。有效地组织数据,并利用数据创造价值,已经成为企业竞争的新的制高点。
360 0
[开学季] 浙江万里学院-阿里云大数据应用学院2018级新生开学典礼隆重举行
2018年10月11日,由浙江万里学院、阿里云、慧科集团三方共建的阿里云大数据应用学院2018级新生开学典礼在浙江万里学院隆重举行。宁波市高教处、宁波市鄞州区经信局、万里学院、阿里云、慧科集团的领导老师以及阿里云大数据学院300多位新同学,参加了本次开学典礼。
2116 0
282
文章
74
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载