26万奖金 | 第一届 E-MapReduce 极客挑战赛 诚邀英才前来挑战!

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 日前,“ 第一届 E-MapReduce 极客挑战赛 ”在阿里云天池官网正式开赛。据悉,本次大赛由阿里云、英特尔联合举办,聚焦 SparkSQL 执行效率,探索 TPC-DS 测试集最优性能,助力海量数据轻松上云,全程将有资深技术专家提供技术指导。

日前,“ 第一届 E-MapReduce 极客挑战赛 ”在阿里云天池官网正式开赛。据悉,本次大赛由阿里云、英特尔联合举办,聚焦 SparkSQL 执行效率,探索 TPC-DS 测试集最优性能,助力海量数据轻松上云,全程将有资深技术专家提供技术指导。


大赛现已面向全社会开放报名,个人开发者、高等院校、企业、科研单位等人员均可报名参赛,为广大大数据爱好者以及相关的科研企业提供挑战平台。


报名链接:(报名时间即日起至 09/21):https://tianchi.aliyun.com/competition/entrance/531912/introduction

750x330.jpg


大赛背景与赛题说明

大数据时代,上云已成为越来越多终端客户大数据方案的落地选择。如何提升数据效率,对企业发展至关重要。本次大赛聚焦核心业务场景难题,结合阿里云 EMR和英特
尔® 傲腾™ 数据中心级持久内存
以及Intel OAP 软件包,优化软件系统和利用硬件的特征,追求TPC-DS测试集的最优性能。


EMR 团队提供用于比赛的Spark 3.1.2代码分支,选手进行 Spark 代码优化和参数调优以提升SparkSQL执行效率,同时组委会提供性能测评工具供选手自行测试(单机环境或EMR集群环境)。在比赛阶段,选手将最终优化后的Spark代码和调优参数打包,通过天池平台提交,天池平台会使用相同的性能测评工具,进行评测和排名。


大赛火热报名中,快来挑战吧

本届大赛从即日起——921日均可报名,经过初赛、复赛两轮比试后,复赛成绩排名TOP6的参赛队伍将受邀参加11月举行的决赛答辩。

image.png


瓜分26万元奖金池

  • 冠军:1支队伍/赛道,奖金10万,颁发获奖证书


  • 亚军:2支队伍/赛道,奖金5万,并颁发获奖证书


  • 季军:3支队伍/赛道,奖金2万,并颁发获奖证书

惊喜好礼送不停image.png

为了让广大开发者们的“打榜”之路更加好玩,组委会设置了以下活动并配备了超多精美好礼回馈社区。


  • 云上推荐达人

活动时间:7月5日-9月20日

参与方式:活动期间,点击赛制页面邀请参赛按钮,获取专属邀请海报并分享给好友,好友报名成功后即可获得20张粮票。本次比赛拉新总奖金池共计五万张粮票,粮票计算规则为10:1。


  • 云上冲榜达人

活动时间:7月27日-9月24日

参与方式:活动期间,报名EMR极客挑战赛,提交出分上榜后即可参与冲榜达人评选。自8月13日起以每周五晚上21点测评成绩为准,每周周冠军队伍将获得T恤一件(不得重复领取)。根据9月24日晚20点排行结果,排名TOP30队伍成为云上冲榜达人,每队将获得EMR定制雨伞1个+比赛定制T恤1件。


  • 云上进阶达人

活动时间:9月27日-10月29日

参与方式:复赛期间(9月27日-10月29日),提交出分上榜后即可参与进阶达人评选。根据10月29日晚20点排行结果,排名TOP10队伍成为云上进阶达人,每队将获得EMR定制双肩包1个。


  • 云上分享达人

活动时间:7月5日-10月29日

参与方式:如何成为云上分享达人?活动期间,报名EMR极客挑战赛并在论坛发布提分攻略,关联到挑战赛。即可参与云上分享达人奖项评选,获赞最多的帖子发布者获胜,将获得EMR大礼包1套(EMR定制雨伞+双肩包+T恤)。


  • 更多福利

我们不定期会推出更多活动,凡是参与本次大赛的选手,均有机会获得好礼哦。

加入大赛选手钉钉交流群:35434038,第一时间捕获最新动态!


除了常规奖项,为广罗大数据高技能人才,表现优秀的参赛选手还可获得阿里云EMR产品事业部优先内推名额,与行业精英共建产品新生态。



获得与大咖面对面畅聊技术的机会:

贾扬清

阿里巴巴集团副总裁 | 阿里云计算平台事业部负责人

“希望通过这次大赛,让开发者们在体验云原生的开发环境的同时,可以尝试一次技术的挑战。不仅在比赛中收获好的成绩,更重要的是寻找到代码的乐趣和技术的收获。”


王峰(莫问)

阿里云研究员 | 阿里云开源大数据平台负责人

“我们欢迎来自高校、企业及各行业的开发者们加入我们的比赛,希望各位开发者能在这次竞赛中充分展示自己的技术能力。”


陈守元(巴真)

阿里云开源大数据平台产品负责人

“我们希望为广大的大数据爱好者及科研企业提供一个创新挑战的平台,一起来探索性能极限。”


Heidi Pan

Intel 数据分析软件部门总监

“希望大家通过这次比赛能够有所收获,能够对数据分析引擎的性能优化有更深刻的体会与理解洞察。”


于邦旭

CSDN副总裁

希望选手们可以在此次大赛中大展才华,发挥出真实水平,一战成名!同时预祝本届E-MapReduce 极客挑战赛取得圆满成功!


陈绪

汇量科技大数据与机器学习平台负责人

“希望参赛队伍可以深入分析查询计算现有性能瓶颈,做出针对性的优化,期待看到更多创新方案来挑战性能极限。”


黄继

映客技术平台总监

“希望EMR成为首屈一指的数据平台,同时祝愿参赛者们可以充分发挥技术能力,挖掘出系统更大的性能潜力。”


技术专家全程护航指导

本届 E-MapReduce 极客挑战赛全程有资深技术专家为参赛选手们提供最专业的技术答疑和指导。


为助力选手高效答题,组委会制作了赛题解析讲解自测工具的使用以及代码的提交和评测,前往查看>>


对比赛感兴趣或者参赛过程中有疑问的小伙伴,欢迎扫描下方二维码加入交流群一起来交流讨论~

a5136c014b574d3db124e63520fe86cb.jpg


相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
存储 分布式计算 资源调度
赛题解析 | E-MapReduce 极客挑战赛
首届 E-MapReduce 极客挑战赛已开启,奖金高达26万,欢迎大家踊跃报名!本文主要讲解自测工具的使用以及代码的提交和评测,帮助选手更高效的解题。
赛题解析 | E-MapReduce 极客挑战赛
|
分布式计算 Cloud Native 大数据
首届!E-MapReduce 极客挑战赛强势来袭,重磅奖项等你拿,快来组队报名啦
首届 E-MapReduce 极客挑战赛发布,聚焦.SparkSQL执行效率。结合阿里云 EMR和英特尔® 傲腾™ 数据中心级持久内存(以及Intel OAP软件包),优化软件系统和利用硬件的特征,追求TPC-DS测试集的最优性能。帮助参赛队伍实现Spark 代码优化和参数调优,完成性能的优化挑战。
首届!E-MapReduce 极客挑战赛强势来袭,重磅奖项等你拿,快来组队报名啦
|
6月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
79 1
|
6月前
|
存储 分布式计算 负载均衡
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
222 0
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
96 3
|
5月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
64 1
|
5月前
|
数据采集 SQL 分布式计算
|
6月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
72 1
|
6月前
|
分布式计算 并行计算 搜索推荐
Hadoop MapReduce计算框架
【5月更文挑战第10天】HadoopMapReduce计算框架
53 3
|
5月前
|
存储 分布式计算 Hadoop
Hadoop生态系统详解:HDFS与MapReduce编程
Apache Hadoop是大数据处理的关键,其核心包括HDFS(分布式文件系统)和MapReduce(并行计算框架)。HDFS为大数据存储提供高容错性和高吞吐量,采用主从结构,通过数据复制保证可靠性。MapReduce将任务分解为Map和Reduce阶段,适合大规模数据集的处理。通过代码示例展示了如何使用MapReduce实现Word Count功能。HDFS和MapReduce的结合,加上YARN的资源管理,构成处理和分析大数据的强大力量。了解和掌握这些基础对于有效管理大数据至关重要。【6月更文挑战第12天】
209 0