【月刊】E-MapReduce 2021-06/07 产品月刊

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 6-7月 E-MapReduce 上线EMR-3.36.x版本、EMR-5.2.x版本,同步对SmartData 3.6.x版本进行更新;最佳实践案例发表《云原生数据湖构建、分析与开发治理最佳实践及案例分享》、《StarLake:汇量科技云原生数据湖的探索和实践》、《DLF +DDI 一站式数据湖构建与分析最佳实践》;首届 E-MapReduce 极客挑战赛正式启动。欢迎持续关注更多精彩内容!

【E-MapReduce 2021年 6-7月刊】

为您带来6-7月产品、技术最新动态,欢迎阅读!


  • 相关活动
  • 产品功能
  • 产品文档
  • 最佳实践
  • 精选技术内容


⭐更多EMR相关信息,欢迎前往EMR产品详情页:    https://www.aliyun.com/product/emapreduce


相关活动


  1. EMR折扣优惠:

EMR包年包月0折优惠持续进行中,购买EMR包年包月和ECS自建价格完全一致。前往查看>>


  1. 产品免费体验活动:

" 基于EMR进行离线大数据分析 " 持续进行中
在体验场景中,可以通过开通登录 EMR Hadoop 集群,简单进行 hive 操作,使用 hive 对数据进行加载,计算等操作。直观了解如何构建弹性低成本的离线大数据分析。前往体验>>


  1. EMR on ACK

EMR on ACK 集群Beta版快速体验活动,前往体验>>


  1. 首届 E-MapReduce 极客挑战赛

聚焦.SparkSQL执行效率,追求TPC-DS测试集的最优性能  前往报名>>

赛题解析:自测工具的使用以及代码的提交和评测说明前往查看>>

产品功能

阿里云E-MapReduce 支持Hudi,查看文档>>


产品文档


时间 特性 类别 描述 产品文档
2021.06.21 SmartData 新增功能 介绍SmartData 3.6.x版本的更新内容。 SmartData 3.6.x版本简介
2021.06.21 产品简介 新增功能 介绍EMR-3.36.x发行版本的发布日期和更新内容等信息。 EMR-3.36.x版本说明
2021.06.21 产品简介 新增功能 介绍EMR-5.2.x发行版本的发布日期和更新内容等信息。 EMR-5.2.x版本说明


最佳实践

  • 云原生数据湖构建、分析与开发治理最佳实践及案例分享
  • StarLake:汇量科技云原生数据湖的探索和实践
  • DLF +DDI 一站式数据湖构建与分析最佳实践
  • 精选技术内容干货


    1. 【数据湖 JindoFS+OSS 实操干货36讲】  
      从五大板块入手(数据迁移、OSS访问加速、JindoFS缓存加速、AI训练加速、JindoTable计算加速),解析相关理论及实践问题。

         第一期22课时公开课已重磅上线,快来加入学习吧!


    1. 开源大数据社区 & EMR系列直播 ,每周三晚19:30带来大数据相关的精彩直播内容。


    1. 《 Delta Lake 数据湖专题系列5讲》

    由阿里云 DDI 团队翻译整理自大数据技术公司 Databricks 针对数据湖 Delta Lake      系列技术文章。阅读完此系列文章可以帮助您达到入门级,对数据湖 Lakehouse 有整体上的认识和应用,掌握理论知识体系。





    欢迎加入EMR交流群,为您提供最新的产品直播、产品活动及技术支持!

    我们会在钉钉群定期推送精彩案例,邀请更多技术大牛直播分享。欢迎有兴趣的同学扫下方二维码加入钉钉群进行交流和技术分享。关注公众号,锁定每周精彩分享内容!

    image.png

    同重云E-MapReduce交...

    Spark

    美容瑞华天省新修康教电进重人,就锁

    WOA量OTODO:OOAOODAOOO

    微信公众号

    关注我们获取最新资讯

    EMR产品交流钉钉群

    相关实践学习
    数据湖构建DLF快速入门
    本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析,介绍数据湖构建DLF产品的数据发现和数据探索功能。
    快速掌握阿里云 E-MapReduce
    E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
    相关文章
    |
    存储 运维 资源调度
    阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
    开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
    622 1
    阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
    |
    SQL 弹性计算 分布式计算
    阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
    开源大数据平台 EMR 产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
    10085 8
    阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
    |
    SQL 弹性计算 分布式计算
    【月刊】E-MapReduce 2021-11 产品月刊
    11月 E-MapReduce 产品月刊为您带来 1.重要功能 2.版本发布 3.产品文档更新 4.十一月精选文章推荐。欢迎持续关注更多精彩内容!
    【月刊】E-MapReduce 2021-11 产品月刊
    |
    SQL 人工智能 弹性计算
    【月刊】E-MapReduce 2021-10 产品月刊
    10月 E-MapReduce 产品月刊为您带来 1.相关活动:云栖大会、开源主题直播回顾 2.版本发布 3.产品文档更新 4.十月精选文章推荐 。欢迎持续关注更多精彩内容!
    【月刊】E-MapReduce 2021-10 产品月刊
    |
    SQL 弹性计算 运维
    【月刊】E-MapReduce 2021-09 产品月刊
    9月 E-MapReduce 产品月刊为您带来 1.相关活动:E-MapReduce 海量日志分析 实操体验 ;2.产品功能更新:G-SCD的具体解决方案及如何通过G-SCD处理维度的数据介绍;3.最佳实践:SparkSQL自适应执行 4.新增视频专区 。欢迎持续关注更多精彩内容!
    【月刊】E-MapReduce 2021-09 产品月刊
    |
    SQL 分布式计算 DataWorks
    【月刊】E-MapReduce 2021-04/05 产品月刊
    4-5月 E-MapReduce 上线EMR-3.35.x版本、EMR-4.9.x版本,同步对SmartData 3.5.x版本进行更新;客户实践案例发表《Databricks 数据洞察 Delta Lake 在基智科技(STEPONE)的应用实践》与《Databricks数据洞察在美的暖通与楼宇的应用实践》;【数据湖 JindoFS+OSS 实操干货36讲】 公开课重磅上线。欢迎持续关注更多精彩内容!
    【月刊】E-MapReduce 2021-04/05 产品月刊
    |
    2月前
    |
    分布式计算 Hadoop
    Hadoop系列 mapreduce 原理分析
    Hadoop系列 mapreduce 原理分析
    51 1
    |
    1月前
    |
    分布式计算 Hadoop Java
    Hadoop MapReduce编程
    该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
    25 1
    |
    1月前
    |
    数据采集 SQL 分布式计算
    |
    2月前
    |
    分布式计算 Hadoop Java
    Hadoop MapReduce 调优参数
    对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。