【月刊】E-MapReduce 2021-11 产品月刊

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 11月 E-MapReduce 产品月刊为您带来 1.重要功能 2.版本发布 3.产品文档更新 4.十一月精选文章推荐。欢迎持续关注更多精彩内容!

【E-MapReduce 2021年 11月刊】

  为您带来11月产品、技术最新动态,欢迎阅读!


  • 重要功能
  • 版本发布
  • 产品文档更新
  • 11月精选文章推荐



⭐更多EMR相关信息,欢迎前往EMR产品详情页:https://www.aliyun.com/product/emapreduce


重要功能

  1. EMR Studio Beta版上线,为用户提供一站式数据开发服务  前往了解>>
  2. EMR ClickHouse独立集群公测发布  前往了解>>
  3. 前往EMR控制台,功能体验>>



版本发布

发布日期

版本

更新内容

服务

变更点

2021.11月

EMR-5.4.1

SmartData 升级SmartData至3.7.3版本,详情请参见SmartData 3.7.x版本简介
Oozie 修复了HA情况下Oozie的Jetty Server依赖JAR包冲突,导致Jetty Server无法启动的问题。
Impala 修复了查询DLF元数据表时提示no such method error的问题。
DLF-Auth 升级DLF-Auth至1.0.1版本。
2021.11月

EMR-3.38.1

SmartData 升级SmartData至3.7.3版本,详情请参见SmartData 3.7.x版本简介
Spark
  • 移除了无效配置Log4j MetricsAppender。
  • 修复了SparkContext启动过程中空指针异常的问题。
Presto
  • 修复了Hadoop高可用集群,Presto需要配置host才能查询Hive表的问题。
  • 修复了内存较小时,默认配置下Presto无法启动的问题。
  • 修复了修改worker-jvm配置无法生效的问题。
  • 支持Ranger。
Impala 修复了查询DLF元数据表时,提示no such method error的问题。
Ranger
  • 支持Presto。
  • 修复了Ranger Spark insert ORC和PARQUET表的权限问题。
  • 修复了Ranger Hive role权限在开启Kerberos后无法生效的问题。
DLF-Auth
  • 升级DLF-Auth至1.0.1版本。
  • 支持DLF权限,可以控制Presto权限。
  • 修复了RAM用户缓存的问题。




产品文档更新

时间 特性 类别 描述 产品文档
2021.11.08 技术支持 更新功能 介绍EMR产品技术支持服务的范围、支持方式和服务SLA。 技术支持
2021.11.17 DLF-Auth 新增功能 介绍如何开启DLF-Auth权限。 DLF-Auth
2021.11.25 产品简介 更新功能 介绍EMR-5.4.1和EMR-5.4.0发行版本的发布日期和更新内容等信息。 EMR-5.4.x版本说明
2021.11.25 产品简介 更新功能 介绍EMR-3.38.1和EMR-3.38.0发行版本的发布日期和更新内容等信息。 EMR-3.38.x版本说明



运维管理指南:


EMR开发指南:


EMR on ACK:


最佳实践




11月精选文章推荐

【客户案例


【数据湖系列


【ClickHouse 系列】



欢迎加入EMR交流群,为您提供最新的产品直播、产品活动及技术支持!

我们会在钉钉群定期推送精彩案例,邀请更多技术大牛直播分享。欢迎有兴趣的同学扫下方二维码加入钉钉群进行交流和技术分享。关注公众号,锁定每周精彩分享内容!

image.png

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
6月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之在DataWorks中,在MapReduce作业中指定两个表的所有分区如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
82 0
|
存储 运维 资源调度
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
678 1
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
|
存储 分布式计算 运维
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
48546 4
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
|
SQL 弹性计算 分布式计算
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
开源大数据平台 EMR 产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
10199 8
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
|
SQL 运维 监控
开源大数据平台 E-MapReduce Serverless StarRocks 产品介绍
本文将分享阿里云与 StarRocks 社区合作打造的云上 StarRocks 极速湖仓的云原生产品实践。 主要包括四个部分,第一部分介绍 StarRocks 全托管形态,以及免运维服务的 OLAP 云产品;第二部 分介绍 StarRocksManager 的实例管理、诊断分析、元数据管理、安全中心等功能;第三部分介绍 在社交、在线教育、电商等场景的使用案例;最后是对产品的长短期规划。
6908 0
|
6月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
79 1
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
88 3
|
5月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
63 1
|
5月前
|
数据采集 SQL 分布式计算
|
6月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
70 1