CDH4.5.0 新特性

简介:

Apache Flume

新特性:

  • FLUME-2190 - 引入一个新的Twitter firehose的feed源
  • FLUME-2109 - HTTP输入源支持HTTPS.
  • FLUME-1666 - 系统日志的TCP源现在可以保持时间戳和处理领域中的事件主体.
  • FLUME-2202 - AsyncHBaseSink can now coalesce increments to the same row and column per transaction to reduce the number of RPC calls
  • FLUME-2189 - Avro Source can now accept events from a restricted set of peers
  • FLUME-2052 - Spooling Directory Source can now ignore or replace malformed characters.
  • Flume自动检测Cloudera Search依赖。

变化的特性:

  • Memory Channel calculates byte capacity usage on transaction commits instead of puts to improve performance

Apache Hive

新特性:

Hue

新特性:

  • 增加了对SAML验证后端和其他安全修补程序支持.

变化的特性:

  • HUE-1609 - [core] LDAP后端和进口应不区分大小写.
  • HUE-1632 - [oozie] Workflow with & in a property fails to submit.
  • HUE-1555 - [hbase] Python 2.4 支持.
  • HUE-1521 - [core] 改进 JobTracker HA.
  • [search] 默认的模板应显示的所有字段.
  • [core] 让搜索绑定认证可选的LDAP

Apache MapReduce v1 (MRv1)

新特性:

  • HDFS访问追踪:当mapreduce.job.token.tracking.ids设置为true时,MRv1任务根据持有的HDFS访问凭证来访问HDFS上的数据。而且,当MRv1其访问数据数据时HDFS日志会记录其访问信息。
  • 堆栈跟踪的任务超时: 为了便于调试,当MR任务超时时会累记其堆栈信息.
  • KeyOnlyTextInputWriter KeyOnlyTextOutputReader使工作流不使用分隔符即可写入/读取文本.

变化的特性:

  • 用户在使用MRv1压缩包的bin-mapreduce1目录下的脚本时,不再需要根据情况的不同而设置不同的环境变量了.

Apache MapReduce v2 (YARN)

新特性:

  • HDFS访问追踪:当mapreduce.job.token.tracking.ids设置为true时,MRv1任务根据持有的HDFS访问凭证来访问HDFS上的数据。而且,当MRv1其访问数据数据时HDFS日志会记录其访问信.
  • KeyOnlyTextInputWriter KeyOnlyTextOutputReader使工作流不使用分隔符即可写入/读取文本.
  • 公平调度器现在可以不用受节点心跳检测的判断影响,从而可以更快的调度

Apache Oozie

新特性:

  • Pig和Hive现在无需手动操作或配置即可访问 Parquet 文件.

Apache Sentry (孵化中)

新特性:

  • Hive Metastore服务的访问可以不受IPTables的限定。在HiveServer2和ImpalaD运行的用户必须要首先在core-site.xml中配置,然后才可以访问Hive Metastore服务。 例如,hivemetastore 是Hive Metastore服务的用户。hiveimpala分别是运行HiveServer2 和 ImpalaD不同用户。按如下的配置,这些用户将被允许访问Hive Metastore服务.
<property>
    <name>hadoop.proxyuser.hivemetastore.groups</name>
    <value>hive,impala</value>
</property>

Sentry现在已经集成到Cloudera Search中,配置方法请参考: Configuring Sentry for Search

原文地址:What’s New in CDH4.5.0

目录
相关文章
|
7月前
|
存储 分布式计算 Hadoop
Hadoop 3.x版本的新特性
【6月更文挑战第18天】
248 2
|
8月前
|
分布式计算 Hadoop 容器
Hadoop组件版本不兼容
【5月更文挑战第7天】Hadoop组件版本不兼容
99 3
|
8月前
|
分布式计算 Hadoop 大数据
最新版本——Hadoop3.3.6单机版完全部署指南
最新版本——Hadoop3.3.6单机版完全部署指南
1252 57
|
分布式计算 资源调度 Hadoop
【Flink】版本 1.13+ 集成 Hadoop 问题
【Flink】版本 1.13+ 集成 Hadoop 问题
515 0
|
存储 SQL 分布式计算
CDH和CloudManager概述
CDH和CloudManager概述
206 0
|
SQL 存储 资源调度
Hive3新特性 2
Hive3新特性
236 0
Hive3新特性 2
|
SQL 分布式计算 Hadoop
Hive3新特性 1
Hive3新特性
260 0
|
存储 分布式计算 Hadoop
如何升级CDH7.1.1到CDH7.1.3
如何升级CDH7.1.1到CDH7.1.3
224 1
|
SQL 存储 缓存
【阿里云 CDP 公开课】 第九讲:Hive3 新特性
本文整理自 Cloudera 生态资深解决方案工程师王雪峰在 阿里云CDP公开课 上的分享。
【阿里云 CDP 公开课】 第九讲:Hive3 新特性
hudi 0.10.0适配hdp 3.1.5编译
hudi由于其依赖于hdfs作为后端存储,所以为了适配hdp 3.1.5版本,需要进行适配性编译,本文介绍hudi 0.10.0适配hdp 3.1.5编译。
hudi 0.10.0适配hdp 3.1.5编译