hadoop3.0可用【 GA】版发布与alpha1版比较有哪些不同

简介: hadoop3.0可用【 GA】版发布与alpha1版比较有哪些不同

hadoop GA可用版发布,与alpha1增加了不少功能,这里摘出与alpha1功能上不同的地方。如下:



Shaded client jars



解决了依赖冲突问题

hadoop2.x中所有依赖都添加到应用程序环境变量,这样有可能造成应用程序依赖与hadoop依赖冲突。HADOOP-11804添加了新的 hadoop-client-api 和hadoop-client-runtime artifacts,这样避免了hadoop依赖到应用程序的classpath.这可能跟我们以前经常遇到的多个重复的包,有关系。


支持 Opportunistic 容器和分布式调度



引入了一个概念ExecutionType。应用程序需要Opportunistic类型的可执行的containers.这种类型的容器,可以在namenode上执行,甚至在调度没有资源的情况下。这种情况下,这些容器containers,将会在namenode排队,等待资源启动。Opportunistic 容器比默认的Guaranteed类型容器优先级低,因此如果需要可以抢占资源,为Guaranteed容器腾出空间。这将提高集群利用率。


S3Guard:为S3 客户端文件系统提供一致性和缓存Metadata


HADOOP-13345为亚马逊存储(Amazon S3 storage)S3A 客户端添加了一个可选的feature:有能力使用DynamoDB表作为一个快速的和一致的存储文件和目录元数据


HDFS基于路由器联盟(Router-Based Federation)


HDFS路由器联盟添加了RPC 路由层,提供多个HDFS命名空间namespaces的联合视图。这个与 ViewFs和 HDFS Federation类似。这里面mount table由服务端管理,而不是有客户端管理,这简化了HDFS 客户端对联盟集群的访问。



基于API配置Capacity 调度


OrgQueue扩展了capacity 调度,提供了可编程的方式来配置,可以调用 REST API 来修改队列配置。


YARN资源类型


YARN 的资源类型已经扩展到支持用户自定义类型,不止是 CPU 和内存。例如用户可以自定义的类型如GPUs,软件许可证书或则本地附加存储( locally-attached storage),Yarn的任务可以基于这些资源调度。



英文链接:http://hadoop.apache.org/docs/r3.0.0/

对于alpha1不了解的,可参考下面

#############################################

补充:


Apache Hadoop 3.0.0-alpha1版发布做了哪些改进



Apache Hadoop 3.0.0-alpha1包含很多重要的改进在hadoop2.x的基础上。

这个是一个alpha 版,通过开发者和使用者帮助测试和搜集反馈。API的稳定性和质量还不能保证。


概述


提倡阅读全部发布说明,这里对更改内容做一个概述。


1.Java最低版本要求从Java7更改为Java8

所有的Hadoop JARs针对运行时版本的Java 8被编译。仍在使用Java 7或更低版本的用户必须升级至Java 8。



2.支持hdfs erasure encoding

与副本相比纠删码是一种更节省空间的数据持久化存储方法。编码标准如Reed Solomon(10,4)有1.4倍的空间开销.与HDFS副本相比则是3倍空间开销。

因为纠删码主要的额外开销是在重建和执行远程读,它传统用于存储冷数据,即不经常访问的数据。当部署这个新特性时用户应该考虑纠删码的网络和CPU开销。

更多细节参考 HDFS Erasure Coding (http://hadoop.apache.org/docs/r3 ... SErasureCoding.html)文档.



3、YARN Timeline Service v.2

我们引入YARN 的alpha 1版,. YARN Timeline Service v.2 地址两大挑战:提高时间轴的可扩展性和可靠性,并通过引入流量和聚合增强可用性.

————————————————

YARN Timeline Service v.2 alpha 1让用户和开发者测试,反馈和建议为替换 Timeline Service v.1.x做准备。它应用于测试容量。最重要的是,没有启用安全性。不设置或则使用Timeline Service v.2 ,直到安全是有效的如果安全是一个关键的要求。

更多细节参考 YARN Timeline Service v.2 【http://hadoop.apache.org/docs/r3.0.0-alpha1/hadoop-yarn/hadoop-yarn-site/TimelineServiceV2.html】文档.


4、Shell 脚本重写

Hadoop的shell脚本已被重写,解决许多长期存在的漏洞,包括一些新的功能。尽管一些关键点保持兼容性,但是一些更改可能会破坏现有的安装。

不兼容的改变在发布说明中,相关的讨论在 HADOOP-9902(https://issues.apache.org/jira/browse/HADOOP-9902

更多内容在 Unix Shell Guide文档。也可看 Unix Shell API文档,它描述了许多新的功能,特别是与可扩展性有关的功能。




5、MR任务级本地优化

MR任务级本地优化。MapReduce添加了Map输出collector的本地实现。对于shuffle密集型作业,这将会有30%以上的性能提升。

更多细节: MAPREDUCE-2841(https://issues.apache.org/jira/browse/MAPREDUCE-2841


6、支持2个及以上 NameNodes.

允许用户运行多个Standby NN,更高的容错性。比如,通过配置3个NN和5个JournalNodes,集群能够容忍2个NN宕机而不是之前的一个。

刚开始HDFS NameNode高可用提供了一个namenode,和Standby namenode.通过规定的三个JournalNodes,复制edits 。这种架构能够容忍系统中的任何一个节点的失败。

然而,一些部署需要更高程度的容错性。这是通过这一新功能,它允许用户运行多个备用节点【Standby namenode】。例如,通过配置三个NameNodes和五个journalnodes,集群能够容忍两节点而不是一个失败。

高可用文档(http://hadoop.apache.org/docs/r3.0.0-alpha1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html)已经更新,说明如何配置多个namenode。




7、更改多个服务的默认端口。

此前,多个Hadoop服务的默认端口是在Linux的临时端口范围(32768-61000)。这意味着在启动时,服务有时会失败,绑定到端口,由于与另一个应用程序的冲突。

这个冲突的端口已经移出这个范围,影响 NameNode, Secondary NameNode, DataNode, 和KMS。文档已更新

发布说明地址https://issues.apache.org/jira/browse/HDFS-9427

更改端口列表地址https://issues.apache.org/jira/browse/HADOOP-12811


8.支持微软Azure 数据Lake 系统连接器

hadoop支持整合软Azure 数据Lake作为一种替代Hadoop兼容的文件系统。


9、Intra-datanode 平衡器

一个DataNode管理多个磁盘.


10.改编守护进程和任务堆管理

hadoop守护进程及MapReduce任务一系列的heap管理的改变。

HADOOP-10950(https://issues.apache.org/jira/browse/HADOOP-10950) 介绍了配置守护进程heap大小配置方法

值得注意的是基于主机内存调整成为可能,和 HADOOP_HEAPSIZE 值被弃用。更多细节查看发布说明 HADOOP-10950

MAPREDUCE-5785(https://issues.apache.org/jira/browse/MAPREDUCE-5785)简化了map和reduce任务的heap大小的配置,因此理想的heap的大小,不在需要任务的指定配置和作为Java选项。已有的配置不受影响。更多谢姐可查看MAPREDUCE


目录
相关文章
|
2天前
|
云安全 人工智能 运维
阿里云联动百位企业安全专家,共识Agent防御最佳实践
当Agent成为新员工,你的安全边界在哪里?
1717 1
阿里云联动百位企业安全专家,共识Agent防御最佳实践
|
10天前
|
人工智能 JSON 安全
Fastjson远程代码执行漏洞,阿里云AI安全为您保驾护航
阿里云AI安全产品联动防御Fastjson攻击
2423 12
Fastjson远程代码执行漏洞,阿里云AI安全为您保驾护航
|
10天前
|
人工智能 自然语言处理 数据挖掘
Qwen3.8-Max-Preview深度全解析:2.4万亿参数旗舰MoE模型+Token Plan限时优惠完整落地指南
2026年7月,全新旗舰级混合专家大模型Qwen3.8-Max-Preview正式开放抢先体验,作为通义千问Qwen3系列规格最高、综合推理能力顶尖的新一代模型,该模型总参数量达到2.4万亿(2.4T),是当前线上可调用的原生多模态旗舰模型,综合推理水准对标海外顶级Fable 5模型,在复杂工程开发、长文档深度分析、多步骤智能体自治、跨境多语言创作、海量数据挖掘五大高难度业务场景实现跨越式性能提升。
1113 2
|
10天前
|
人工智能 自然语言处理 数据挖掘
最新版通义千问(Qwen3.8-Max-Preview)功能介绍
2026年,通义千问正式推出全新旗舰级大模型 **Qwen3.8-Max-Preview 预览版**,作为首款突破万亿参数规格的新一代基座模型,该模型总参数量达到**2.4万亿**,采用全新迭代的MoE混合专家架构,综合推理性能、长文本处理、多模态理解、复杂任务规划能力全面超越前代Qwen3.7-Max版本,整体实力跻身全球第一梯队,可对标海外顶级旗舰模型,是当前面向复杂工程开发、多智能体协同、超长文档解析、专业办公自动化场景的最优国产基座模型。
1157 0
|
12天前
|
人工智能
Qwen3.8抢先体验!正式版即将发布并开源!
千问Qwen3.8即将开源,参数达2.4T,进化速度以“天”计,实力媲美Fable 5。预览版Qwen3.8-Max已上线阿里Token Plan等平台,限时优惠:日间Credits低至1折,夜间更优,个人/团队版月付仅35元起!
1105 46
|
8天前
|
自然语言处理 测试技术 API
通义千问Qwen3.8-Max-Preview全功能解析:2.4万亿参数旗舰模型深度使用指南
在大模型技术持续迭代的当下,通义千问推出的Qwen3.8-Max-Preview作为新一代旗舰预览版模型,凭借2.4万亿参数的超大规模、多模态融合能力与全场景适配特性,成为开发者与企业用户探索AI应用的核心工具。该模型采用稀疏混合专家(MoE)架构,是通义千问首个突破万亿参数的多模态模型,可同时处理文本、图像、视频与文档等多种数据形态,在全栈代码开发、复杂逻辑推理、长文档分析与多智能体协作等场景实现跨越式升级。本文将全面拆解Qwen3.8-Max-Preview的核心功能,详解API调用流程与配置方法,覆盖多场景实战技巧,帮助用户快速掌握这款旗舰模型的使用方法,充分释放其性能潜力。
567 1
|
8天前
|
人工智能 前端开发 Linux
Codex 桌面版安装 + CC Switch 接入第三方 API 完整教程(2026 最新)
2026最新教程:手把手教你安装Codex桌面版,通过CC Switch v3.17.0一键接入Fenno等国产API(兼容OpenAI Responses格式),跳过账号登录,完整启用代码审查、多步任务与上下文感知功能。零基础友好,全程图文实操。(239字)
751 0
|
11天前
|
人工智能 自然语言处理 数据挖掘
Qwen3.8-Max 预览版全解析:2.4 万亿参数旗舰模型,Token Plan 限时优惠指南
Qwen3.8-Max-Preview是通义千问Qwen3系列旗舰MoE大模型,参数达2.4万亿,综合推理能力居行业第一梯队。支持思考/快速双模式,擅长大模型五大高难场景。现于阿里云百炼Token Plan、Qoder及QoderWork上线体验,个人版低至39元/月。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
738 1
Qwen3.8-Max 预览版全解析:2.4 万亿参数旗舰模型,Token Plan 限时优惠指南