发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持

简介: 发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。

发布Apache Hadoop 2.6.0
——异构存储,长时间运行的服务与滚动升级支持

我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt

特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心,Hadoop的不断吸引新的引擎在数据平台中运行,作为组织想要在一个单一的存储库高效地存储数据,并与它同时以不同的方式进行交互。

非常感谢所有的贡献者和提交这些人所合作过这个版本,共有近900个 JIRA问题在四个方面解决的:
•Hadoop通用:231个 JIRA问题解决
•Hadoop的HDFS:305个 JIRA问题解决
•Hadoop的YARN:290个 JIRA问题解决
•Hadoop的MapReduce的:70个 JIRA问题解决

Apache Hadoop2.6.0的亮点

以下是有关的最重要的特征的一些细节。对于功能,改进和bug修复的完整列表,请参阅发行说明:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/releasenotes.html

加强支持异构存储层的HDFS

管理员可以在一个限定的Datanode跨磁盘存储层,以及应用程序可利用的API将数据存储到这些不同的存储层。这意味着管理员可以优化他们的应用程序通过使用Hadoop运行:
•在SSD存储层以提高读/写延迟
•内存存储层进行快速读/写要么临时数据或故障的应用程序(如星火,TEZ等)
•归档存储层,以提高存储效率。

支持长时间运行的服务在YARN

Apache Hadoop2.6.0包括增强了核心Apache Hadoop YARN平台,使长期存在的服务(如Apache Storm,Apache Samza,Apache Kafka或Apache HBase),可以在YARN中运行,并充分利用其优势的容错,安全性和易维护性。

Apache Hadoop最初架构,支持批量处理数据。但有些应用“永远在线”,随时准备处理输入数据。例如,Apache  Storm必须准备在一天中的任何时间实时处理数据流,在一年中的任何一天。

用Hadoop2.6.0,集群现在可以利用相同的基础设施安排,执行和管理所有期限的多个工作负载。长住服务,如 Storm和HBase可以和平共处的一起是在特定的时间点(如Apache Hive或Apache Pig),用于特设工作应用程序。

滚动升级在YARN工作,保留重新启动

新的工作,维护重启功能可以让应用程序保持其完成和正在进行的国家,在一个节点故障或重启的脸。 YARN现在可以提供滚动以最小的服务质量下降用于运行应用程序的升级支持。已完成或正在进行中的应用工作节点重启过程中保持不变,进度回升,而不必从头开始重新启动所有任务。

展望Apache Hadoop2.7版本

为ApacheHadoop的下一个版本的主要驱动力正在向JDK7+即我们现在要求使用JDK7(HADOOP-10530:https://issues.apache.org/jira/browse/HADOOP-10530)的ApacheHadoop的前进,也支持JDK8作为一个运行时(HADOOP-11090:https://issues.apache.org/jira/browse/HADOOP-11090)。

在ApacheHadoop社区开展的其他重要活动有:
•在HDFS进行纠删码支持 -  HDFS-7285:https://issues.apache.org/jira/browse/HDFS-7285
•支持磁盘YARN调度和隔离的资源 -  YARN-2139:https://issues.apache.org/jira/browse/YARN-2139
•容器资源委派延长YARN资源管理 -  YARN-1488:https://issues.apache.org/jira/browse/YARN-1488

与往常一样,你可以沿着发展,通过跟踪路线图的Wiki:http://wiki.apache.org/hadoop/Roadmap 的Apache Hadoop跟随。

致谢

非常感谢大家谁促成了这一版本,和整个Apache  Hadoop社区。


相关链接
•下载Apache Hadoop2.6.0版本:http://hadoop.apache.org/releases.html#18+November%2C+2014%3A+Release+2.6.0+available
•阅读发行说明的Hadoop-2.6.0:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/releasenotes.html

本文翻译自:http://zh.hortonworks.com/blog/announcing-apache-hadoop-2-6-0/

目录
相关文章
|
2月前
|
存储 自然语言处理 BI
|
3月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
5月前
|
消息中间件 人工智能 Apache
Apache RocketMQ 中文社区全新升级!
RocketMQ 中文社区升级发布只是起点,我们将持续优化体验细节,推出更多功能和服务,更重要的是提供更多全面、深度、高质量的内容。
589 15
|
25天前
|
数据库连接 PHP Apache
PHP在Apache中如何运行?
PHP在Apache中如何运行?
30 5
|
2月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
2月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
48 3
|
2月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
61 2
|
4月前
|
存储 消息中间件 运维
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ,拥有超百台集群节点,个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ,招联金融在多场景中均有显著的收益,比如标签关联计算效率相较之前有 6 倍的提升,同等规模数据存储成本节省超 2/3,真正实现了降本提效。
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
|
4月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
4月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
223 2

推荐镜像

更多