Hadoop 3.x版本带来了许多新特性和改进，以下是详细的新特性归纳：
Java版本要求升级：
- Hadoop 3.x要求最低Java版本为JDK 8，所有Hadoop JAR包都是基于Java 8编译的。这意味着还在使用Java 7或更低版本的用户需要升级到Java 8才能正常运行Hadoop 3.x。
HDFS Erasure Coding（EC技术）：
- Hadoop 3.x引入了HDFS Erasure Coding，这是一种新的数据保护机制，可以在数据存储时使用更少的冗余数据来实现更高的数据可靠性，降低存储成本。
- 与标准HDFS副本机制的3倍开销相比，使用像Reed-Solomon(10,4)这样的标准编码的空间开销仅为1.4倍。
YARN Timeline Service v.2：
- 新版本的YARN Timeline Service提供了更加灵活和高效的应用程序历史记录和监控功能，使用户能够更好地了解和管理其应用程序的运行情况。
Hadoop Common包的升级：
- Hadoop 3.x中升级了Hadoop Common包，包括一些新的功能和改进，以提高系统的性能和可靠性。
流式数据处理改进：
- Hadoop 3.x中对流式数据处理功能进行了改进，包括对Apache Kafka和Apache Storm等流处理框架的更好支持，以及对流式数据处理性能的优化。
支持更多的硬件和操作系统平台：
- Hadoop 3.x扩展了对更多硬件和操作系统平台的支持，使其更加灵活和易于部署。
Shell脚本重构：
- Hadoop Shell脚本已被重写，以修复许多长期存在的错误并包括一些新功能。尽管Hadoop的开发人员一直在寻求兼容性，但某些更改可能会破坏现有的安装。
MapReduce任务本地优化：
- MapReduce增加了对map输出收集器的本地执行的支持，对于shuffle密集型工作，这可以使性能提高30%或更多。
支持多个NameNode：
- 在Hadoop 3.x中，HDFS支持两个以上的NameNode，通过配置三个NameNode和五个JournalNode，群集可以忍受两个节点的故障，而不仅仅是一个节点的故障。
默认服务端口变更：
- Hadoop 3.x中多个服务的默认端口已被更改，这有助于减少与其他应用程序的端口冲突问题。
DataNode内部负载均衡：
- Hadoop 3.x在DataNode内部添加了负载均衡功能，以优化数据存储和访问性能。
支持文件系统连接器：
- Hadoop 3.x提供了对多种文件系统的连接器支持，增强了Hadoop与外部存储系统的集成能力。
这些新特性和改进使得Hadoop 3.x成为一个更加强大和高效的大数据处理框架，能够更好地满足现代数据处理和分析的需求。
