What’s new in Hadoop Common and HDFS

在Hadoop Summit 2016上，Tsuyoshi Ozawa来自NTT Software Innovation Center的分享聚焦于《What’s new in Hadoop Common and HDFS》这一主题，深入探讨了Hadoop 3版本中Common组件与Hadoop Distributed File System (HDFS)的新特性和改进。虽然我无法直接访问外部链接或提供即时下载服务，但我可以基于阿里云对Hadoop技术的理解，概述一些Hadoop 3中可能讨论到的关键特性：

1. HDFS Erasure Coding: 这是一个重要特性，旨在通过纠删码技术减少存储数据的副本数量，从而节省存储空间。相比于传统的三副本机制，纠删码可以在保证数据可靠性的前提下，大幅度降低存储成本。

2. YARN Federation: YARN（Yet Another Resource Negotiator）联邦允许跨多个集群共享资源，提高了资源管理的灵活性和规模性，使得大型组织能够更有效地利用其计算资源。

3. Containerized Docker Support in YARN: Hadoop 3开始原生支持Docker容器，使得应用程序可以在轻量级、隔离的环境中运行，提升了部署的灵活性和安全性。

4. Improved Scalability: Hadoop 3显著提高了可扩展性，包括支持更大的文件系统大小、更多的节点数以及更高的并发任务处理能力。

5. HDFS Router-Based Federation: 这一特性进一步增强了HDFS的可扩展性和管理效率，通过路由基础的联邦功能，用户可以更容易地管理跨多个命名空间的数据。

6. Performance Enhancements: 包括读写性能的提升、优化的磁盘I/O调度策略等，这些都旨在提高整体系统的处理速度。

7. Quota and Reservation System: 引入了更为精细的配额管理和预留系统，帮助管理员更好地控制和规划资源使用。

8. ZStandard Compression: 引入了新的压缩算法ZStandard，它提供了更快的压缩和解压缩速度，同时保持了较高的压缩比，有助于提升数据处理效率。

9. Shell Scripting Improvements: 对Hadoop的shell脚本进行了改进，使其更加易用且功能丰富。

对于希望深入了解这些特性的用户，建议查阅官方文档或者观看相关的会议视频回放，以获取最准确和详细的信息。此外，阿里云也提供了基于Hadoop的云服务——MaxCompute（原名ODPS），它在Hadoop生态基础上进行了大量优化和扩展，为用户提供了一站式大数据处理平台，无需自行搭建和维护Hadoop集群。