Apache Hadoop 2.7如何支持读写OSS
背景
2017.12.13日Apache Hadoop 3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统,后续版本号大于等于Hadoop 2.9.x系列也支持OSS。
Hadoop 简介
Hadoop的发音是 [‘hædu:p]。 Apache的发音是 [æpæʃ]。
Hadoop是Apache基金会的一个开源项目,用于大量数据的分布式处理。核心为HDFS与MapReduce。
1.HDFS
HDFS,Hadoop Distributed File System,Hadoop分布式文件系统。
2.map-reduce思想
mapper将大任务化为小任务,分布