hadoop生态系统的架构图（转载）
转自：http://blog.csdn.net/babyfish13/article/details/52527665
1、hadoop1.0时期架构
2、hadoop2.
Hadoop streaming 排序、分桶参数设置
编写hadoop任务经常需要用到partition和排序。这里记录一下几个参数。
1. 概念
Partition：分桶过程，用户输出的key经过partition分发到不同的reduce里，因而partitioner就是分桶器，一般用平台默认的hash分桶也可以自己指定。
《Hadoop MapReduce实战手册》一导读
本书目标是帮助读者学会处理大型的复杂数据集。本书虽从简单的例子开始，但仍然可以看到深入的内容。这是一本简单的一站式指南，传授如何完成复杂的事情。它以一种简单而直接的方式呈现了90个攻略，给出了一步步的指导和真实环境的应用示例。
Spark 安装配置简单测试
简介
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapRed
