5h42min？？12G的600万行的表，怎么会需要近6个小时才能计算完行数？？MapReduce不是号称是云计算的基石么？性能怎会如此之差？
经过分析，发现12G的这个“TestTable”表的数据在4个节点是如下分布的。可以看到DataNode1的数据量有2.3G，虽然比DataNode3和DataNode4数据量小，但是由于DataNode1是vm，其所依赖的ESXI总共才8G内存（ESXI总共运行5台虚拟机），所以虽然号称是4G内存，但是根本就分不到4G的内存。这4G内存很大一部分使用的是ESSI kernel为其划分的Swap空间。
而经过观察发现，Task attempt_201110251718_0001_m_000014_0 failed to report status for 602 seconds. Killing! 的信息都出现在DataNode1上面。监控DataNode1的性能，发现如下所示，负载高达10，已经严重超过此虚拟机的load上限。
利用Ganglia监控Cluster的性能，可以看到如下图
下面两个图分布是上图的datanode1 memory last hour和datanode1 cpu last hour
上图可以发现datanode1已经在使用系统的swap分区
上图可以发现datanode1的cpu 使用率很高（蓝色区域是用户使用的，黄色是Nice,红色是系统使用的，橙色是wait），而idle已经不足5%了
2台虚拟机+2台物理机，物理机配置也不算太差，但是计算结果怎么会如此之差？经过查阅，发现hadoop的官网有这么一句话，
The short answer is dual processor/dual core machines with 4-8GB of RAM using ECC memory, depending upon workflow needs。这就是它的建议配置，双核cpu，4-8G内存。
后记：在这个实验的第二天，我又加了一台2cpu，2G内存的物理机，总共5台节点，计算下来，总共耗时4h20min。抛开性能数据不说，可以看到确实随着节点的增加，计算速度也是增长的。
ps：测试部的同事他使用test程序，运算1200万行的一个表，总共耗时12min。但是他的hadoop环境配置都是实体机，但并不是服务器。
