张东,大数据开发工程师,软件工程专业,目前在袋鼠云从事大数据开发,之前做过两年Java开发,先后参与开发过“医师诊断系统”,“可信构件管理系统”,其中可信构件管理系统获得河南省科学技术成果鉴定证书、获2015届河南省计算机设计大赛二等奖。在大数据方面,分析过微博历史数据。
清楚zk背后leader一致性选举paxos(帕克索斯)原理
基本文件命令:格式为:hadoop fs -cmd <args> 例如,文件列表命令: hadoop fs -ls
Zookeeper是一个很好的集群管理工具,被大量用于分布式计算。如Hadoop以及Storm系统中。这里简单记录下Zookeeper集群环境的搭建过程。本文以Centos6.5作为操作系统环境。
本文描述了如何安装、配置和管理有实际意义的Hadoop集群,安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常,集群里一台机器被指定为 NameNode,另一台不同的机器被指定为DataNode。