Hadoop分布式

• 确保所有节点上都安装了Java 8环境，配置好JAVA_HOME环境变量。
• 所有节点上都安装了SSH，并实现免密登录。
• 配置好所有节点的主机名和IP地址。
  

安装Hadoop：

• 在所有节点上安装Hadoop，可以使用tar -zxvf命令解压Hadoop压缩包。
• 配置Hadoop的环境变量，修改hadoop-env.sh文件，设置HADOOP_HOME和HDFS_HOME等环境变量。
• 配置Hadoop的核心配置文件core-site.xml，设置HDFS的默认NameNode和DataNode的地址。
• 配置Hadoop的分布式文件系统HDFS，修改hdfs-site.xml文件，设置副本数、数据块大小等参数。

启动Hadoop集群：

• 首先启动NameNode和DataNode，在各个节点上执行hadoop-daemon.sh start xxx命令，其中xxx为NameNode或DataNode。
• 接着启动ResourceManager和NodeManager，在各个节点上执行yarn-daemon.sh start xxx命令，其中xxx为ResourceManager或NodeManager。
  

验证Hadoop集群：

• 可以通过浏览器访问Hadoop的Web界面，查看集群状态和节点信息。
• 可以使用hdfs dfsadmin -report命令查看HDFS集群的状态报告。
• 可以使用yarn application -list命令查看YARN集群中的应用列表。