吐血整理的Hadoop最全开发指南【完全分布式集群部署篇】(开发重点)(上)

简介: 吐血整理的Hadoop最全开发指南【完全分布式集群部署篇】(开发重点)

一、完全分布式运行模式搭建

1.1 虚拟机集群准备

在前面的章节我们已经将虚拟机集群的构建拆分成了两步:


  • 第一步是先安装必要软件以及配置好相应网络条件,详情见:

吐血整理的Hadoop最全开发指南【环境准备篇】

  • 第二步是在虚拟机环境下我们先构建好服务器模板,并配置好相应的开发环境(JDK、Hadoop)以及其静态IP,然后在对该模板进行复制,从而构造出健全的Hadoo服务集群。详情见:

吐血整理的Hadoop最全开发指南【Hadoop集群搭建篇】


1.2 编写集群分发脚本xsync

  • (1)scp(secure copy)安全拷贝

1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server

2)基本语法

scp    -r        $pdir/$fname             $user@$host:$pdir/$fname
命令   递归     要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称


3)案例实操

前提:在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、 /opt/software两个目录,并且已经把这两个目录修改为taoren:taoren

[taoren@hadoop102 ~]$ sudo chown taoren:taoren -R /opt/module
(a)在hadoop102上,将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上。
[taoren@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212  taoren@hadoop103:/opt/module
(b)在hadoop103上,将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上。
[taoren@hadoop103 ~]$ scp -r taoren@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
(c)在hadoop103上操作,将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上。
[taoren@hadoop103 opt]$ scp -r taoren@hadoop102:/opt/module/* taoren@hadoop104:/opt/module


  • (2)rsync远程同步工具
    rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
    rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。


1)基本语法

rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname
命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
     选项参数说明
选项  功能
-a  归档拷贝
-v  显示复制过程

2)案例实操

   (a)删除hadoop103中/opt/module/hadoop-3.1.3/wcinput
[taoren@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/
   (b)同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103
[taoren@hadoop102 module]$ rsync -av hadoop-3.1.3/ taoren@hadoop103:/opt/module/hadoop-3.1.3/


3)xsync集群分发脚本

(1)需求:循环复制文件到所有节点的相同目录下

(2)需求分析:

(a)rsync命令原始拷贝:

rsync  -av     /opt/module       taoren@hadoop103:/opt/


(b)期望脚本:

xsync要同步的文件名称

(c)期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)

[taoren@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/taoren/.local/bin:/home/taoren/bin:/opt/module/jdk1.8.0_212/bin


(3)脚本实现

(a)在/home/taoren/bin目录下创建xsync文件

[taoren@hadoop102 opt]$ cd /home/taoren
[taoren@hadoop102 ~]$ mkdir bin
[taoren@hadoop102 ~]$ cd bin
[taoren@hadoop102 bin]$ vim xsync


在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done


(b)修改脚本 xsync 具有执行权限

[taoren@hadoop102 bin]$ chmod +x xsync


(c)测试脚本

[taoren@hadoop102 ~]$ xsync /home/taoren/bin


(d)将脚本复制到/bin中,以便全局调用

[taoren@hadoop102 bin]$ sudo cp xsync /bin/


(e)同步环境变量配置(root所有者)

[taoren@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.
sh


注意:如果用了sudo,那么xsync一定要给它的路径补全。

让环境变量生效

[taoren@hadoop103 bin]$ source /etc/profile
[taoren@hadoop104 opt]$ source /etc/profile


1.3 SSH无密登录配置

1)配置ssh

(1)基本语法

ssh另一台电脑的IP地址

(2)ssh连接时出现Host key verification failed的解决方法

[taoren@hadoop102 ~]$ ssh hadoop103


如果出现如下内容

**Are you sure you want to continue connecting (yes/no)? **

输入yes,并回车


(3)退回到hadoop102

[taoren@hadoop103 ~]$ exit


2)无密钥配置

(1)免密登录原理


(2)生成公钥和私钥

[taoren@hadoop102 .ssh]$ pwd /home/taoren/.ssh
[taoren@hadoop102 .ssh]$ ssh-keygen -t rsa


然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

(3)将公钥拷贝到要免密登录的目标机器上

[taoren@hadoop102 .ssh]$ ssh-copy-id hadoop102
[taoren@hadoop102 .ssh]$ ssh-copy-id hadoop103
[taoren@hadoop102 .ssh]$ ssh-copy-id hadoop104


注意:

还需要在hadoop103上采用taoren账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop104上采用taoren账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop102上采用root账号,配置一下无密登录到hadoop102、hadoop103、hadoop104;


3).ssh文件夹下(~/.ssh)的文件功能解释

known_hosts 记录ssh访问过计算机的公钥(public key)
id_rsa  生成的私钥
id_rsa.pub  生成的公钥
authorized_keys 存放授权过的无密登录服务器公钥


1.4 集群配置

1)集群部署规划

注意: NameNode和SecondaryNameNode不要安装在同一台服务器 ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。


hadoop102
hadoop103 hadoop104
HDFS NameNode 、 DataNode DataNode SecondaryNameNode 、 DataNode
YARN NodeManager ResourceManager 、 NodeManager NodeManager


2)配置文件说明

Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

(1)默认配置文件:

要获取的默认文件 文件存放在Hadoop的jar包中的位置

[core-default.xml]  hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]  hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]  hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]  hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml


(2)自定义配置文件:

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求重新进行修改配置。


3)配置集群

(1)核心配置文件

配置core-site.xml

[taoren@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[taoren@hadoop102 hadoop]$ vim core-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置HDFS网页登录使用的静态用户为taoren -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>taoren</value>
    </property>
</configuration>


(2)HDFS配置文件

配置hdfs-site.xml

[taoren@hadoop102 hadoop]$ vim hdfs-site.xml


文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- nn web端访问地址-->
  <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
  <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>


(3)YARN配置文件

配置yarn-site.xml

[taoren@hadoop102 hadoop]$ vim yarn-site.xml


文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>


4)MapReduce配置文件

配置mapred-site.xml

[taoren@hadoop102 hadoop]$ vim mapred-site.xml


文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


4)在集群上分发配置好的Hadoop配置文件

[taoren@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/


5)去103和104上查看文件分发情况

[taoren@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[taoren@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml


相关文章
|
5月前
|
人工智能 安全 Java
智慧工地源码,Java语言开发,微服务架构,支持分布式和集群部署,多端覆盖
智慧工地是“互联网+建筑工地”的创新模式,基于物联网、移动互联网、BIM、大数据、人工智能等技术,实现对施工现场人员、设备、材料、安全等环节的智能化管理。其解决方案涵盖数据大屏、移动APP和PC管理端,采用高性能Java微服务架构,支持分布式与集群部署,结合Redis、消息队列等技术确保系统稳定高效。通过大数据驱动决策、物联网实时监测预警及AI智能视频监控,消除数据孤岛,提升项目可控性与安全性。智慧工地提供专家级远程管理服务,助力施工质量和安全管理升级,同时依托可扩展平台、多端应用和丰富设备接口,满足多样化需求,推动建筑行业数字化转型。
191 5
|
4月前
|
监控 Linux 应用服务中间件
Linux多节点多硬盘部署MinIO:分布式MinIO集群部署指南搭建高可用架构实践
通过以上步骤,已成功基于已有的 MinIO 服务,扩展为一个 MinIO 集群。该集群具有高可用性和容错性,适合生产环境使用。如果有任何问题,请检查日志或参考MinIO 官方文档。作者联系方式vx:2743642415。
1311 57
|
4月前
|
安全 JavaScript 前端开发
HarmonyOS NEXT~HarmonyOS 语言仓颉:下一代分布式开发语言的技术解析与应用实践
HarmonyOS语言仓颉是华为专为HarmonyOS生态系统设计的新型编程语言,旨在解决分布式环境下的开发挑战。它以“编码创造”为理念,具备分布式原生、高性能与高效率、安全可靠三大核心特性。仓颉语言通过内置分布式能力简化跨设备开发,提供统一的编程模型和开发体验。文章从语言基础、关键特性、开发实践及未来展望四个方面剖析其技术优势,助力开发者掌握这一新兴工具,构建全场景分布式应用。
474 35
|
4月前
|
消息中间件 缓存 算法
分布式开发:数字时代的高性能架构革命-为什么要用分布式?优雅草卓伊凡
分布式开发:数字时代的高性能架构革命-为什么要用分布式?优雅草卓伊凡
234 0
分布式开发:数字时代的高性能架构革命-为什么要用分布式?优雅草卓伊凡
|
9月前
|
数据管理 API 调度
鸿蒙HarmonyOS应用开发 | 探索 HarmonyOS Next-从开发到实战掌握 HarmonyOS Next 的分布式能力
HarmonyOS Next 是华为新一代操作系统,专注于分布式技术的深度应用与生态融合。本文通过技术特点、应用场景及实战案例,全面解析其核心技术架构与开发流程。重点介绍分布式软总线2.0、数据管理、任务调度等升级特性,并提供基于 ArkTS 的原生开发支持。通过开发跨设备协同音乐播放应用,展示分布式能力的实际应用,涵盖项目配置、主界面设计、分布式服务实现及部署调试步骤。此外,深入分析分布式数据同步原理、任务调度优化及常见问题解决方案,帮助开发者掌握 HarmonyOS Next 的核心技术和实战技巧。
983 76
鸿蒙HarmonyOS应用开发 | 探索 HarmonyOS Next-从开发到实战掌握 HarmonyOS Next 的分布式能力
|
11月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
223 2
|
7月前
|
机器学习/深度学习 存储
DeepSeek进阶开发与应用4:DeepSeek中的分布式训练技术
随着深度学习模型和数据集规模的扩大,单机训练已无法满足需求,分布式训练技术应运而生。DeepSeek框架支持数据并行和模型并行两种模式,通过将计算任务分配到多个节点上并行执行,显著提高训练效率。本文介绍DeepSeek中的分布式训练技术,包括配置与启动方法,帮助用户轻松实现大规模模型训练。数据并行通过`MirroredStrategy`同步梯度,适用于大多数模型;模型并行则通过`ParameterServerStrategy`异步处理大模型。DeepSeek简化了分布式环境配置,支持单机多卡和多机多卡等场景。
|
8月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
264 7
|
11月前
|
NoSQL Java Redis
开发实战:使用Redisson实现分布式延时消息,订单30分钟关闭的另外一种实现!
本文详细介绍了 Redisson 延迟队列(DelayedQueue)的实现原理,包括基本使用、内部数据结构、基本流程、发送和获取延时消息以及初始化延时队列等内容。文章通过代码示例和流程图,逐步解析了延迟消息的发送、接收及处理机制,帮助读者深入了解 Redisson 延迟队列的工作原理。
|
11月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
159 2

热门文章

最新文章

相关实验场景

更多