【大数据学习篇2】Hadoop集群安装(二)

简介: 【大数据学习篇2】Hadoop集群安装

5.4 配置java环境

[hd@localhost apps]$ su root

Password:

[root@localhost apps]# cd java/

[root@localhost java]# pwd

/home/hd/apps/java

[root@localhost java]#

[root@localhost java]# vi /etc/profile

使用vi编辑器,在/etc/profile增加java环境变量


export JAVA_HOME=/home/hd/apps/java

export PATH=$PATH:$JAVA_HOME/bin

重加载一下系统环境


[root@localhost java]# source /etc/profile

[root@localhost java]# java -version

java version "1.8.0_121"

Java(TM) SE Runtime Environment (build 1.8.0_121-b13)

Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

5.5 配置第二台,第三台机器的Java环境

使用scp远程拷贝命令


scp  file2  [[user@]host2:]file2

1.把每一台机的java目录,拷贝到第二台机器


[root@localhost apps]# su hd

[hd@localhost apps]$

[hd@localhost apps]$  scp -r java  hd@192.168.126.129:/home/hd/apps/

2.把每一台机的profile文件,拷贝到第二台机器


[hd@localhost apps]$ su root

Password:

[root@localhost apps]# scp /etc/profile root@192.168.126.129:/etc/

The authenticity of host '192.168.126.129 (192.168.126.129)' can't be established.

ECDSA key fingerprint is fb:0a:7a:9f:9a:bc:4f:ff:66:29:1d:1d:b9:a0:35:d1.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '192.168.126.129' (ECDSA) to the list of known hosts.

root@192.168.126.129's password:

profile                                                                                                        100% 1820     1.8KB/s   00:00    

[root@localhost apps]#

3.第二台机器加载profile


[hd@localhost apps]$ source /etc/profile

[hd@localhost apps]$

[hd@localhost apps]$ java -version

java version "1.8.0_121"

Java(TM) SE Runtime Environment (build 1.8.0_121-b13)

Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

[hd@localhost apps]$

第三台机,执行以上的步骤


6. 安装hadoop之前准备

6.1 修改主机名

第一台机器master

第二台机器slave01

第三台机器slave02

[hd@localhost ~]$ hostnamectl set-hostname master

==== AUTHENTICATING FOR org.freedesktop.hostname1.set-static-hostname ===

Authentication is required to set the statically configured local host name, as well as the pretty host name.

Authenticating as: root

Password:

==== AUTHENTICATION COMPLETE ===

[hd@localhost ~]$ hostnamectl set-hostname slave01

[hd@localhost ~]$ hostnamectl set-hostname slave02

6.2 修改/etc/hosts 文件

[hd@master ~]$ su root

Password:

[root@master hd]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.126.128 master

192.168.126.129 slave01

192.168.126.130 slave02

同步到第二,三台机器


#第二台机器

[root@master hd]# scp /etc/hosts root@slave01:/etc/

#第三台机器

[root@master hd]# scp /etc/hosts root@slave02:/etc/

6.3 关闭防火墙

启动:systemctl start firewalld.service

查看状态: systemctl status firewalld.service

停止: systemctl stop firewalld.service

禁用: systemctl disable firewalld.service

重启: systemctl  restart firewalld.service

6.4 免密登录

需要做的免密的机器


机器---->机器(免密登录)

master ----> slave01

master ----> slave02

master ----> master

6.4.1 生成密钥

[hd@master ~]$ ssh-keygen

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hd/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /home/hd/.ssh/id_rsa.

Your public key has been saved in /home/hd/.ssh/id_rsa.pub.

The key fingerprint is:

ef:ff:98:6c:a4:66:ca:66:a0:cd:a4:da:75:9c:c0:9f hd@slave02

The key's randomart image is:

+--[ RSA 2048]----+

|                 |

|                 |

|                 |

|     .           |

|      o S        |

|      o+ +  .    |

|     *..E .o     |

|   .o.ooo.+..o   |

|  ...  oo+.o=..  |

+-----------------+

6.4.2 拷贝密钥到你需要免密登录的机器

[hd@master ~]$ ssh-copy-id slave02

The authenticity of host 'slave02 (192.168.126.130)' can't be established.

ECDSA key fingerprint is 09:57:a3:56:3b:5f:f0:01:55:0e:42:f3:4c:43:3d:d5.

Are you sure you want to continue connecting (yes/no)? yes

/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed

/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys

hd@slave02's password:

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'slave02'"

and check to make sure that only the key(s) you wanted were added.

6.4.3 测试免密登录

[hd@master ~]$ ssh slave01

Last login: Sun Jul 12 23:54:32 2020 from 192.168.22.130

7. Hadoop安装

7.1 上传hadoop安装包

[hd@master hadoop]$ rz

rz waiting to receive.

zmodem trl+C ȡ

7.2 解压安装包

[hd@master apps]$ su hd

Password:

[hd@master apps]$ pwd

/home/hd/apps

[hd@master apps]$ tar -zxvf hadoop-3.0.0.tar.gz  


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
11月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
566 79
|
8月前
|
数据采集 搜索推荐 算法
Java 大视界 -- Java 大数据在智能教育学习社区用户互动分析与社区活跃度提升中的应用(274)
本文系统阐述 Java 大数据技术在智能教育学习社区中的深度应用,涵盖数据采集架构、核心分析算法、活跃度提升策略及前沿技术探索,为教育数字化转型提供完整技术解决方案。
|
9月前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
348 21
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
756 4
|
数据采集 数据可视化 大数据
大数据体系知识学习(三):数据清洗_箱线图的概念以及代码实现
这篇文章介绍了如何使用Python中的matplotlib和numpy库来创建箱线图,以检测和处理数据集中的异常值。
414 1
大数据体系知识学习(三):数据清洗_箱线图的概念以及代码实现
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
614 2
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
520 1
|
存储 SQL 分布式计算
大数据学习
【10月更文挑战第15天】
346 1
|
分布式计算 大数据 Linux
大数据体系知识学习(二):WordCount案例实现及错误总结
这篇文章介绍了如何使用PySpark进行WordCount操作,包括环境配置、代码实现、运行结果和遇到的错误。作者在运行过程中遇到了Py4JJavaError和JAVA_HOME未设置的问题,并通过导入findspark初始化和设置环境变量解决了这些问题。文章还讨论了groupByKey和reduceByKey的区别。
262 1