hadoop运行环境搭建准备(2)

本文涉及的产品
云防火墙,500元 1000GB
简介: hadoop运行环境搭建准备(2)

1.准备:


1.准备三台unix虚拟机并安装centos7系统,主机名f分别为:

bigdata121

bigdata122

bigdata123


对应的固定ip分别为:


192.168.157.121

192.168.157.122

192.168.157.123

2.jdk-8u144-linux-x64.tar.gz


3.hadoop-2.8.4.tar.gz


2.环境配置


关闭防火墙


关闭防火墙:systemctl stop firewalld.service

禁用防火墙:systemctl disable firewalld.service

查看防火墙:systemctl status firewalld.service


关闭Selinux(可选)


不了解selinux的可以点此了解


vi /etc/selinux /config

将SELINUX=enforcing改为SELINUX=disabled


修改IP


1. vi /etc/sysconfig/network-scripts/ifcfg-ens33


BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.X.121
GATEWAY=192.168.X.2
DNS1=8.8.8.8
DNS2=8.8.4.4
NETMASK=255.255.255.0


我的vmnet8虚拟机网段为157,自己固定的,所以

IPADDR=192.168.157.121

GATEWAY=192.168.157.2

不会固定wlan的可以百度下。

1dc618a0ed9580ce8bfa6facb208c08f.png5d4c6812c8535adbb050f4ddf2e1bce8.png


2. vi /etc/resolv.conf


nameserver 8.8.8.8
nameserver 8.8.4.4 


3.重启网卡:


servie network restart


4.修改主机名


hostnamectl set-hostname 主机名

我的主机名为 bigdata121


5.IP和主机名关系映射


vi /etc/hosts
192.168.1.121 bigdata121
192.168.1.122 bigdata122
192.168.1.123 bigdata123


6.在bigdata121上分别发送这个文件到bigdata122和bigdata123上


scp /etc/hosts root@bigdata122:/etc/
scp /etc/hosts root@bigdata122:/etc/


7.在windows上修改hosts(可选)


在windows的C:\Windows\System32\drivers\etc路径下找到hosts并添加


192.168.1.121 bigdata121
192.168.1.122 bigdata122
192.168.1.123 bigdata123


注意:这步也可以暂时忽略,这句的主要作用是在hadoop的客户端页面,下载download的文件使用,不配置这个,下载会报个错误。


3. 在opt目录下创建文件


1dc618a0ed9580ce8bfa6facb208c08f.png

创建/opt/soft 放jdk和hadoop的tar包,例如

5d4c6812c8535adbb050f4ddf2e1bce8.png

创建/opt/mod 安装软件解压目录,例如

46a9d80a6e05e4e3b19d57a0ee70bcdf.png


4.创建一个用户(可选)


创建普通用户hfl:


adduser hfl
passwd hfl


设置hfl用户具有root权限

vi /etc/sudoers 92行 找到root ALL=(ALL) ALL,

复制一行:hfl ALL=(ALL) ALL

1dc618a0ed9580ce8bfa6facb208c08f.png


5. 安装jdk


解压jdk到/opt/module目录下


tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/mod/


配置jdk环境变量


vi /etc/profile

export JAVA_HOME=/opt/mod/jdk1.8.0_144

export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

source /etc/profile


测试jdk安装成功


java -version


相关文章
|
5月前
|
数据采集 分布式计算 监控
Hadoop集群长时间运行数据倾斜原因
【6月更文挑战第20天】
54 6
|
5月前
|
分布式计算 监控 网络协议
Hadoop集群长时间运行网络延迟原因
【6月更文挑战第20天】
139 2
|
6月前
|
分布式计算 Hadoop 测试技术
Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
【4月更文挑战第1天】Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
171 3
|
1月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
41 3
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
76 4
|
3月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
184 2
|
3月前
|
分布式计算 Hadoop Java
Hadoop_MapReduce中的WordCount运行详解
MapReduce的WordCount程序在分布式系统中计算大数据集中单词出现的频率时,提供了一个可以复用和可伸缩的解决方案。它体现了MapReduce编程模型的强大之处:简单、可靠且将任务自动分布到一个集群中去执行。它首先运行一系列的Map任务来处理原始数据,然后通过Shuffle和Sort机制来组织结果,最后通过运行Reduce任务来完成最终计算。因此,即便数据量非常大,通过该模型也可以高效地进行处理。
94 1
|
3月前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
340 0
|
4月前
|
分布式计算 资源调度 监控
Hadoop中运行Job
【7月更文挑战第10天】
51 2
|
5月前
|
存储 缓存 分布式计算

相关实验场景

更多