CentOS7.5配置伪分布式环境

简介: CentOS7.5配置Hadoop集群伪分布式环境

CentOS7.5配置伪分布式环境


3ba048ffa5674f2bac0dd22e93a6290d.jpeg



1.提前安装JDK和Hadoop并配置好环境变量


vim /etc/profile.d/my_env.sh


# JDK_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin



2.修改配置文件


core-site.xml


<configuration><!-- 指定NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://hadoop112:9820</value></property><!-- 指定hadoop数据的存储目录 --><property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-3.1.3/data</value></property></configuration>```
> hdfs-site.xml
```xml
<configuration><property><name>dfs.replication</name><value>1</value></property><!-- nn web端访问地址--><property><name>dfs.namenode.http-address</name><value>hadoop112:9870</value></property><!-- 2nn web端访问地址--><property><name>dfs.namenode.secondary.http-address</name><value>hadoop112:9868</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/module/hadoop-3.1.3/data/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/module/hadoop-3.1.3/data/dfs/data</value></property></configuration>```
> yarn-site.xml(也可以不用改)
```xml
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>


3.格式化NameNode


hdfs namenode -format

如果格式化成功,会看到 `has been successfully formatted` 和 `Exiting with status 0`的提示信息。


4.启动Hadoop


./sbin/start-dfs.ah

5.Web端查看HDFS信息

1.png



结束!

目录
相关文章
|
1天前
|
Linux
centos bond多网关配置 bond多网关路由
centos bond多网关配置 bond多网关路由
|
1天前
|
开发工具
centos8 yum安装mysql8 流程配置
centos8 yum安装mysql8 流程配置
|
7天前
|
Go
CentOS6.4安装GO语言环境
CentOS6.4安装GO语言环境
10 0
|
8天前
|
NoSQL Linux Redis
Centos7 安装和配置 Redis 5 教程
在Centos上安装Redis 5,如果是 Centos8,那么 yum 仓库中默认的 redis 版本就是 5,直接 yum install 即可。
54 0
|
10天前
|
缓存 Linux 编译器
Linux(CentOS7.5) 安装部署 Python3.6(超详细!包含 Yum 源配置!)
该指南介绍了在Linux系统中配置Yum源和安装Python3的步骤。首先,通过`yum install`和`wget`命令更新和备份Yum源,并从阿里云获取CentOS和EPEL的repo文件。接着,清理和更新Yum缓存。然后,下载Python3源代码包,推荐使用阿里云镜像加速。解压后,安装必要的依赖,如gcc。在配置和编译Python3时,可能需要解决缺少C编译器的问题。完成安装后,创建Python3和pip3的软链接,并更新环境变量。最后,验证Python3安装成功,并可选地升级pip和配置pip源以提高包下载速度。
|
21天前
|
NoSQL Linux Redis
在CentOS上安装和配置Redis
在CentOS上安装和配置Redis
107 0
|
21天前
|
网络安全 Docker 容器
测试开发环境下centos7.9下安装docker的minio
测试开发环境下centos7.9下安装docker的minio
34 1
|
21天前
|
Linux
CentOS 7 配置yum阿里源 (三步即可)
CentOS 7 配置yum阿里源 (三步即可)
389 1
|
21天前
|
安全 Linux 网络安全
【专栏】CentOS 8 最小安装提供了一个精简高效的环境
【4月更文挑战第28天】本文介绍了如何进行CentOS 8的最小安装,包括准备工作(确认硬件兼容性、下载ISO镜像、制作启动盘及备份数据)和安装步骤(选择语言、最小环境、网络设置、安全策略、分区、用户设置及开始安装)。安装后需进行基础配置,如系统更新、SELinux设置、防火墙配置、安装必要软件包和服务优化。最小安装提供了一个精简高效的环境,便于用户根据需求自定义和管理服务器。
|
21天前
|
网络协议 Java 应用服务中间件
记录_centos7离线环境和虚拟机共享文件安装jdk和tomcat(配置环境变量)
记录_centos7离线环境和虚拟机共享文件安装jdk和tomcat(配置环境变量)
13 0