hadoop

简介: hadoop

修改主机名并添加解析文件:
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
vim /etc/hosts
192.168.1.10 node1
192.168.1.11 node2
192.168.1.12 node3
免密码登录:
ssh-keygen -t rsa //一路回车键即可
ssh-copy-id node1 //第一次输入 yes 和 hduser 的密码
ssh-copy-id node2
ssh-copy-id node3
创建用户:
groupadd hadoop
useradd -g hadoop hduser
echo 123 |passwd --stdin hduser
vim /etc/sudoers
92行:hduser ALL=(ALL) ALL

全部主机:
rpm -ivh jdk-8u171-linux-x64.rpm
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

验证:
source /etc/profile

node1:
tar zxvf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 hadoop
mv hadoop /home/hduser/
vim /etc/profile

hadoop

export HADOOP_HOME=/home/hduser/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

node1:
vim hadoop-env.sh
增加以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

vim yarn-env.sh
增加以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

vim slaves
增加以下内容:
node2
node3

vim core-site.xml
增加以下内容:



fs.defaultFS
hdfs://node1:9000


hadoop.tmp.dir
file:/home/hduser/hadoop/tmp

vim hdfs-site.xml
增加以下内容:



dfs.namenode.secondary.http-address
node1:50090


dfs.namenode.name.dir
file:/home/hduser/hadoop/dfs/name


dfs.datanode.data.dir
file:/home/hduser/hadoop/dfs/data


dfs.replication
2


dfs.webhdfs.enabled
true

vim mapred-site.xml
增加以下内容:



mapreduce.framework.name
yarn


mapreduce.jobhistory.address
node1:10020


mapreduce.jobhistory.webapp.address
node1:19888

vim yarn-site.xml
增加以下内容:



yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
node1:8032


yarn.resourcemanager.scheduler.address
node1:8030


yarn.resourcemanager.resource-tracker.address
node1:8035


yarn.resourcemanager.admin.address
node1:8033


yarn.resourcemanager.webapp.address
node1:8088

相关文章
|
5月前
|
人工智能 文字识别 运维
AR眼镜在巡检业务中的软件架构设计|阿法龙XR云平台
引入AR眼镜与AI融合的巡检方案,构建“端-边-云”协同架构,实现工单可视化、AR叠加数据、智能识别表计与异常、远程协作及自动报告生成,提升工业巡检效率与智能化水平。
|
算法 Java
闲话银行家舍入法,以及在程序中如何实现
闲话银行家舍入法,以及在程序中如何实现
779 0
|
域名解析 负载均衡 网络协议
【信息收集】 IP信息收集
IP信息收集、CDN、C段、DNS记录
545 3
|
存储 监控 安全
邮件告警通知
【10月更文挑战第20天】
WK
|
开发框架 开发工具 C++
C++跨平台框架Qt
Qt是一个功能强大的C++跨平台应用程序开发框架,支持Windows、macOS、Linux、Android和iOS等操作系统。它提供了250多个C++类,涵盖GUI设计、数据库操作、网络编程等功能。Qt的核心特点是跨平台性、丰富的类库、信号与槽机制,以及良好的文档和社区支持。Qt Creator是其官方IDE,提供了一整套开发工具,方便创建、编译、调试和运行应用程序。Qt适用于桌面、嵌入式和移动应用开发。
WK
668 5
|
JSON Java 数据库
SpringBoot项目使用AOP及自定义注解保存操作日志
SpringBoot项目使用AOP及自定义注解保存操作日志
353 1
|
安全 网络协议 物联网
物联网僵尸网络和 DDoS 攻击的 CERT 分析
物联网僵尸网络和 DDoS 攻击的 CERT 分析
|
小程序 开发者
微信小程序跳转微信小程序,使用微信开发者工具的测试记录
本文是博主学习微信小程序的记录,希望对大家有所帮助。
832 0
微信小程序跳转微信小程序,使用微信开发者工具的测试记录
|
搜索推荐 安全 数据挖掘
产品运营方法论:从目标拆解到策略重构
本文从产品运营的定义到作者对产品运营的理解以及一些工作中用到的方法论做了总结。
212223 33
有关elementUI el-form表单配置了校验规则但是反向校验问题
有关elementUI el-form表单配置了校验规则但是反向校验问题
334 2