hadoop

简介: hadoop

修改主机名并添加解析文件:
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
vim /etc/hosts
192.168.1.10 node1
192.168.1.11 node2
192.168.1.12 node3
免密码登录:
ssh-keygen -t rsa //一路回车键即可
ssh-copy-id node1 //第一次输入 yes 和 hduser 的密码
ssh-copy-id node2
ssh-copy-id node3
创建用户:
groupadd hadoop
useradd -g hadoop hduser
echo 123 |passwd --stdin hduser
vim /etc/sudoers
92行:hduser ALL=(ALL) ALL

全部主机:
rpm -ivh jdk-8u171-linux-x64.rpm
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

验证:
source /etc/profile

node1:
tar zxvf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 hadoop
mv hadoop /home/hduser/
vim /etc/profile

hadoop

export HADOOP_HOME=/home/hduser/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

node1:
vim hadoop-env.sh
增加以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

vim yarn-env.sh
增加以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

vim slaves
增加以下内容:
node2
node3

vim core-site.xml
增加以下内容:



fs.defaultFS
hdfs://node1:9000


hadoop.tmp.dir
file:/home/hduser/hadoop/tmp

vim hdfs-site.xml
增加以下内容:



dfs.namenode.secondary.http-address
node1:50090


dfs.namenode.name.dir
file:/home/hduser/hadoop/dfs/name


dfs.datanode.data.dir
file:/home/hduser/hadoop/dfs/data


dfs.replication
2


dfs.webhdfs.enabled
true

vim mapred-site.xml
增加以下内容:



mapreduce.framework.name
yarn


mapreduce.jobhistory.address
node1:10020


mapreduce.jobhistory.webapp.address
node1:19888

vim yarn-site.xml
增加以下内容:



yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
node1:8032


yarn.resourcemanager.scheduler.address
node1:8030


yarn.resourcemanager.resource-tracker.address
node1:8035


yarn.resourcemanager.admin.address
node1:8033


yarn.resourcemanager.webapp.address
node1:8088

相关文章
|
8月前
|
编解码 安全 JavaScript
《深入剖析鸿蒙生态原生应用:一次开发多端部署的技术革新》
鸿蒙生态通过“一次开发多端部署”技术,重新定义了应用开发模式。基于ArkTS语言与ArkUI框架,结合HUAWEI DevEco Studio工具,开发者可高效构建跨设备应用,实现无缝流转与协同工作。这一技术不仅降低了开发成本,提升了用户体验,还推动了全场景智能生态的繁荣。尽管面临性能优化与安全保护等挑战,但随着技术进步,鸿蒙将引领万物互联新时代,带来更智能便捷的生活体验。
262 0
|
安全 物联网 数据安全/隐私保护
物联网卡在应用于交通运输与物流中常见问题及解决建议
在交通运输与物流领域使用物联网卡期间,常见的问题主要包括网络连接、信号稳定性、设备管理、数据安全性以及套餐流量管理等方面。以下是对这些问题的详细分析和操作建议
|
域名解析 负载均衡 网络协议
【信息收集】 IP信息收集
IP信息收集、CDN、C段、DNS记录
437 3
|
算法 Java
闲话银行家舍入法,以及在程序中如何实现
闲话银行家舍入法,以及在程序中如何实现
499 0
|
12月前
|
存储 监控 安全
邮件告警通知
【10月更文挑战第20天】
|
Web App开发 资源调度 网络协议
Linux系统之部署IP工具箱MyIP
【10月更文挑战第5天】使用Docker部署Radicale日历和联系人应用Linux系统之部署IP工具箱MyIP
510 1
Linux系统之部署IP工具箱MyIP
|
12月前
|
JSON Java 数据库
SpringBoot项目使用AOP及自定义注解保存操作日志
SpringBoot项目使用AOP及自定义注解保存操作日志
244 1
|
安全 网络协议 物联网
物联网僵尸网络和 DDoS 攻击的 CERT 分析
物联网僵尸网络和 DDoS 攻击的 CERT 分析
|
小程序 开发者
微信小程序跳转微信小程序,使用微信开发者工具的测试记录
本文是博主学习微信小程序的记录,希望对大家有所帮助。
709 0
微信小程序跳转微信小程序,使用微信开发者工具的测试记录
有关elementUI el-form表单配置了校验规则但是反向校验问题
有关elementUI el-form表单配置了校验规则但是反向校验问题
279 2