hadoop

简介: hadoop

修改主机名并添加解析文件:
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
vim /etc/hosts
192.168.1.10 node1
192.168.1.11 node2
192.168.1.12 node3
免密码登录:
ssh-keygen -t rsa //一路回车键即可
ssh-copy-id node1 //第一次输入 yes 和 hduser 的密码
ssh-copy-id node2
ssh-copy-id node3
创建用户:
groupadd hadoop
useradd -g hadoop hduser
echo 123 |passwd --stdin hduser
vim /etc/sudoers
92行:hduser ALL=(ALL) ALL

全部主机:
rpm -ivh jdk-8u171-linux-x64.rpm
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

验证:
source /etc/profile

node1:
tar zxvf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 hadoop
mv hadoop /home/hduser/
vim /etc/profile

hadoop

export HADOOP_HOME=/home/hduser/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

node1:
vim hadoop-env.sh
增加以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

vim yarn-env.sh
增加以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

vim slaves
增加以下内容:
node2
node3

vim core-site.xml
增加以下内容:



fs.defaultFS
hdfs://node1:9000


hadoop.tmp.dir
file:/home/hduser/hadoop/tmp

vim hdfs-site.xml
增加以下内容:



dfs.namenode.secondary.http-address
node1:50090


dfs.namenode.name.dir
file:/home/hduser/hadoop/dfs/name


dfs.datanode.data.dir
file:/home/hduser/hadoop/dfs/data


dfs.replication
2


dfs.webhdfs.enabled
true

vim mapred-site.xml
增加以下内容:



mapreduce.framework.name
yarn


mapreduce.jobhistory.address
node1:10020


mapreduce.jobhistory.webapp.address
node1:19888

vim yarn-site.xml
增加以下内容:



yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
node1:8032


yarn.resourcemanager.scheduler.address
node1:8030


yarn.resourcemanager.resource-tracker.address
node1:8035


yarn.resourcemanager.admin.address
node1:8033


yarn.resourcemanager.webapp.address
node1:8088

相关文章
|
21天前
|
数据安全/隐私保护 Windows
【2026最新】用WinSCP上传下载服务器文件(图解版,0基础也能看懂)
WinSCP是Windows平台免费开源的文件传输工具,支持SFTP、FTP、SCP、WebDAV等协议,提供双面板操作、远程文件编辑、目录同步、脚本自动化等功能,安装便捷(含便携版),中文界面友好,是FileZilla的强力替代方案。
|
人工智能 编解码 芯片
告别低效沟通|让技术提问不再头疼-这套高效AI提问模板来帮你
不会向ai提问,不知道怎么提问的 可以看看
21354 1
告别低效沟通|让技术提问不再头疼-这套高效AI提问模板来帮你
|
9月前
|
人工智能 文字识别 运维
AR眼镜在巡检业务中的软件架构设计|阿法龙XR云平台
引入AR眼镜与AI融合的巡检方案,构建“端-边-云”协同架构,实现工单可视化、AR叠加数据、智能识别表计与异常、远程协作及自动报告生成,提升工业巡检效率与智能化水平。
|
12月前
|
API 开发工具 开发者
HarmonyOS NEXT实战:拨打电话
本课程介绍如何在HarmonyOS SDK中使用Telephony Kit实现拨打电话功能。通过CallPhoneDemoPage示例,讲解如何输入电话号码并调用makeCall接口拨号,涉及call模块的使用及设备通话能力检测。
8106 0
|
域名解析 负载均衡 网络协议
【信息收集】 IP信息收集
IP信息收集、CDN、C段、DNS记录
848 3
WK
|
开发框架 开发工具 C++
C++跨平台框架Qt
Qt是一个功能强大的C++跨平台应用程序开发框架,支持Windows、macOS、Linux、Android和iOS等操作系统。它提供了250多个C++类,涵盖GUI设计、数据库操作、网络编程等功能。Qt的核心特点是跨平台性、丰富的类库、信号与槽机制,以及良好的文档和社区支持。Qt Creator是其官方IDE,提供了一整套开发工具,方便创建、编译、调试和运行应用程序。Qt适用于桌面、嵌入式和移动应用开发。
WK
811 5
|
数据安全/隐私保护
DT AES 加密解密 / UE 插件说明
DT AES 加密解密 / UE 插件说明
478 0
|
Kubernetes Ubuntu Linux
我应该如何安装Kubernetes
我应该如何安装Kubernetes
|
弹性计算 运维 安全
飞速打造企业门面:高效构建企业门户网站的秘诀
本文介绍了企业门户网站的构建,强调了阿里云提供的高效构建企业门户网站解决方案。文章首先解释了门户网站的定义、作用、特点和优势,并分析了传统建站方式的成本,包括人力、时间、技术和维护成本。接着,重点讨论了阿里云的解决方案如何通过云计算和DevOps工具(如云效和ECS)降低这些成本,提供弹性、安全和自动化运维。文章指出,该解决方案支持一键部署和手动部署,但建议新用户使用一键部署以简化流程。最后,文章总结了阿里云方案的优点,即节省成本和提高效率,但也指出了文档在引导和流程清晰度上的改进空间。
552 6
|
敏捷开发 安全 测试技术
敏捷项目管理的原则、好处、工具、提示以及何时进行转换
敏捷项目管理的原则、好处、工具、提示以及何时进行转换