开发者社区> 突突修> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

大数据||hadoop分布式集群安装

简介: 集群前先计划虚拟机,看文章大数据||Hadoop分布式部署虚拟机 基于伪分布式环境安装进行展开 规划机器与服务() HDFS 文件系统 YARN “云操作系统” JobHistoryServer 历史服务监控 修改配置文件,设置服务运行...
+关注继续查看

集群前先计划虚拟机,看文章大数据||Hadoop分布式部署虚拟机

  • 基于伪分布式环境安装进行展开
    规划机器与服务()
    HDFS 文件系统
    YARN “云操作系统”
    JobHistoryServer 历史服务监控
  • 修改配置文件,设置服务运行机器节点()
  • 分发HADOOP安装包至各个机器节点
  • 依据官方集群安装文档,分别启动各节点相应服务
  • 测试 HDFS 、YARN、 MapReduce ,Web UI 监控集群()
  • 配置主节点至各从节点 SSH 无密钥登陆
  • 集群基准测试(实际环境必须的,面试题)

系统基本环境配置

规划机器与服务

copy 伪分布模式步骤
image.png
配置hdfs
  • 配置jdk。


  • 配置hdfs的nameNode地址



  • 配置hadoop数据存储目录及垃圾回收时间

创建hadoop数据存储目录 mkdir -p /opt/app/hadoop-2.5.0/data/tmp


  • 配置secondaryNameNode

vi /opt/app/hadoop-2.5.0/etc/hadoop/hdfs-site.xml

  • 配置集群 slaves

vi /opt/app/hadoop-2.5.0/etc/hadoop/slaves


yarn配置
  • yarn的环境变量配置 。

vi /opt/app/hadoop-2.5.0/etc/hadoop/yarn-env.sh


  • resourceManager配置

vi /opt/app/hadoop-2.5.0/etc/hadoop/yarn-site.xml


  • 配置集群slaves

vi /opt/app/hadoop-2.5.0/etc/hadoop/slaves


配置MapReduce
  • mapReduce环境变量

vi /opt/app/hadoop-2.5.0/etc/hadoop/mapred-env.sh


  • 配置jobhistoryserver

vi /opt/app/hadoop-2.5.0/etc/hadoop/mapred-site.xml


分发Hadoop安装包至各个机器节点

  • 首先删除doc文件,此文件夹不需要分发


  • 从主节点(131)到从节点(132,133)无密码登入及测试


ssh-copy-id hadoop-senior02.beifeng.com
ssh-copy-id hadoop-senior03.beifeng.com
说明:ssh-copy-id命令可以把本地主机的公钥复制到远程主机的authorized_keys文件上,ssh-copy-id命令也会给远程主机的用户主目录(home)和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限


  • 分发hadoop安装包到子节点(132,133node节点)

命令scp(ssh copy)
scp -r ./hadoop-2.5.0 root@hadoop-senior02.beifeng.com:/opt/app/
scp -r ./hadoop-2.5.0 root@hadoop-senior03.beifeng.com:/opt/app/

yarn(132)无密码登入

  • 删除复制过来的虚拟机


  • 两个linux机器之间使用ssh不需要用户名和密码

命令:ssh-keygen -t rsa 。

两个linux机器之间使用ssh不需要用户名和密码,采用了数字签名RSA或者DSA来完成这个操作
  • 公钥复制到远程主机的authorized_keys文件上

ssh-copy-id hadoop-senior02.beifeng.com
ssh-copy-id hadoop-senior.beifeng.com
ssh-copy-id hadoop-senior03.beifeng.com


image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《Hadoop集群与安全》一导读
许多已有的Hadoop发行版本通过某种类型的图形界面来简化Hadoop的安装。这种方法极大地缩短了构建完整Hadoop集群所需的时间,同时也降低了管理集群配置的复杂性。
1172 0
HDInsight如何创建Hadoop集群
HDInsight如何创建Hadoop集群   带大家一起看下微软Azure云中的Hadoop集群创建,首先你必须先创建个存储账号,然后新建Hadoop集群/HBase/Storm,等待21分钟左右,一个Hadoop集群就创建完成了,看图:   ...
843 0
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们 在本教程中,您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表。
1356 0
腾讯大规模Hadoop集群实践
腾讯大规模Hadoop集群实践 转自:http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop ID lishilong404740787 TDW是腾讯最大的离线数据处理平台。
1244 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
立即下载
自建Hadoop数据如何托管到MaxCompute
立即下载
自建Hadoop数据如何托管到MaxCompute
立即下载