<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

本文涉及的产品
转发路由器TR,750小时连接 100GB跨地域
简介: 1.下载hadoop ,推荐去官网下载:请点击    官网地址(我下载的是2.6.5版本的)2,把它进行拷贝到linux中;3,在usr下解压其压缩文件 命令【tar -zxvf +文件名】4,删除压缩包...

1.下载hadoop ,推荐去官网下载:请点击    官网地址(我下载的是2.6.5版本的)


2,把它进行拷贝到linux中;


3,在usr下解压其压缩文件

 命令【tar -zxvf +文件名】


4,删除压缩包

命令【rm -rf +文件名】


5,将解压后的文件改名为“hadoop”

命令【mv +旧文件名+hadoop】


6,根据hadoop文件的位置编辑它的环境变量

命令【vim /etc/bashrc】

添加以下内容:

#set hadoop env
export HADOOP_HOME=/usr/hadoop
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH


补充:关于sbin的目录的配置可以,在任何位置启动hadoop

7,使其上面配置的文件生效

命令【source /etc/bashrc】

8,hadoop是否能够启动的重点来了,那就是文件的配置(/usr/hadoop/etc/hadoop/下的文件)

    • hadoop-env.sh :主要添加jdk的环境变量

 

export JAVA_HOME=/usr/java/jdk1.7.0_80

    • core-site.xml : 添加内容如下(小括号的内容不必填写,但所描述的目录需要自己建立)

 <configuration>    

            <property>   

               <name>fs.defaultFS</name>    

               <value>hdfs://172.21.3.73:9000</value>    (默认的HDFS路径)

           </property>

    <property>    

                 <name>hadoop.tmp.dir</name>  

                <value>/home/hadoopdir/tmp</value>  (默认是NameNode、DataNode、JournalNode等存放数据的公共目录)

           </property>

<configuration>

    •  hdfs-site.xml : 添加内容如下

<configuration>
 <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:///home/hadoopdir/dfs/name</value>
  </property>

<property>
     <name>dfs.namenode.data.dir</name>
     <value>file:///home/hadoopdir/dfs/data</value>
  </property>
  <property>
     <name>dfs.replication</name>
     <value>3</value>(指定DataNode存储block的副本数量。默认值是3个,我们现在有4个DataNode,该值不大于4即可。)
  </property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>172.21.3.73:50090</value>
  </property>
<property>
     <name>dfs.webhdfs.enabled</name>
     <value>true</value>
  </property>
</configuration>



    • yarn-site.xml : 添加内容如下

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master.hadoop</value>
   </property>
<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
   </property>
  <property>
                <name>yarn.resourcemanager.address</name>
                <value>172.21.3.73:8032</value>
   </property>
   <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>172.21.3.73:8030</value>
   </property>
   <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>172.21.3.73:8031</value>
   </property>
   <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>172.21.3.73:8033</value>
   </property>

   <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>172.21.3.73:8088</value>
   </property>

</configuration


    • mapred-site.xml  (这个文件本身是没有的,cp   mapre-site.xml.template  mapre-site.xml)

<configuration>
    <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            <final>true</final>
   </property>
    <property>
                <name>mapreduce.jobtracker.http.address</name>
                <value>172.21.3.73:50030</value>
    </property>
   <property>
                <name>mapreduce.jobhistory.address</name>
                <value>http://172.21.3.73:10020</value>
   </property>
    <property>
                <name>mapreduce.jobhistory.address</name>
                <value>172.21.3.73:19888</value>
    </property>
        <property>
                <name>mapred.job.tracker</name>
                <value>http://172.21.3.73:9001</value>
        </property>
</configuration>

9,在Slaves 里配置节点信息(只配置从节点就可以了)
Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop

10,接下来就可以进行大胆的验证了,集群启动时需要格式化

命令【hadoop namenode -format】

11,启动集群

命令【start-all.sh】

12,可以在网页上看出集群的状态(当然 也可以直接:jps 查询)

两个网页【主节点ip:50070】,【主节点ip; 9000】


12,当然中间会出现很多问题,接下来我会慢慢补充的。。。。。!


目录
相关文章
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
最近在线上往hbase导数据,因为hbase写入能力比较强,没有太在意写的问题。让业务方进行历史数据的导入操作,中间发现一个问题,写入速度太快,并且业务数据集中到其中一个region,这个region无法split掉,处于不可用状态。
1338 0
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Every Programmer Should Know These Latency Numbers 1秒=1000毫秒(ms) 1秒=1,000,000 微秒(μs) 1秒=1,000,000,000 纳秒(ns) 1秒=1,000,000,000,000 皮秒(ps) L1 cache reference .
647 0
|
Web App开发 监控 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin    日志位置:/var/log/hadoop)1.登陆服务器,切换到mapred用户,执行jps命令,查看是否有TaskTracker进程。
1010 0
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
从hadoop移除机器把需要移除的机器增加到exclueds文件中,强制刷新datanode列表,等待decommission 状态正常后,即可停机下架,如有必要在namenode执行balancer操作。
680 0
|
Web App开发 前端开发 Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
 Connection reset by peer的常见原因: 1)服务器的并发连接数超过了其承载量,服务器会将其中一些连接关闭;    如果知道实际连接服务器的并发客户数没有超过服务器的承载量,看下有没有网络流量异常。
857 0
|
Web App开发 存储 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
NoSuchObjectException(message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore_df61080e04cd7eb36c4336f71b5a8bc4) at org.
1079 0
|
Web App开发 前端开发 数据库
|
SQL Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
     如果在INSERT语句末尾指定了ON DUPLICATE KEY UPDATE,并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值,则在出现重复值的行执行UPDATE;如果不会导致唯一值列重复的问题,则插入新行。
777 0
|
Web App开发 前端开发 关系型数据库
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
mysql修改表、字段、库的字符集 修改数据库字符集: ALTER DATABASE db_name DEFAULT CHARACTER SET character_name [COLLATE .
708 0
|
Web App开发 前端开发 关系型数据库
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
如果mysql正在运行,/etc/init.d/mysqld stop 启动mysql(无需输入密码):bin/safe_mysqld –skip-grant-tables & 在bin目录下执行mysql,此时无需输入密...
804 0
下一篇
无影云桌面