<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

本文涉及的产品
转发路由器TR,750小时连接 100GB跨地域
简介: 1.下载hadoop ,推荐去官网下载:请点击    官网地址(我下载的是2.6.5版本的)2,把它进行拷贝到linux中;3,在usr下解压其压缩文件 命令【tar -zxvf +文件名】4,删除压缩包...

1.下载hadoop ,推荐去官网下载:请点击    官网地址(我下载的是2.6.5版本的)


2,把它进行拷贝到linux中;


3,在usr下解压其压缩文件

 命令【tar -zxvf +文件名】


4,删除压缩包

命令【rm -rf +文件名】


5,将解压后的文件改名为“hadoop”

命令【mv +旧文件名+hadoop】


6,根据hadoop文件的位置编辑它的环境变量

命令【vim /etc/bashrc】

添加以下内容:

#set hadoop env
export HADOOP_HOME=/usr/hadoop
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH


补充:关于sbin的目录的配置可以,在任何位置启动hadoop

7,使其上面配置的文件生效

命令【source /etc/bashrc】

8,hadoop是否能够启动的重点来了,那就是文件的配置(/usr/hadoop/etc/hadoop/下的文件)

    • hadoop-env.sh :主要添加jdk的环境变量

 

export JAVA_HOME=/usr/java/jdk1.7.0_80

    • core-site.xml : 添加内容如下(小括号的内容不必填写,但所描述的目录需要自己建立)

 <configuration>    

            <property>   

               <name>fs.defaultFS</name>    

               <value>hdfs://172.21.3.73:9000</value>    (默认的HDFS路径)

           </property>

    <property>    

                 <name>hadoop.tmp.dir</name>  

                <value>/home/hadoopdir/tmp</value>  (默认是NameNode、DataNode、JournalNode等存放数据的公共目录)

           </property>

<configuration>

    •  hdfs-site.xml : 添加内容如下

<configuration>
 <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:///home/hadoopdir/dfs/name</value>
  </property>

<property>
     <name>dfs.namenode.data.dir</name>
     <value>file:///home/hadoopdir/dfs/data</value>
  </property>
  <property>
     <name>dfs.replication</name>
     <value>3</value>(指定DataNode存储block的副本数量。默认值是3个,我们现在有4个DataNode,该值不大于4即可。)
  </property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>172.21.3.73:50090</value>
  </property>
<property>
     <name>dfs.webhdfs.enabled</name>
     <value>true</value>
  </property>
</configuration>



    • yarn-site.xml : 添加内容如下

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master.hadoop</value>
   </property>
<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
   </property>
  <property>
                <name>yarn.resourcemanager.address</name>
                <value>172.21.3.73:8032</value>
   </property>
   <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>172.21.3.73:8030</value>
   </property>
   <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>172.21.3.73:8031</value>
   </property>
   <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>172.21.3.73:8033</value>
   </property>

   <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>172.21.3.73:8088</value>
   </property>

</configuration


    • mapred-site.xml  (这个文件本身是没有的,cp   mapre-site.xml.template  mapre-site.xml)

<configuration>
    <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            <final>true</final>
   </property>
    <property>
                <name>mapreduce.jobtracker.http.address</name>
                <value>172.21.3.73:50030</value>
    </property>
   <property>
                <name>mapreduce.jobhistory.address</name>
                <value>http://172.21.3.73:10020</value>
   </property>
    <property>
                <name>mapreduce.jobhistory.address</name>
                <value>172.21.3.73:19888</value>
    </property>
        <property>
                <name>mapred.job.tracker</name>
                <value>http://172.21.3.73:9001</value>
        </property>
</configuration>

9,在Slaves 里配置节点信息(只配置从节点就可以了)
Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop

10,接下来就可以进行大胆的验证了,集群启动时需要格式化

命令【hadoop namenode -format】

11,启动集群

命令【start-all.sh】

12,可以在网页上看出集群的状态(当然 也可以直接:jps 查询)

两个网页【主节点ip:50070】,【主节点ip; 9000】


12,当然中间会出现很多问题,接下来我会慢慢补充的。。。。。!


目录
相关文章
|
SQL Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
在运行一个group by的sql时,抛出以下错误信息: Task with the most failures(4):  -----Task ID:  task_201411191723_723592_m_000004URL:  http://DDS0204.
977 0
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
异步通信 对于BS(Browser-Server 浏览器)架构,很多情景下server的处理时间较长。 如果浏览器发送请求后,保持跟server的连接,等待server响应,那么一方面会对用户的体验有负面影响; 另一方面,很有可能会由于超时,提示用户服务请求失败。
771 0
|
Web App开发 监控 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Hbase依赖的datanode日志中如果出现如下报错信息:DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block  解决办法:Hbase侧配置的dfs.socket.timeout值过小,与DataNode侧配置的 dfs.socket.timeout的配置不一致,将hbase和datanode的该配置调成大并一致。
802 0
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Every Programmer Should Know These Latency Numbers 1秒=1000毫秒(ms) 1秒=1,000,000 微秒(μs) 1秒=1,000,000,000 纳秒(ns) 1秒=1,000,000,000,000 皮秒(ps) L1 cache reference .
649 0
|
Web App开发 前端开发 Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
java链接MongoDB处理大量数据时经常碰到cursor not found 的异常,其实是超时所致 Exception in thread "main" com.
832 0
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
zookeeper watch的定义如下:watch事件是一次性触发器,当watch监视的数据发生变化时,通知设置了该watch的client,即watcher。
941 0
|
Web App开发 存储 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1.HBase依赖于HDFS,HBase按照列族将数据存储在不同的hdfs文件中;MongoDB直接存储在本地磁盘中,MongoDB不分列,整个文档都存储在一个(或者说一组)文件中 (存储) 2.
735 0
|
Web App开发 监控 前端开发
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
从hadoop移除机器把需要移除的机器增加到exclueds文件中,强制刷新datanode列表,等待decommission 状态正常后,即可停机下架,如有必要在namenode执行balancer操作。
686 0
|
Web App开发 前端开发 Linux
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
 频繁的文件访问会导致系统的Cache使用量大增   $ free -m   total used free shared buffers cached   Mem: 3955 3926 28 0 55 3459   -...
650 0