关于搭建haddoop分布式系统的全部过程复习

简介:

1\在vmware中更改了虚拟机的网络类型,--->NAT方式,(虚拟交换机的ip可以从vmvare的edit-->vertual network editor看到)
2、根据这个交换机(网关)的地址,来设置我们的客户端windown7的ip(Vmnet8这块网卡)
3、启动linux主机,修改linux系统的ip地址(通过图形界面修改),修改完成之后在terminal(命令行终端)中切换到root用户执行命令重启网络服务来让ip生效
4/修改主机名: 在root身份下,用命令修改 vi /etc/sysconfig/network 把hostname改为 yun-10-1
5/添加主机名和ip的映射 在root身份下 vi /etc/hosts 添加一行 192.168.2.100 yun-10-1
6/讲hadoop这个用户添加到sudoers里面去 在root身份下 vi /etc/sudoers ,在文件中找到 root ALL=ALL ALL ,下面加一行hadoop的
7/停止防火墙服务 在root身份下 service iptables stop
8、关闭防火墙的自动启动 在root身份下 chkconfig iptables off

9、reboot
10/用ping命令检测一下windows主机和linux服务器之间的网络连通性
11、进入linux修改图形界面启动配置,不要再启动图形界面了,在root身份下, vi /etc/inittab 将其改为id:3:initdefault:
12/再次reboot,将不会启动到图形界面了 
(当以后你想启动图形界面的时候可以在命令行下敲startx (init 5) ,在图形界面下你想关闭图形界面,敲命令init 3)

===========华丽的分割线=============================

1/用终端连接linux服务器进行软件的安装(用secureCRT来连接)
2/安装jdk
--用filezilla工具上传jdk的压缩包
--解压jdk的压缩包到一个专门的安装目录下 /home/hadoop/app
--在hadoop的主目录下敲命令 tar -zxvf jdk-7u65-linux-i586.tar.gz -C ./app
--配置java的环境变量 sudo vi /etc/profile
在文件的最后添加:

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
export PATH=$PATH:$JAVA_HOME/bin

3/让配置生效, source /etc/profile

===========帅酷的分割线=============================

1/用filezilla工具上传hadoop的安装包
2/把hadoop解压到app目录中去 tar -zxvf hadoop-2.4.1.tar.gz -C ./app/
3/修改hadoop的5大配置文件,位置在 /home/hadoop/app/hadoop-2.4.1/etc/hadoop目录下
-- vi hadoop-env.sh 改其中的JAVA_HOME为我们安装jdk的路径JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
-- vi core-site.xml 

<configuration>

<property>

<name>fs.defaultFS</name>
<value>hdfs://yun-10-1:9000</value>

</property>


<property>

<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>

</property>


</configuration>

 

-- vi hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


-- 先修改文件名 mv mapred-site.xml.template mapred-site.xml
在编辑 vi mapred-site.xml

<configuration>
<property>

<name>mapreduce.framework.name</name>
<value>yarn</value>

</property>
</configuration>


-- vi yarn-site.xml
<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>yun-10-1</value>

</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>

</property>

</configuration>


4/配置一下hadoop的环境变量
sudo vi /etc/profile

 

=============优美的分割线====================

1/无密登陆的配置
首先在客户端生成密钥对 ssh-keygen -t rsa 紧接着一直回车
然后在客户端拷贝公钥到远程 ssh-copy-id desthost


本文转自SummerChill博客园博客,原文链接:http://www.cnblogs.com/DreamDrive/p/4585771.html,如需转载请自行联系原作者

相关文章
|
7月前
|
供应链 架构师 数据库
架构师带你搞明白微服务进阶场景实战:服务之间的数据依赖问题
数据同步 上面讲解了数据一致性的解决方案,这一篇来讲讲服务之间的数据依赖问题,还是先来说说具体的业务场景。 业务场景:如何解决微服务之间的数据依赖问题 在某个供应链系统中,存在商品、订单、采购这3个服务,它们的主数据部分结构表如下。
架构师带你搞明白微服务进阶场景实战:服务之间的数据依赖问题
|
3月前
|
存储 消息中间件 负载均衡
图解 | 搞定分布式,程序员进阶之路
图解 | 搞定分布式,程序员进阶之路
68 1
|
4月前
|
分布式计算 算法 中间件
终于有架构大牛把分布式系统概念讲明白了,竟然用了足足800页
10年来,随着网络技术的发展、计算机应用的深入、分布式系统构建技术的日益成熟,分布式系统逐渐深入到人们的日常活动,并渗透到社会、经济、文化生活的各个方面。现今,分布式系统作为主流的软件系统,已成为人们工作、学习和生活中不可或缺的一部分。
|
5月前
|
消息中间件 缓存 负载均衡
分布式系统的解决方案,学好这个就够了
分布式系统的解决方案,学好这个就够了
40 0
|
9月前
|
缓存 运维 Kubernetes
【k8s 系列】k8s 学习二十七 - 7,k8s 自身原理之高可用
说到高可用,咱们在使用主机环境的时候(非 k8s),咱做高可用有使用过这样的方式: • 服务器做主备部署,当主节点和备节点同时存活的时候,只有主节点对外提供服务,备节点就等着主节点挂了之后,立刻补位
129 0
|
11月前
|
存储 开发框架 前端开发
【系统设计】大神三分钟搞懂领域驱动设计(二)
【系统设计】大神三分钟搞懂领域驱动设计
|
11月前
|
前端开发 Java 程序员
【系统设计】大神三分钟搞懂领域驱动设计(一)
【系统设计】大神三分钟搞懂领域驱动设计
【系统设计】大神三分钟搞懂领域驱动设计(一)
|
11月前
|
存储 开发框架 数据可视化
【系统设计】大神三分钟搞懂领域驱动设计(三)
【系统设计】大神三分钟搞懂领域驱动设计
【系统设计】大神三分钟搞懂领域驱动设计(三)
|
安全 数据库 微服务
分布式基础知识点
分布式基础知识点
91 0
分布式基础知识点
|
关系型数据库 中间件 MySQL
分布式基础理论知识点-2pc协议(面试常问知识点)
分布式事务专题一直是面试的重点,这篇文章主要是讨论一下分布式事务中的2pc协议。如果你之前看过CAP和BASE理论,会对这篇文章的理解有更大的帮助。
327 0
分布式基础理论知识点-2pc协议(面试常问知识点)