hadoop分布式集合的搭建

现在在公司实习，入职大数据开发工作，通过阿里云的服务器搭建hadoop的环境集合进行练习，下面进行分享一些学习的过程以及一些实践的过程。
什么是分布式？什么是集群? 什么是负载均衡？什么是分布式集群？
分布式：一个业务拆分为多个子业务，部署在多个服务器上 。
集群：同一个业务，部署在多个服务器上 。
集群：多个人在一起作同样的事 。
分布式 ：多个人在一起作不同的事 。
1.单机结构
大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构。
那么，单机结构有啥缺点呢？我想缺点是显而易见的，单机的处理能力毕竟是有限的，
当你的业务增长到一定程度的时候，单机的硬件资源将无法满足你的业务需求。此时便出现了集群模式。
2.什么是集群
集群的背景:
单机处理到达瓶颈的时候，你就把单机复制几份，这样就构成了一个“集群”。集群中每台服务器就叫做这个集群的一个“节点”，所有节点构成了一个集群。每个节点都提供相同的服务，那么这样系统的处理能力就相当于提升了好几倍（有几个节点就相当于提升了多少倍）。
负载均衡:
但问题是用户的请求究竟由哪个节点来处理呢？最好能够让此时此刻负载较小的节点来处理，这样使得每个节点的压力都比较平均。要实现这个功能，就需要在所有节点之前增加一个“调度者”的角色，用户的所有请求都先交给它，然后它根据当前所有节点的负载情况，决定将这个请求交给哪个节点处理。这个“调度者”有个牛逼了名字——负载均衡服务器。
集群结构的优势:
集群结构的好处就是系统扩展非常容易。如果随着你们系统业务的发展，当前的系统又支撑不住了，那么给这个集群再增加节点就行了。
集群存在的问题:
当你的业务发展到一定程度的时候，你会发现一个问题——无论怎么增加节点，貌似整个集群性能的提升效果并不明显了。这时候，你就需要使用微服务结构了。
分布式的概念:
分布式结构就是将一个完整的系统，按照业务功能，拆分成一个个独立的子系统，
在分布式结构中，每个子系统就被称为“服务”。这些子系统能够独立运行在web容器中，它们之间通过RPC方式通信。
实践
实现步骤 在hadoop102上安装jdk，将jdk的安装包上传到 /opt/software 下，将jdk安装到/opt/module 下， 配置jdk的环境变量，在/etc/profile.d 目录下创建自定的配置文件 my_env.sh
，在my_env.sh写入以下内容，声明JAVA_HOME变量，JAVA_HOME=/opt/module/jdk1.8.0_212，将JAVA_HOME变量追加到PATH变量上， PATH=$PATH:$JAVA_HOME/bin，提升JAVA_HOME变量为系统变量
export JAVA_HOME PATH。在hadoop102上安装hadoop，将hadoop的安装包上传到 /opt/software 下， 将hadoop安装到 /opt/module下，配置hadoop的环境变量，在my_env.sh写入以下内容，声明JAVA_HOME变量，AVA_HOME=/opt/module/jdk1.8.0_212，声明HADOOP_HOME变量，HADOOP_HOME=/opt/module/hadoop-3.1.3，将JAVA_HOME变量追加到PATH变量上，将HADOOP_HOME/binHADOOP_HOME/sbin 追加到PATH变量上，PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，提升JAVA_HOME、PATH、HADOOP_HOME 变量为系统变量,export JAVA_HOME PATH HADOOP_HOME。最终成功的在集群中安装了jdk和hadoop，并通过脚本的分发到不同的服务器中，在后续学习中将导入将实现客户端的HDFS和HADOOP，通过一些配置文件的脚本的编写上传到服务器中。