HADOOP VM三台虚拟机配置hadoop分布式

2022-10-21 330

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

RDS MySQL Serverless 基础系列，0.5-2RCU 50GB

RDS MySQL Serverless 高可用系列，价值2615元额度，1个月

任务调度 XXL-JOB 版免费试用，400 元额度，开发版规格

简介： HADOOP VM三台虚拟机配置hadoop分布式

1、为aboutyun用户添加管理员权限：

1）创建aboutyun用户和配置密码：

创建用户：useradd aboutyun
设置密码：passwd aboutyun

2）修改sudoers只读权限:

chmod u+w sudoers
vi  /etc/sudoers

3）切换用户：su - aboutyun

4）需要ifconfig命令：yum install net-tools.x86_64

5）同步互联网时间：

yum install -y ntpdate；
ntpdate time.windows.com
ntpdate cn.pool.ntp.org

修改hosts文件，做IP->用户名映射

Chmod u+w /etc/hosts修改只读权限

添加：

192.168.0.10 master
192.168.0.20 worker1
192.168.0.30 worker2

2、SSH免密配置：

ssh-keygen -t rsa

1）免密节点统一添加到指定文件：

cat id_rsa.pub >> authorized_keys

2）将authorized_keys设置成可执行文件：

chmod u+x authorized_keys

3）将免密文件传输到其它节点：

scp authorized_keys aboutyun@worker1:~/.ssh/

3、JDK安装配置：

1）解压缩jdk包：tar -zxvf jdkxxx

2）编辑：vi /etc/profile文件，添加Java路径：

#Java_Path
JAVA_HOME=/usr/data/jdk1.8.0_111
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/lib:
export PATH

3）重新启动文件生效：

source /etc/profile

4）测试JDK安装是否OK：java -version

4、HADOOP安装配置

1）解压缩文件参考jdk：

2）配置环境变量：

vi /etc/profile
HADOOP_HOME=/usr/data/hadoop-2.7.4
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:
export PATH

3）配置文件：

(1)Hadoop-env.sh：

增加：export JAVA_HOME=/usr/data/jdk1.8.0_111

(2)

core-site.xml 
               fs.defaultFS
               hdfs://master:9000
               hadoop.tmp.dir
               /usr/data/logs/hadoop/tmp

(3）

)hdfs-site.xml
               dfs.replication
               3
               dfs.namenode.name.dir
               /usr/data/logs/hadoop/tmp/dfs/name
               dfs.datanode.data.dir
               /usr/data/logs/hadoop/tmp/dfs/data

(4)

mapred-site.xml
               mapreduce.framework.name
               yarn

(5)

yarn-site.xml
               yarn.resourcemanager.hostname
               master
               yarn.nodemanager.aux-services
               mapreduce_shuffle

(6)

yarn-env.sh
export JAVA_HOME=/usr/data/jdk1.8.0_111

(7)检查安装配置：

hadoop version

(8)格式化：

hadoop namenode -format

(9)启动：

./start-all.sh 一次性启动
./start-dfs.sh 分别启动
./start-yarn.sh

(10)检查启动是否成功：

jps     master和slave

5、SCALA安装配置

1）解压缩文件参考JDK：

2）配置环境变量：

vi /etc/profile
SCALA_HOME=/usr/data/scala-2.11.8
PATH=$PATH:$HOME/bin:$SCALA_HOME/bin:
export PATH

3）检查安装配置：

scala -version

6、ZOOKEEPER安装配置

1）解压缩文件参考JDK：

2）配置环境变量：

vi /etc/profile
ZOOKEEPER_HOME=/usr/data/zookeeper-3.4.9
PATH=$PATH:$HOME/bin:$ZOOKEEPER_HOME:/bin:
export PATH

3）zoo.cfg配置：

mv zoo_sample.cfg zoo.cfg

添加以下参数：注释原相同路径

#数据存储路径

dataDir=/usr/data/logs/zookeeper/zk_data

#日志存储路径

dataLogDir=/usr/data/logs/zookeeper/logs_data
server.1=master:2888:3888
server.2=worker1:2888:3888
server.3=worker2:2888:3888

4）分别在zk_data文件夹下面添加文件：

master:
echo “1” > /usr/data/logs/zookeeper/zk_data/myid
worker1:
echo “2” > /usr/data/logs/zookeeper/zk_data/myid
worker2:
echo “3” > /usr/data/logs/zookeeper/zk_data/myid
启动:./zkServer.sh star

5）检查是否正常：

./zkServer.sh status

7、FLUME安装配置

1）解压缩文件参考JDK：

2）配置环境变量：

vi /etc/profile
FLUME_HOME=/usr/data/flume-1.9.0
PATH=$PATH:$HOME/bin:$FLUME_HOME/bin:
export PATH

3）检查安装配置：

flume-ng version

8、KAFKA安装配置

1）解压缩文件参考JDK：

2）配置环境变量：

vi /etc/profile
KAFKA_HOME=/usr/data/kafka_2.11-2.1.1
PATH=$PATH:$HOME/bin:$KAFKA_HOME/bin:
export PATH

3）server.properties---注释原相同路径

broker.id=0
log.dirs=/usr/data/logs/kafka/logs_data
zookeeper.connect=master:2181,worker1:2181,worker2:2181

4）启动KAFKA：加&后台运行

./kafka-server-start.sh ../config/server.properties

5）创建topic：

./kafka-topics.sh --create --zookeeper master:2181,worker1:2181,worker2:2181 --replication-factor 1 --partitions 1 --topic test

6）查询创建topic：

./kafka-topics.sh --list   --zookeeper master:2181,worker1:2181,worker2:2181

7）生产者：

./kafka-console-producer.sh   --broker-list master:9092,worker1:9092,worker2:9092 --topic test

8）消费者：从刚开始读取数据加--from-beginning

./kafka-console-consumer.sh   --bootstrap-server master:9092,worker1:9092,worker2:9092 --topic test

9）验证消费是否成功：

./kafka-run-class.sh   kafka.tools.GetOffsetShell --broker-list   master:9092,worker1:9092,worker2:9092 --topic test --time -1

9、FLUME和KAFKA整合：

1）flume输出到控制台

文件名：flume_project.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /usr/data/logs/flume/access.log
a1.sources.r1.shell = /bin/bash -c
a1.channels.c1.type = memory
a1.sinks.k1.type = logger
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
启动：flume-ng agent --conf conf --conf-file /usr/data/logs/flume/flume_project.conf --name a1 -Dflume.root.logger=WARN,console

2）对接到kafka中

文件名：kafka_project.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /usr/data/logs/flume/access.log
a1.sources.r1.shell = /bin/bash -c
a1.channels.c1.type = memory
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = test
a1.sinks.k1.kafka.bootstrap.servers = master:9092,worker1:9092,worker2:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
启动：flume-ng agent --conf conf --conf-file /usr/data/logs/flume/kafka_project.conf --name a1 -Dflume.root.logger=WARN,console
控制台输出：./kafka-console-consumer.sh --bootstrap-server master:2181,worker1:2181,worker2:2181 --topic test --from-beginning

10、MYSQL安装配置：

1）解压缩文件参考JDK：

把文件改名为mysql放到/usr/local/路径下

2）配置环境变量：

vi /etc/profile
MYSQL_HOME=/usr/data/mysql-5.7.24
PATH=$PATH:$HOME/bin:$MYSQL_HOME/bin:
export PATH

3）创建mysql用户组和用户

创建用户组：groupadd mysql

创建用户放到用户组下面：useradd -r -g mysql mysql

4）Mysql下面创建data目录，并修改mysql权限

mkdir data
Chown -R mysql:mysql

5）初始化安装--会生成随机密码：

bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data --lc_messages_dir=/usr/local/mysql/share --lc_messages=en_US

如报错：

error while loading shared libraries: libaio.so.1: cannot open shared object

请安装：

yum install -y libaio

6）配置/etc/my.conf文件--修改参数路径，没有文件的需要自己手动创建

7）安全模式启动：

./mysqld_safe --user=mysql &

8）加入开机启动项：

（1）cd ../support-files
（2）cp mysql.server /etc/init.d/mysql
（3）chmod +x /etc/init.d/mysql
（4）chkconfig --add mysql

9）启动服务：

systemctl start mysql.service

10）登录mysql--密码在初始化时生成：

mysql -uroot -p

11）修改密码：

SET Password=PASSWORD('123');
flush privileges;

12）授权：

grant all privileges on *.* to'root' @'%' identified by '123';
flush privileges;
验证：
Show databases;

11、HIVE安装配置：

1）解压缩文件参考JDK：

2）配置环境变量：

vi /etc/profile
HIVE_HOME=/usr/data/hive-2.2.0
PATH=$PATH:$HOME/bin:$HIVE_HOME/bin:
export PATH

3）hive-env.sh配置

mv hive-env.sh.template hive-env.sh
JAVA_HOME=/usr/data/jdk1.8.0_111
HADOOP_HOME=/usr/data/hadoop-2.7.4
export HIVE_CONF_DIR=/usr/data/hive-2.2.0/conf

4）hive-site.xml配置

mv hive-default.xml.template hive-site.xml
       javax.jdo.option.ConnectionURL
       jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true
       JDBC connect string for a JDBC metastore
       javax.jdo.option.ConnectionDriverName
       com.mysql.jdbc.Driver
       Driver class name for a JDBC metastore
       javax.jdo.option.ConnectionUserName
       root
       username to use against metastore database
       javax.jdo.option.ConnectionPassword
       123
       password to use against metastore database
       hive.metastore.schema.verification
       false
       hive.cli.print.header
       true
       Whether to print the names of the columns in query output.
       hive.cli.print.current.db
       true
       Whether to include the current database in the Hive prompt.

5）hive-log4j2.properties配置

mv hive-log4j2.properties.template hive-log4j2.properties
property.hive.log.dir = /usr/data/logs/hive/${user.name}
appender.DRFA.filePattern =  /usr/data/logs/hive/${hive.log.file}.%d{yyyy-MM-dd}

6）将mysql-connector-java-5.1.37-bin.jar拷贝到hive/lib下面

7）元数据库的初始化

schematool -dbType mysql -initSchema

12、FLINK安装配置：

1）解压缩文件参考JDK：

2）配置环境变量：

vi /etc/profile
HIVE_HOME=/usr/data/hive-2.2.0
PATH=$PATH:$HOME/bin:$HIVE_HOME/bin:
export PATH

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

HADOOP VM三台虚拟机配置hadoop分布式

1、为aboutyun用户添加管理员权限：

1）创建aboutyun用户和配置密码：

2）修改sudoers只读权限:

3）切换用户：su - aboutyun

4）需要ifconfig命令：yum install net-tools.x86_64

5）同步互联网时间：

2、SSH免密配置：

1）免密节点统一添加到指定文件：

2）将authorized_keys设置成可执行文件：

3）将免密文件传输到其它节点：

3、JDK安装配置：

1）解压缩jdk包：tar -zxvf jdkxxx

2）编辑：vi /etc/profile文件，添加Java路径：

3）重新启动文件生效：

4）测试JDK安装是否OK：java -version

4、HADOOP安装配置

1）解压缩文件参考jdk：

2）配置环境变量：

3）配置文件：

5、SCALA安装配置

1）解压缩文件参考JDK：

2）配置环境变量：

3）检查安装配置：

6、ZOOKEEPER安装配置

1）解压缩文件参考JDK：

2）配置环境变量：

3）zoo.cfg配置：

4）分别在zk_data文件夹下面添加文件：

5）检查是否正常：

7、FLUME安装配置

1）解压缩文件参考JDK：

2）配置环境变量：

3）检查安装配置：

8、KAFKA安装配置

1）解压缩文件参考JDK：

2）配置环境变量：

3）server.properties---注释原相同路径

4）启动KAFKA：加&后台运行

5）创建topic：

6）查询创建topic：

7）生产者：

8）消费者：从刚开始读取数据加--from-beginning

9、FLUME和KAFKA整合：

1）flume输出到控制台

2）对接到kafka中

10、MYSQL安装配置：

1）解压缩文件参考JDK：

2）配置环境变量：

3）创建mysql用户组和用户

4）Mysql下面创建data目录，并修改mysql权限

5）初始化安装--会生成随机密码：

6）配置/etc/my.conf文件--修改参数路径，没有文件的需要自己手动创建

7）安全模式启动：

8）加入开机启动项：

9）启动服务：

10）登录mysql--密码在初始化时生成：

11）修改密码：

12）授权：

11、HIVE安装配置：

1）解压缩文件参考JDK：

2）配置环境变量：

3）hive-env.sh配置

4）hive-site.xml配置