AI 助理
备案控制台
开发者社区 数据库 文章 正文

架构设计100-实践03-用Docker搭建Hive

2023-01-03 519
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群版 2核4GB 100GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，高可用版 2核4GB 50GB
简介： 架构设计100-实践03-用Docker搭建Hive

架构设计系列文章，请参见连接。

背景

因为现在很多云都使用PAAS的方式提供大数据存储与计算的功能。作者就在思考他们是怎样实现的，并且提供出动态部署能力的大数据存储与计算过程的。所以，使用Docker进行Hadoop环境的搭建。并且为之后的K8s环境搭建提供一种思路。

在环境构建与使用的过程可以分为几个阶段：准备过程，搭建过程，配置过程，启动过程、测试过程。

准备过程

主要是准备软件包，并为Docker镜像与配置项分离做准备。

  • 准备软件包

下载以下软件包：

  • 创建目录
mkdir -p /home/docker/{centos_ssh,hadoop,hive,mysql}
  • 上传文件
cd /home/docker/hadoop
rz 【hadoop-2.7.7.tar.gz，jdk-8u231-linux-x64.rpm】
cd /home/docker/hive
rz 【apache-hive-2.3.6-bin.tar.gz，jdk-8u231-linux-x64.rpm，mysql-connector-java-5.1.48.tar.gz】
  • 解压并Copy配置
cd /home/docker/hadoop
tar -xzvf hadoop-2.7.7.tar.gz
cp -rf hadoop-2.7.7/etc/hadoop/* ./conf
cd /home/docker/hive
tar -xzvf apache-hive-2.3.6-bin.tar.gz
tar -xzvf mysql-connector-java-5.1.48.tar.gz
cp -rf apache-hive-2.3.6-bin/conf/ ./conf
  • 创建my.cnf

为Mysql配置my.cfg配置。这个配置是从CDH6.3的配置中拉过来的。

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0

key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log

#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1

binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

修改my.cfg权限

chmod 644 my.cnf

搭建过程

在这个过程中将上面准备好的包，构建为Docker镜像。

  • 搭建Docker+CentOS+SSH环境
FROM centos:7.2.1511
MAINTAINER wales.kuo

RUN yum install -y wget && mkdir -p /etc/yum.repos.d/repo_bak \
    && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo_bak/ \
    && wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo \
    && wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo \
    && yum clean all && yum makecache \
    && yum install -y openssh-server sudo openssh-clients \
    && ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key \
    && ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key  \
    && ssh-keygen -t rsa -f /etc/ssh/ssh_host_ecdsa_key \
    && ssh-keygen -t rsa -f /etc/ssh/ssh_host_ed25519_key \
    && echo "root:XXX" | chpasswd  && echo "root   ALL=(ALL)       ALL" >> /etc/sudoers \
    && sed -i 's/.*session.*required.*pam_loginuid.so.*/session optional pam_loginuid.so/g' /etc/pam.d/sshd \
    && sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config \
    && sed -i "s/#UsePrivilegeSeparation.*/UsePrivilegeSeparation no/g" /etc/ssh/sshd_config \
    && mkdir /var/run/sshd

EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

使用命令构建：

docker build -t centos-ssh .
  • 搭建Hadoop环境
FROM centos-ssh
MAINTAINER wales.kuo

ADD jdk-8u231-linux-x64.rpm /usr/local/
ADD hadoop-2.7.7.tar.gz /usr/local/
RUN yum install -y which gcc && rpm -ivh /usr/local/jdk-8u231-linux-x64.rpm \
    && rm -rf /usr/local/jdk-8u231-linux-x64.rpm
ENV HADOOP_HOME /usr/local/hadoop-2.7.7
ENV JAVA_HOME /usr/java/jdk1.8.0_231-amd64/jre/
ENV PATH $HADOOP_HOME/bin:$PATH

使用命令构建：

docker build -t hadoop:2.7.7 -t centos-hadoop .
  • 搭建MetaData的Mysql
docker pull mysql:5.7.27
  • 搭建Hive环境
FROM centos-hadoop
MAINTAINER wales.kuo

ADD apache-hive-2.3.6-bin.tar.gz /usr/local/
RUN mv /usr/local/apache-hive-2.3.6-bin /usr/local/hive && mkdir /home/hadoop/hive/tmp
ADD mysql-connector-java-5.1.48/mysql-connector-java-5.1.48-bin.jar /usr/local/hive/lib/
ENV HIVE_HOME /usr/local/hive
ENV PATH $HIVE_HOME/bin:$PATH

使用命令构建：

docker build -t hive:2.3.6 -t centos-hive .

配置过程

修改Hadoop，Hive的默认参数，准备启动使用。并且因为Hadoop需要免密登录的配置，所以需要先将容器启动，然后再进入容器中免密登录部分。

修改Hadoop参数

hadoop配置修改/home/docker/hadoop/conf/下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves。

(1)hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64/jre/

(2)core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop0:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
         <property>
                 <name>fs.trash.interval</name>
                 <value>1440</value>
        </property>
</configuration>

(3)hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

(4)yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property> 
                <name>yarn.log-aggregation-enable</name> 
                <value>true</value> 
        </property>
        <property>
                <description>The hostname of the RM.</description>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop0</value>
        </property>
</configuration>

(5)修改文件名：mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(10)slaves
删除原来的所有内容，修改为如下

hadoop1
hadoop2

修改Hive参数

使用hive的默认配置，创建配置文件。并修改配置。
(1)Copy创建配置文件

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

(2)修改hive-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64/jre/    ##Java路径
export HADOOP_HOME=/usr/local/hadoop-2.7.7   ##Hadoop安装路径
export HIVE_HOME=/usr/local/hive    ##Hive安装路径
export HIVE_CONF_DIR=/usr/local/hive/conf    ##Hive配置文件路径

(3)修改hive-site.xml

把{system:java.io.tmpdir} 改成 /usr/local/hive/tmp
把 {system:user.name} 改成 {user.name}

并修改以下内容

<property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/user/hive/log</value>
</property>

<!--配置 MySQL 数据库连接信息-->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://mysql:3306/metastore?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root123</value>
  </property>

启动容器

version: '3.1'

services:
  db:
    image: mysql:5.7.27
    command: --default-authentication-plugin=mysql_native_password
    restart: always
    ports:
      - 3306:3306
    volumes:
      - /home/docker/mysql/log:/var/log/
      - /home/docker/mysql/my.cnf:/etc/my.cnf
      - /home/docker/mysql/data:/var/lib/mysql
    environment:
      MYSQL_ROOT_PASSWORD: dls123456



docker network create --subnet=172.19.0.0/16 hadoop_default
docker run --name hadoop0 --hostname hadoop0 --net hadoop_default --ip 172.19.0.2 -v /home/docker/hadoop/conf:/usr/local/hadoop-2.7.7/etc/hadoop/ -v /home/docker/hadoop/hadoop0:/usr/local/hadoop/tmp -v /home/docker/hadoop/hadoop0/logs:/usr/local/hadoop-2.7.7/logs/ -d -P -p 50070:50070 -p 8088:8088  centos-hadoop
docker run --name hadoop1 --hostname hadoop1 --net hadoop_default --ip 172.19.0.3 -v /home/docker/hadoop/conf:/usr/local/hadoop-2.7.7/etc/hadoop/ -v /home/docker/hadoop/hadoop1:/usr/local/hadoop/tmp  -v /home/docker/hadoop/hadoop0/logs:/usr/local/hadoop-2.7.7/logs/ -d -P centos-hadoop
docker run --name hadoop2 --hostname hadoop2 --net hadoop_default --ip 172.19.0.4 -v /home/docker/hadoop/conf:/usr/local/hadoop-2.7.7/etc/hadoop/ -v /home/docker/hadoop/hadoop2:/usr/local/hadoop/tmp  -v /home/docker/hadoop/hadoop0/logs:/usr/local/hadoop-2.7.7/logs/ -d -P centos-hadoop
docker run -d --name mysql --hostname mysql --restart=always -p 3306:3306 -v /home/docker/mysql/log:/var/log/ -v /home/docker/mysql/my.cnf:/etc/my.cnf -v /home/docker/mysql/data:/var/lib/mysql --net hadoop_default -e MYSQL_ROOT_PASSWORD=dls123456 mysql:5.7.27 --default-authentication-plugin=mysql_native_password
docker run --name hive --hostname hive --net hadoop_default --ip 172.19.0.6 -p9083:9083 -p 10000:10000 -p 10002:10002 -v /home/docker/hive/conf:/usr/local/hive/conf -v /home/docker/hive/tmp:/usr/local/hive/tmp -v /home/docker/hive/data:/user/hive/ -v /home/docker/hadoop/conf:/usr/local/hadoop-2.7.7/etc/hadoop/ -v /home/docker/hadoop/hadoop0:/usr/local/hadoop/tmp -v /home/docker/hadoop/hadoop0/logs:/usr/local/hadoop-2.7.7/logs/ -d -P centos-hive

创建数据库

create database metastore;

容器内Hadoop配置

(1)设置ssh免密码登录
在hadoop0上执行下面操作

ssh-keygen -t rsa(一直按回车即可)
ssh-copy-id -i localhost
ssh-copy-id -i hadoop0
ssh-copy-id -i hadoop1
ssh-copy-id -i hadoop2

在hadoop1上执行下面操作

ssh-keygen -t rsa(一直按回车即可)
ssh-copy-id -i localhost
ssh-copy-id -i hadoop1

在hadoop2上执行下面操作

ssh-keygen -t rsa(一直按回车即可)
ssh-copy-id -i localhost
ssh-copy-id -i hadoop2

容器内Hive配置

(1)初始化Hive mysql数据库

schematool -dbType mysql -initSchema

启动服务

(1)启动Hadoop服务

cd /usr/local/hadoop-2.7.7/
sbin/start-all.sh

(2)启动Hive服务

hive --service metastore &
hiveserver2

(3)在hdfs 中创建下面的目录 ，并且授权

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod -R 777 /user/hive/warehouse
hdfs dfs -chmod -R 777 /user/hive/tmp
hdfs dfs -chmod -R 777 /user/hive/log

测试过程

hadoop测试

使用程序验证集群服务
(1)创建一个本地文件a.txt

hello you
hello me

(2)上传a.txt到hdfs上

hdfs dfs -put a.txt /

(3)执行wordcount程序

cd /usr/local/hadoop-2.7.7/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /a.txt /out

(4)查看结果

hdfs dfs -text /out/part-r-00000

参考

Kubernetes-在Kubernetes集群上搭建Hadoop集群
Docker+Hadoop+Hive+Presto 使用Docker部署Hadoop环境和Presto
Install and Configure MySQL for Cloudera Software

文章标签：
云数据库 RDS MySQL 版
容器
分布式计算
SQL
关系型数据库
Docker
MySQL
Hadoop
HIVE
数据库
存储
关键词：
架构实践
Docker实践
架构docker
架构hive
架构实践docker
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
WalesKuo
目录
相关文章
游客zllgslqrsw3f6
|
4天前
|
设计模式 API 开发者
深入浅出微服务架构：从理论到实践
在软件开发领域，微服务架构已经成为一种流行的设计模式。它承诺能够带来更好的模块化、可扩展性和敏捷性。然而，将一个传统的单体应用拆分成多个微服务并非易事。本文旨在通过实际案例分析，帮助读者理解微服务的核心概念，以及如何在实际项目中实施微服务架构。我们将一起探讨微服务的设计原则、技术选型和面临的挑战，并分享一些成功实施的策略。
游客zllgslqrsw3f6
17 1
1592440288735793
|
1天前
|
消息中间件 运维 监控
探索微服务架构：从理论到实践
【8月更文挑战第19天】 在数字化时代，微服务架构已成为软件开发的新常态。本文通过深入浅出的方式，介绍了微服务的基本概念、设计原则和实践案例，旨在帮助读者从宏观上理解微服务的设计理念，并掌握将其应用于实际项目中的方法。我们将一起走进微服务的世界，解锁其在现代软件工程中的奥秘。
1592440288735793
8 2
1941623231718325
|
2天前
|
运维 监控 架构师
如何进行系统架构评审：全面指导与实践
【8月更文挑战第18天】系统架构评审是确保软件项目成功的关键环节之一。通过科学合理的评审流程和严格的评审要点控制，可以显著提高架构设计的质量和项目的整体成功率。
1941623231718325
11 3
热爱技术的小郑
|
1天前
|
Ubuntu NoSQL Linux
一文讲明Docker的基本使用，常见Docker命令使用 、Docker的安装使用等【详细说明+图解+概念+实践】
这篇文章详细介绍了Docker的基本使用，包括Docker的安装、常用命令、架构概念等，并通过图解和实践帮助读者快速掌握Docker的使用方法。
热爱技术的小郑
8 0
一文讲明Docker的基本使用，常见Docker命令使用 、Docker的安装使用等【详细说明+图解+概念+实践】
mg的嘟嘟
|
6天前
|
消息中间件 运维 监控
深入浅出微服务架构：从理论到实践
微服务架构，一种将复杂应用拆分成小型、独立服务的设计理念，近年来在软件开发领域大放异彩。它以灵活性、可维护性和可扩展性著称，但同时也带来了一系列挑战，如服务间通信、数据一致性和运维复杂性等。本文旨在通过浅显易懂的语言和实际案例，带领读者深入理解微服务架构的核心概念，掌握其设计原则，并了解如何在实际项目中有效运用。我们将从基础讲起，逐步深入，让初学者能够快速上手，同时为有经验的开发者提供一些高级技巧和最佳实践。
mg的嘟嘟
16 4
游客qf4jmczx4xu2y
|
1天前
|
Kubernetes 数据库 开发者
后端开发中的微服务架构实践
【8月更文挑战第19天】本文将深入探讨微服务架构在后端开发中的应用，包括其设计原则、挑战与解决方案。文章旨在为读者提供一种现代后端开发的新视角，帮助开发者更好地理解并应用微服务架构以提升系统的可维护性、可扩展性和敏捷性。
游客qf4jmczx4xu2y
5 0
shuj
|
1天前
|
运维 API 持续交付
后端开发中的微服务架构实践
【8月更文挑战第19天】在现代软件工程中，微服务架构作为一种灵活、可扩展的后端解决方案，正逐渐取代传统的单体应用。本文将深入探讨微服务的核心概念、设计原则和实际应用策略，旨在为读者提供一套完整的微服务架构实施指南。
shuj
6 0
阿里开发者
|
4天前
|
敏捷开发 设计模式 前端开发
实践总结｜前端架构设计的一点考究
本文总结了作者在日常/大促业务的“敏捷”开发过程中产生的疑惑，并尝试做出思考得到一些解决思路和方案。在前端开发和实践过程中，梳理了一些简单设计方案可以缓解当时 “头疼” 的几个敏捷迭代问题，并实践在项目迭代中。
阿里开发者
12 0
ktee5tyrczvty
|
4天前
|
存储 缓存 Java
Eureka原理与实践：深入探索微服务架构的核心组件
在微服务架构日益盛行的今天，服务之间的注册与发现成为了保证系统高可用性和灵活性的关键。Eureka，作为Netflix开源的服务注册与发现框架，凭借其简单、健壮的特性，在微服务领域占据了举足轻重的地位。本文将深入剖析Eureka的原理，并通过实践案例展示其在实际项目中的应用，以期为开发者提供一个高端、深入的视角。
ktee5tyrczvty
12 0
游客7ofzsdfcat7ls
|
5天前
|
设计模式 监控 Java
深入浅出：微服务架构的设计与实践
在软件开发领域，微服务架构已成为一种越来越流行的设计模式。本文将通过浅显易懂的语言介绍微服务的基本概念、设计原则和实践方法，帮助初学者快速理解并应用微服务架构。
游客7ofzsdfcat7ls
11 0

热门文章

最新文章

  • 1
    最新发布！阿里云卓越架构框架重磅升级
  • 2
    后Hadoop时代，我们该如何去架构自己的大数据平台
  • 3
    微博首席架构师杨卫华:新浪微博技术架构分析
  • 4
    shiro(2)-架构与配置
  • 5
    2021云上架构与运维峰会体验活动说明
  • 6
    Oozie的功能架构与下载安装详解！（亲测有效）
  • 7
    还在搞三层架构？了解下 DDD 分层架构的三种模式吧 ！
  • 8
    为超融合架构选择合适的数据中心冷却系统
  • 9
    新书《微服务中台架构开发》
  • 10
    名词：topology、architecture和struct，究竟什么才是架构？
  • 1
    Docker部署Traefik结合内网穿透远程访问Dashboard界面
    92
  • 2
    构建高效自动化运维体系：Ansible与Docker的完美结合构建高效机器学习模型的五大技巧
    58
  • 3
    Linux使用Docker部署Traefik容器并实现远程访问管理界面-1
    108
  • 4
    使用docker安装redis
    187
  • 5
    centos7安装docker图文详解
    238
  • 6
    docker安装mongodb(单点)图文详解
    157
  • 7
    docker 部署单节点的etcd以及 常用使用命令
    382
  • 8
    Docker容器化技术详解
    121
  • 9
    7.Docker 私有仓库
    42
  • 10
    8.Docker相关概念
    29

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 企业Web常用架构LAMP-LNMP实战
  • 企业级互联网分布式系统应用架构学习
  • AI开发者的Docker实践
  • 高校精品课-上海交通大学 -企业级应用体系架构
  • Docker 入门

    • 相关电子书

    更多
  • 阿里云消息队列的 Serverless架构演进
  • 青团社云原生架构实践—亿级灵活用工平台的架构实践
  • 茶百道微服务架构升级及运维实践

    • 相关实验场景

    更多
  • 搭建Hadoop环境
  • 通过workbench远程登录ECS，快速搭建Docker环境
  • Docker镜像管理快速入门
  • 基于Serverless架构的盲盒抽奖系统
  • 零基础部署一个Django Blog到Serverless架构
  • 使用EDA架构部署在线外卖订单系统

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • alpine
    • 下一篇
    【案例实战】SpringBoot整合阿里云文件上传OSS