备案控制台
探索云世界
开发者社区 大数据与机器学习 文章 正文

数仓学习---7、数据仓库设计、数据仓库环境准备、模拟数据生成

2024-01-18 130
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
大数据开发治理平台 DataWorks，不限时长
推荐场景：
Github实时数据分析与可视化
简介： 数仓学习---7、数据仓库设计、数据仓库环境准备

这是本人的学习过程，看到的同道中人祝福你们心若有所向往，何惧道阻且长；

但愿每一个人都像星星一样安详而从容的，不断沿着既定的目标走完自己的路程，一起做星光下的赶路人；

最后想说一句君子不隐其短，不知则问，不能则学。

如果大家觉得我写的还不错的话希望可以收获关注、点赞、收藏（谢谢大家）

一、数据仓库环境准备


1.1 数据仓库运行环境


1.1.1 Hive环境搭建

SQL(Code) =>(Hive => MR（Spark） =>jar)(Tool) => Yarn(RUN)

1、Hive引擎简介

Hive引擎包括：默认MR、Tez、Spark。

Hive on Spark：Hive既作为储存元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。

Spark On Hive：Hive只作为储存原数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。

2、Hive on Spark配置

image.png

（1）兼容性说明

注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。

编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包。

（2）在Hive所在节点部署Spark

（2-1）Spark官网下载jar包地址

http://spark.apache.org/downloads.html

（2-2）上传并解压解压spark-3.0.0-bin-hadoop3.2.tgz

（2-3）配置SPARK_HOME环境变量

vim /etc/profile.d/my_env.sh
#添加如下内容
# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
#Source使其生效
 source /etc/profile.d/my_env.sh

（2-4）在hive中创建spark配置文件

vim /opt/module/hive/conf/spark-defaults.conf
#添加如下内容（在执行任务时，会根据如下参数执行）
spark.master                               yarn
spark.eventLog.enabled                   true
spark.eventLog.dir                        hdfs://hadoop102:8020/spark-history
spark.executor.memory                    1g
spark.driver.memory            1g
#在HDFS创建如下路径，用于存储历史日志。
hadoop fs -mkdir /spark-history

（2-5）向HDFS上传Spark纯净版jar包

说明1：由于Spark3.0.0非纯净版默认支持的是hive2.3.7版本，直接使用会和安装的Hive3.1.2出现兼容性问题。所以采用Spark纯净版jar包，不包含hadoop和hive相关依赖，避免冲突。

说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径，这样集群中任何一个节点都能获取到。


（2-5-1）

上传并解压spark-3.0.0-bin-without-hadoop.tgz

（2-5-2）上传Spark纯净版jar包到HDFS


（2-6）修改hive-site.xml文件

vim /opt/module/hive/conf/hive-site.xml
#添加如下内容
<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->
<property>
    <name>spark.yarn.jars</name>
    <value>hdfs://hadoop102:8020/spark-jars/*</value>
</property>
<!--Hive执行引擎-->
<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>

image.png

3、Hive on Spark测试

（1）启动hive客户端

node1: 

bin/hive --service hiveserver2
/export/server/apache-hive-3.1.2-bin/bin/hive

node2:

export/server/apache-hive-3.1.2-bin/bin/beeline
连接访问
beeline> ! connect jdbc:hive2://node1:10000

image.png

（2）在Hive所在节点部署Spark纯净版

①Spark官网下载jar包地址：

http://spark.apache.org/downloads.html

②上传并解压解压spark-3.3.1-bin-without-hadoop.tgz

[atguigu@hadoop102 software]$ tar -zxvf spark-3.3.1-bin-without-hadoop.tgz -C /opt/module/

[atguigu@hadoop102 software]$ mv /opt/module/spark-3.3.1-bin-without-hadoop /opt/module/spark

③修改spark-env.sh配置文件

修改文件名。

[atguigu@hadoop102 software]$ mv /opt/module/spark/conf/spark-env.sh.template /opt/module/spark/conf/spark-env.sh

编辑文件

[atguigu@hadoop102 software]$ vim /opt/module/spark/conf/spark-env.sh

增加如下内容。

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

（3）配置SPARK_HOME环境变量

[atguigu@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容。

添加如下内容。

# SPARK_HOME

export SPARK_HOME=/opt/module/spark

export PATH=$PATH:$SPARK_HOME/bin

source 使其生效。

[atguigu@hadoop102 software]$ source /etc/profile.d/my_env.sh

（4）在hive中创建spark配置文件

[atguigu@hadoop102 software]$ vim /opt/module/hive/conf/spark-defaults.conf

添加如下内容（在执行任务时，会根据如下参数执行）。

spark.master                               yarn

spark.eventLog.enabled                   true

spark.eventLog.dir                        hdfs://hadoop102:8020/spark-history

spark.executor.memory                    1g

spark.driver.memory     1g

在HDFS创建如下路径，用于存储历史日志。

[atguigu@hadoop102 software]$ hadoop fs -mkdir /spark-history

（5）向HDFS上传Spark纯净版jar包

说明1：采用Spark纯净版jar包，不包含hadoop和hive相关依赖，能避免依赖冲突。

说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径，这样集群中任何一个节点都能获取到。

[atguigu@hadoop102 software]$ hadoop fs -mkdir /spark-jars

 

[atguigu@hadoop102 software]$ hadoop fs -put /opt/module/spark/jars/* /spark-jars

（6）修改hive-site.xml文件

[atguigu@hadoop102 ~]$ vim /opt/module/hive/conf/hive-site.xml

添加如下内容。

<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->

<property>

   <name>spark.yarn.jars</name>

   <value>hdfs://hadoop102:8020/spark-jars/*</value>

</property>

 

<!--Hive执行引擎-->

<property>

   <name>hive.execution.engine</name>

   <value>spark</value>

</property>

3）Hive on Spark测试

（1）启动hive客户端

[atguigu@hadoop102 hive]$ hive

（2）创建一张测试表

hive (default)> create table student(id int, name string);

（3）通过insert测试效果

hive (default)> insert into table student values(1,'abc');

若结果如下，则说明配置成功。

image.png



2.1.2 Yarn环境配置


1、增加ApplicationMaster资源比例

容量调度器对每个资源队列中同时运行的Application Master占用的资源进行了限制，该限制通过yarn.scheduler.capacity.maximum-am-resource-percent参数实现，其默认值是0.1，表示每个资源队列上Application Master最多可使用的资源为该队列总资源的10%，目的是防止大部分资源都被Application Master占用，而导致Map/Reduce Task无法执行。

生产环境该参数可使用默认值。但学习环境，集群资源总数很少，如果只分配10%的资源给Application Master，则可能出现，同一时刻只能运行一个Job的情况，因为一个Application Master使用的资源就可能已经达到10%的上限了。故此处可将该值适当调大。

（1）在hadoop102的/opt/module/hadoop-3.1.3/etc/hadoop/capacity-scheduler.xml文件中修改如下参数值

vim capacity-scheduler.xml
#修改
<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.8</value>
</property

2）分发capacity-scheduler.xml配置文件

xsync capacity-scheduler.xml

（3）关闭正在运行的任务，重新启动yarn集群

sbin/stop-yarn.sh
sbin/start-yarn.sh

2.2 数据仓库开发环境


数仓开发工具可选用DBeaver或者DataGrip。两者都需要用到JDBC协议连接到Hive，故需要启动HiveServer2。

1、启动HiveServer2

image.png

image.png

2.3模拟数据准备

通常企业在开始搭建数仓时，业务系统中会存在历史数据，一般是业务数据库存在历史数据，而用户行为日志无历史数据。假定数仓上线的日期为2022-06-08，为模拟真实场景，需准备以下数据。

注：在执行以下操作之前，先将HDFS上/origin_data路径下之前的数据删除。

1）启动采集通道

上课老师用的是：xmock start loginc

启动数据生成：xmock start data

命令如下。

[atguigu@hadoop102 ~]$ cluster.sh start

停止Maxwell。

[atguigu@hadoop102 bin]$ mxw.sh stop

停止Maxwell

2）数据准备

（1）生成模拟数据

① 修改hadoop102节点的/opt/module/applog/application.yml文件，将mock.date，mock.clear，mock.clear.user，mock.new.user，mock.log.db.enable五个参数调整为如下的值。

#业务日期

mock.date: "2022-06-04"

#是否重置业务数据

mock.clear.busi: 1

#是否重置用户数据

mock.clear.user: 1

# 批量生成新用户数量

mock.new.user: 100

# 日志是否写入数据库一份  写入z_log表中

mock.log.db.enable: 0

② 执行数据生成脚本，生成第一天2022-06-04的历史数据。

[atguigu@hadoop102 applog]$ lg.sh

③ 修改/opt/module/applog/application.properties文件，将mock.date、mock.clear，mock.clear.user，mock.new.user四个参数调整为如图所示的值。

#业务日期

mock.date: "2022-06-05"

#是否重置业务数据

mock.clear.busi: 0

#是否重置用户数据

mock.clear.user: 0

# 批量生成新用户

mock.new.user: 0

④ 执行数据生成脚本，生成第二天2022-06-05的历史数据。

[atguigu@hadoop102 applog]$ lg.sh

⑤ 之后只修改/opt/module/applog/application.properties文件中的mock.date参数，依次改为2022-06-06，2022-06-07，并分别生成对应日期的数据。

⑥ 删除/origin_data/gmall/log目录，将⑤中提到的参数修改为2022-06-08，并生成当日模拟数据。

（2）全量表同步

① 执行全量表同步脚本

[atguigu@hadoop102 bin]$ mysql_to_hdfs_full.sh all 2022-06-08

② 观察HDFS上是否出现全量表数据

（3）增量表首日全量同步

① 清除Maxwell断点记录

由于Maxwell支持断点续传，而上述重新生成业务数据的过程，会产生大量的binlog操作日志，这些日志我们并不需要。故此处需清除Maxwell的断点记录，令其从binlog最新的位置开始采集。

清空Maxwell数据库，相当于初始化Maxwell。

mysql>

drop table maxwell.bootstrap;

drop table maxwell.columns;

drop table maxwell.databases;

drop table maxwell.heartbeats;

drop table maxwell.positions;

drop table maxwell.schemas;

drop table maxwell.tables;

② 修改Maxwell配置文件中的mock_date参数

[atguigu@hadoop102 maxwell]$ vim /opt/module/maxwell/config.properties

 

mock_date=2022-06-08

③ 启动Maxwell

④ 执行增量表首日全量同步脚本

[atguigu@hadoop102 bin]$ mysql_to_kafka_inc_init.sh all

⑤ 观察HDFS上是否出现增量表数据

image.png

image.png

（1-2）执行模拟生成业务数据的命令，生成第一天2020-06-4的历史数据。

java -jar gmall2020-mock-db-2021-01-22.jar

（1-4）执行模拟生成业务数据的命令，生成第二天2020-06-11的历史数据。

java -jar gmall2020-mock-db-2021-10-10.jar

（1-5）之后只修改/opt/module/db_log/application.properties文件中的mock.date参数，依次改为2020-06-12，2020-06-13，2020-06-14，并分别生成对应日期的数据。


（2）全量表同步

（2-1）执行全量表同步脚本

mysql_to_hdfs_full.sh all 2020-06-14

（2-1）观察HDFS上是否出现全量表数据


（3）增量表首日全量同步

（3-1）清除Maxwell断点记录

由于Maxwell支持断点续传，而上述重新生成业务数据的过程，会产生大量的binlog操作日志，这些日志我们并不需要。故此处需清除Maxwell的断点记录，另其从binlog最新的位置开始采集。

关闭Maxwell。

mxw.sh stop

清空Maxwell数据库，相当于初始化Maxwell。

mysql> 
drop table maxwell.bootstrap;
drop table maxwell.columns;
drop table maxwell.databases;
drop table maxwell.heartbeats;
drop table maxwell.positions;
drop table maxwell.schemas;
drop table maxwell.tables;

（3-2）修改Maxwell配置文件中的mock_date参数

vim /opt/module/maxwell/config.properties
#修改如下
mock_date=2020-06-14

（3-3）启动增量表数据通道，包括Maxwell、Kafka、Flume

（3-4）执行增量表首日全量同步脚本

mysql_to_kafka_inc_init.sh all


（3-5）观察HDFS上是否出现全量表数据

恭喜大家看完了小编的博客，希望你能够有所收获，我一直相信躬身自问和沉思默想会充实我们的头脑，希望大家看完之后可以多想想喽，编辑不易，求关注、点赞、收藏（Thanks♪(･ω･)ﾉ）


文章标签：
云原生数据仓库AnalyticDB MySQL版
云数据库 RDS MySQL 版
日志服务
分布式计算
SQL
Spark
HIVE
Java
关键词：
云原生数据仓库AnalyticDB MySQL版数据仓库
云原生数据仓库AnalyticDB MySQL版数据
数据仓库数据
数据仓库数仓
数据仓库学习
相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库，在RDS-MySQL中完成对学生成绩的详情查询，执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库，高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准，可以对海量数据进行即时的多维分析透视和业务探索，快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
建模sister
目录
相关文章
张飞的猪
|
1月前
|
SQL 存储 大数据
数据仓库(10)数仓拉链表开发实例
拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。 维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。
张飞的猪
167 13
数据仓库(10)数仓拉链表开发实例
建模sister
|
2月前
|
SQL HIVE
数仓学习-----named_struct和collect_set函数
数仓学习-----named_struct和collect_set函数
建模sister
43 5
yuanzhengme
|
12天前
|
SQL HIVE
Hive【Hive学习大纲】【数据仓库+简介+工作原理】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
【4月更文挑战第6天】Hive【Hive学习大纲】【数据仓库+简介+工作原理】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
yuanzhengme
14 0
AnalyticDBMySQL小助手
|
1月前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL ：免费同步数据到ADB，享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务，旨在简化传统ETL流程的复杂性和成本，提高数据实时性。降低数据同步成本，允许用户快速在AnalyticDB中对PolarDB数据进行分析，降低了30%的数据接入成本，提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步，提供一体化的事务处理和数据分析，并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
AnalyticDBMySQL小助手
101540 1
张飞的猪
|
1月前
|
分布式计算 大数据 Hadoop
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
从事数仓工作，在工作学习过程也看了很多数据仓库方面的数据，此处整理了数仓中经典的，或者值得阅读的书籍，推荐给大家一下，希望能帮助到大家。建议收藏起来，后续有新的书籍清单会更新到这里。
张飞的猪
245 2
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
张飞的猪
|
1月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路，就是聊聊怎么开始去做数据治理这件事情。说起数据治理，有时候虽然看了很多文章，看了很多的介绍，了解数据治理的理论，但是实际上需要我们去搞的时候，就会踩很多的坑。这里记一下自己做数据治理的一些思路，做做笔记，也分享给需要的同学。 当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：[数据仓库(11)什么是大数据治理，数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
张飞的猪
305 0
张飞的猪
|
1月前
|
存储 监控 大数据
数据仓库(11)什么是大数据治理，数据治理的范围是哪些
什么是数据治理,数据治理包含哪些方面？大数据时代的到来，给了我们很多的机遇，也有很多的挑战。最基础的调整也是大数据的计算和管理，数据治理是一个特别重要的大数据基础，他保证着数据能否被最好的应用，保证着数据的安全，治理等。那么数据治理到底能治什么，怎么治？
张飞的猪
67 0
建模sister
|
1月前
|
存储 JSON 数据处理
数仓学习---数仓开发之DWD层
数仓学习---数仓开发之DWD
建模sister
140 6
数仓学习---数仓开发之DWD层
张飞的猪
|
1月前
|
存储 大数据 数据管理
数据仓库(09)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化，所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流逝发生缓慢的变化，与数据增长较为快速的事实表相比，维度变化相对缓慢。阴齿这个就叫做缓慢变化维。
张飞的猪
216 2
数据仓库(09)数仓缓慢变化维度数据的处理
sunrr
|
1月前
|
SQL Cloud Native 关系型数据库
AnalyticDB MySQL湖仓版是一个云原生数据仓库
【2月更文挑战第15天】AnalyticDB MySQL湖仓版是一个云原生数据仓库
sunrr
24 2

大数据与机器学习

热门文章

最新文章

  • 1
    MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
  • 2
    阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）
  • 3
    阿里云开源离线同步工具DataX3.0介绍
  • 4
    阿里封神谈hadoop生态学习之路
  • 5
    大数据环境下该如何优雅地设计数据分层
  • 6
    odps是什么?
  • 7
    【技术实验】mysql准实时同步数据到Elasticsearch
  • 8
    数据仓库介绍与实时数仓案例
  • 9
    空格App亿元A轮融资背后：云上多场景技术架构实践与经验
  • 10
    2017杭州云栖大会FAQ（持续更新中）
  • 1
    2024年4月计算机视觉论文推荐
    4
  • 2
    Java实现根据概率中奖率怎么算
    12
  • 3
    Golang深入浅出之-Go语言模板（text/template）：动态生成HTML
    5
  • 4
    Python中实现多层感知机（MLP）的深度学习模型
    7
  • 5
    Golang深入浅出之-HTTP客户端编程：使用net/http包发起请求
    7
  • 6
    Java为什么不让用指针？
    6
  • 7
    Golang爬虫代理接入的技术与实践
    6
  • 8
    Golang深入浅出之-原子操作包（sync/atomic）在Go中的应用
    11
  • 9
    Golang深入浅出之-信号（Signals）处理与优雅退出Go程序
    8
  • 10
    Golang深入浅出之-Select语句在Go并发编程中的应用
    9

    • 相关课程

    更多
  • 高校精品课-华东师范大学-数据仓库与商务智能
  • SaaS模式云数据仓库实战
  • 阿里云实时数仓实战 - 用户行为数仓搭建
  • 数据分析系统之数据管理与数据仓库
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • SaaS 模式云数据仓库必修课

    • 相关电子书

    更多
  • 新氧云原生全栈数仓最佳实践
  • 离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
  • 企业大数据平台下数仓架构

    • 相关实验场景

    更多
  • 基于DTS构建一站式实时数据服务
  • 云原生HTAP数据库，让你的交易和分析一库搞定
  • AnalyticDB MySQL游戏行业数据分析实践
  • AnalyticDB MySQL海量数据秒级分析体验
  • 基于数据湖架构的网站访问行为分析
  • lindorm多模间数据无缝流转
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）