电商项目之数仓的环境准备｜学习笔记

开发者学堂课程【新电商大数据平台2020最新课程：电商项目之数仓的环境准备】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/640/detail/10493

电商项目之数仓的环境准备

内容介绍：

一、建模概念分析

二、建模环境准备

一、建模概念分析

根据实际生产情况，建议将数据仓库分为三层，自上而下为：

数据引入层（ODS, Operation Data Store）

数据公共层（CDM，Common Data Model）

数据应用层 (ADS,  Application Data Service)

二、建模环境准备

上节我们说到有三方数据源，即外部数据、内部数据、业务数据。本次项目通过这三方数据，我们会介绍技术选型，将介绍七个点。

1、Hadoop-2.7.6

数仓的基本环境，在做数据仓库、数据存储的时候必然选择 Hadoop 作为 hdms。

2、Hive-2.1.1

数仓的根本。

3、Sqoop-1.4.7

用于数据导入导出的工具，数据从 hive 导入 mysqal 数据库  ,从 mysqal 数据库导入 hive 中。本次项目中的业务数据将存在 mysqal   数据库中。通过业务数据，使用 Sqoop 导入到 Hive 即可。

4、DataX-3.0

也可做导入数据，且与 Sqoop 比更为灵活。

5、Spark-2.2.3

可以通过 Spark circle  来操作hive，将 hapa 语句运行在 Spark 上面，使用 Spark 代码去操作数仓写 circle。

本次项目将给大家编写 Spark DSL 风格，用 DSL 风格来去处理数仓的 hbase 语句。与 Hive 相比，运行效率要高很多。因为 Spark 本质是基于内存计算。

6、Azkaban-3.5.6

用来做任务调度，本次任务调度的时候，我们都会用用 share 脚本的方式，将所有的 circle 或 Sqoop 脚本写的 circle脚本中，然后进行运行，通过 Azkaban 创建一个 Flume 任务去执行。

7、Flume-1.8

主要用于数据采集，本次项目中将会采集 log 数据和外部数据，它们都是日志文件。

采集出一个即可，另一个直接映射即可。Flume 做数据采集，会使用一个新增性，来去采集一个文件夹，采集的文件夹要求名字不能重复，采集出来的数据都是时间戳的数据，保证不会重复，使用 Flume 进行一个监控，监控本地磁盘文件夹，然后将数据采集到 hdms，映射成 hbase 表，下载到 ods 即可。

以上为我们这次项目所用到的技术点及其版本，与上次相比添加了 Spark。

我们将使用 Spark circle 里面 DSL 风格来操作 Hive 数仓，实现 Spark 任务的代码编写。