实战大数据项目-阿里云开发者社区

存储日志数据集（HDFS）

数据仓库构建（Hive）

数据分区表构建

数据预处理（Spark计算引擎）-使用Zeppelin进行写SQL

订单指标分析

Sqoop数据导出到传统数据库（Mysql）

Superset数据可视化

项目架构

架构方案：

1、基于Hadoop的HDFS（数据存储）文件系统来存储数据

2、为了方便进行数据分析，将这些日志文件的数据映射为一张一张的表，所以，我们基于Hive（数据仓库工具）来构建数据仓库，所有的数据，都会在Hive下进行管理，提高数据处理的性能。

3、基于Spark（计算引擎）来进行数据开发，所有的应用程序都将运行在Spark集群上，这样可以保证数据被高性能的处理。

4、使用Zeppelin（在Zeppelin写SQL效率高，直接在终端写效率低）来快速将数据进行SQL指令交互。

5、使用Sqoop导出分析后的数据到传统型数据库（Mysql），便于后期应用

6、使用Superset（数据可视化工具）来实现数据可视化展示

架构图

一、数据仓库构建-数仓分层
首先将日志数据上传到HDFS保存下来，每天都可以上传，HDFS可以保存海量的数据，然后使用Hive，将HDFS中的数据文件，对应到Hive的表中。但是一般情况下日志数据是不能够直接进行分析的。所以需要我们对日志文件的原始数据进行预处理，才能进行分析。

我们会有这么几类数据考虑：

1、原始日志数据（业务系统中保存的日志文件数据）

2、预处理后的数据

3、分析结果数据

这些数据都通过Hive进行处理，因为Hive将数据映射为一张张的表，然后可以通过编写SQL来处理数据，简单、快捷、高效，为了区分以上这些数据，我们将这些数据对应的表分别保存在不同的数据库中。

为了方便组织、管理上面的三类数据，我们将数仓分为不同的层，简单来说，就是分别将三类不同的数据保存在Hive的不同数据中。

第一层临时存储层ODS，就是存储原始日志数据

第二层数据仓库层DW，就是存储预处理后的数据，就是分析的数据

第三层应用层APP。

根据数仓架构的三层，创建三个数据库，分别用来管理每一层的表数据。

-- 创建ods库
create database if not exists ods_d;
-- 创建dw库
create database if not exists dw_d;
-- 创建app库
create database if not exists app_d;

二、数据分区表构建
1）、ods创建用户打车订单表

根据用户打车订单数据，创建按照日期分区的表：

2）、ods创建取消订单表

根据用户取消订单数据，创建按照日期分区的表

3）、ods创建订单表支付表

根据用户订单支付数据，创建按照日期分区的表

4）、ods创建用户评价表

根据用户评价数据，创建按照日期分区的表

5）、基于T+1的日期分区

大规模数据处理，必须要构建分区，每天都会进行分析，采用的是T+1模式。今天数据，第二天才能看到分析结果。

1、创建本地路径，上传日志文件
mkdir -p /export/data/test
2、通过load命令给表加载数据，并指定分区
load data local inpath '/export/data/test/order.csv' into table t_user_order partition(dt='2020-04-12');

三、数据预处理
数据预处理-用户订单处理

数据有了之后，需要对ods层中的数据进行预处理，数据预处理是数据仓库开发中的一个重要环节，主要目的是让预处理的数据更容易进行数据分析，并且能够将一些非法的数据处理掉，避免影响实际的统计结果。

预处理内容：

1、过滤掉order_time长度小于8的数据，如果小于8，表示这条数据不合法，不应该参加统计

2、将一些0，1表示的字段，处理为更容易理解的字段，例如：subscribe字段，0表示非预约，1表示预约，我们需要添加一个额外的字段，用来展示非预约和预约，这样分析的时候，便于看懂数据。

3、order_time字段为2020-4-12 1:15，为了将来更方便处理，统一使用类似2020-04-12 01:15来表示，这样所有的order_time字段长度是一样的，并且将日期获取出来。

4、为了方便将来按照年、月、日，小时统计，我们需要新增这些字段。

5、后续要分析一天内，不同时段的订单量，需要在预处理过程中将订单对应的时间段提前计算出来，例如：1:00-5:00为凌晨。

数据预处理-用户订单处理

1）、一天各个时段对应关系

2）、dw层创建宽表（宽表含义，要比ods层的表字段多）

在进行预处理之前，先把预处理之后保存数据的表创建出来。

3）、建宽表语句

create table if not exists dw_test_user_order_wide

4）、预处理SQL语句

5）、HQL编好后，方便分析，需要将预处理的数据写入到之前创建的宽表中，注意：宽表也是一个分区表，所以，写入的时候要指定对应的分区。

四、订单指标分析-总订单笔数分析
数据处理好后，进行分析

1）、编写HQL语句

-- 计算4月12日总订单笔数
select
 count(orderid) as total_cnt 
from
 dw_didi.t_user_order_wide 
where 
 dt = '2020-04-12’
 ;

订单指标分析-总订单笔数分析

2）、app层建表

数据分析后，每次都要处理大规模数据，每次处理都需要占用较长时间，所以，我们可以将计算好的数据，直接保存下来。将来，可以快速查询数据结果，所以需要在app层创建表，保存的数据为某天的总订单数，保存一下几个字段：

1、时间（哪天的订单总数）

2、订单总数

-- 创建保存日期对应订单笔数的app表
create table if not exists app_didi.t_order_total(
    date string comment '日期（年月日)',
    count integer comment '订单笔数'
)
partitioned by (month string comment '年月，yyyy-MM')
row format delimited fields terminated by ','
;

3）、加载数据到app层，

此处因为结果的数据不会很多，所以只需要基于年月来分区

insert overwrite table app_didi.t_order_total partition(month='2020-04')
select 
  '2020-04-12',count(orderid) as total_cnt
From  dw_didi.t_user_order_wide
Where   dt = '2020-04-12';

查询的结果，后面就可以做为可视化使用。

订单指标分析-预约订单/非预约订单占比分析

数据处理好后，就可以进行分析了。

1、编写HQL语句

select
    subscribe_name,
    count(*) as order_cnt
from
    dw_didi.t_user_order_wide
where
    dt = '2020-04-12'
group by
    subscribe_name
;

2、app层建表

包含几个字段：

日期、是否预约、订单数量

create table if not exists app_didi.t_order_subscribe_total(
    date string comment '日期',
    subscribe_name string comment '是否预约',
    count integer comment '订单数量'
)
partitioned by (month string comment '年月，yyyy-MM')
row format delimited fields terminated by ','
;

3、加载数据到app表

insert overwrite table app_didi.t_order_subscribe_total partition(month = '2020-04')
select
    '2020-04-12',
    subscribe_name,
    count(*) as order_cnt
from
    dw_didi.t_user_order_wide
where
    dt = '2020-04-12'
group by
    subscribe_name
;

订单指标分析-不同时段订单占比分析
1）、编写HQL语句

select
    order_time_range,
    count(*) as order_cnt
from
    dw_didi.t_user_order_wide
where
    dt = '2020-04-12'
group by
    order_time_range
;

2）、app层建表

create table if not exists app_didi.t_order_timerange_total(
    date string comment '日期',
    timerange string comment '时间段',
    count integer comment '订单数量'
)
partitioned by (month string comment '年月，yyyy-MM')
row format delimited fields terminated by ','
;

3）、加载数据到app表

insert overwrite table app_didi.t_order_timerange_total partition(month = '2020-04')
select
    '2020-04-12',
    order_time_range,
    count(*) as order_cnt
from
    dw_didi.t_user_order_wide
where
    dt = '2020-04-12'
group by
    order_time_range
;

订单指标分析-不同地域订单对比
1）、编写HQL语句

select
    province,
    count(*) as order_cnt
from
    dw_didi.t_user_order_wide
where
    dt = '2020-04-12'
group by
    province
;

2）、app层建表

create table if not exists app_didi.t_order_province_total(
    date string comment '日期',
    province string comment '省份',
    count integer comment '订单数量'
)
partitioned by (month string comment '年月，yyyy-MM')
row format delimited fields terminated by ','
;

3）、加载数据到app表

insert overwrite table app_didi.t_order_province_total partition(month = '2020-04')
select
    '2020-04-12',
    province,
    count(*) as order_cnt
from
    dw_didi.t_user_order_wide
where
    dt = '2020-04-12'
group by
    province
;

订单指标分析-不同年龄段/时段订单占比

1）、编写HQL语句

select 
 age_range, 
 order_time_range, 
 count(*) as order_cnt 
from 
  dw_didi.t_user_order_wide 
where 
  dt = '2020-04-12’ 
group by 
 age_range, 
 order_time_range 
;

2）、app层建表

create table if not exists app_didi. t_order_age_and_time_range_total ( 
date string comment '日期’, 
age_range string comment '年龄段’, 
order_time_range string comment '时段’, 
count integer comment '订单数量’ 
) 
partitioned by (month string comment '年月，yyyy-MM’) 
row format delimited fields terminated by ',' ;

3）、加载数据到app表

insert overwrite table app_didi.t_order_age_and_time_range_total partition(month = '2020-04’) 
select 
 ‘2020-04-12’,
 age_range, 
 order_time_range, 
  count(*) as order_cnt 
from 
  dw_didi.t_user_order_wide 
where 
  dt = '2020-04-12’ 
group by age_range, order_time_range ;

select * from app_didi.t_order_age_and_time_range_total

五、Sqoop数据导出
在分析完核心指标后，需要将指标数据导出到mysql数据库中，便于后续的应用，例如指标的可视化。

Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一个工具，来自于Apache

Hadoop生态系统包含：HDFS、Hive、Hbase等等

RDBMS体系包含：Mysql、Oracle、DB2等

Sqoop可以理解：“SQL到Hadoop 和Hadoop 到SQL”

安装Sqoop 1.4.7启动

#进入Sqoop安装目录
cd /export/server/sqoop-1.4.7
#验证sqoop是否工作
bin/sqoop list-databases \
--connect jdbc:mysql://192.168.88.100:3306/ \
--username root \
--password 123456

显示Mysql中所有的数据库

information_schema
hive
mysql
performance_schema
sys

Mysql创建目标表

1）、将数据从Hadoop生态体系导出到RDBMS数据库导出前，目标表必须存在于目标数据库中，所以我们必须先在Mysql中创建对应的目标数据库app_test

 #创建目标数据库
 create database if not exists app_didi;
     
  #创建订单总笔数目标表
  create table if not exists app_didi.t_order_total(
     order_date date,
      count int
  );
 
  #创建预约订单/非预约订单统计目标表
  create table if  not exists app_didi.t_order_subscribe_total(
    order_date date ,
    subscribe_name varchar(20) ,
     count int
);

2）、在mysql中创建数据库和目标表

 #创建不同时段订单统计目标表
create table if not exists app_didi.t_order_timerange_total(
        order_date date ,
        timerange varchar(20) ,
        count int 
    );
 
    #创建不同地域订单统计目标表
    create table if not exists app_didi.t_order_province_total(
     order_date date ,
     province varchar(20) ,
     count int 
   );
 
   #创建不同年龄段，不同时段订单目标表
   create table if not exists app_didi.t_order_age_and_time_range_total(
    order_date date ,
    age_range varchar(20) ,
    order_time_range varchar(20) ,
    count int 
 );

Sqoop数据导出

1）、将Hive中的结果表导出到mysql中

 #导出订单总笔数表数据
    bin/sqoop export \
    --connect jdbc:mysql://192.168.88.100:3306/app_didi \
    --username root \
    --password 123456 \
# 导入到这个mysql中的表
    --table t_order_total \
#  将HDFS中的表
    --export-dir /user/hive/warehouse/app_didi.db/t_order_total/month=2020-04
 
     #导出预约和非预约订单统计数据
     bin/sqoop export \
    --connect jdbc:mysql://192.168.88.100:3306/app_didi \
    --username root \
    --password 123456 \
# 导入到这个mysql中的表
    --table t_order_subscribe_total \
#  将HDFS中的表
    --export-dir /user/hive/warehouse/app_didi.db/t_order_subscribe_total/month=2020-04

Sqoop导出Hive结果表数据到Mysql

#导出不同时段订单统计表
 
     bin/sqoop export \
    --connect jdbc:mysql://192.168.88.100:3306/app_didi \
    --username root \
    --password 123456 \
    --table t_order_timerange_total \
    --export-dir /user/hive/warehouse/app_didi.db/t_order_timerange_total/month=2020-04

    #导出不同地域订单统计表
    
    bin/sqoop export \
   --connect jdbc:mysql://192.168.88.100:3306/app_didi \
   --username root \
   --password 123456 \
# 导入到这个mysql中的表
   --table t_order_province_total  \
#  将HDFS中的表
   --export-dir /user/hive/warehouse/app_didi.db/t_order_province_total/month=2020-04

#导出不同年龄段，不同时段订单目标表
     bin/sqoop export \
   --connect jdbc:mysql://192.168.88.100:3306/app_didi \
   --username root \
   --password 123456 \
# 导入到这个mysql中的表
   --table t_order_age_and_time_range_total  \
#  将HDFS中的表
   --export-dir /user/hive/warehouse/app_didi.db/t_order_age_and_time_range_total/month=2020-04

六、Suerpset数据可视化
1）、Superset介绍

Superset是一个开源的企业级BI，它是目前开源的数据分析和可视化工具中比较好用的，功能简单，支持多种数据源、图标类型多、易维护、易二次开发。

2）、特点

1、丰富的数据可视化集

2、易于使用的界面，用于浏览和可视化数据

3、可提供身份验证。

Superset安装和启动

启动

superset run -h 192.168.88.100 -p 8099 --with-threads --reload --debugger

Superset建立数据源

1）、介绍

在启动完Superset之后，可以连接Mysql数据库

2）、连接

mysql的url地:mysql+pymysql://root:123456@192.168.88.100/app_didi?charset=utf8

分析指标可视化-订单总笔数可视化

1)、选择表数据源

2）、添加表连接

3）、设置表连接相关参数

4）、设置图标参数

分析指标可视化-DashBoard看板开发

1）、实现步骤

1、创建看板

2、设置看板名字

3、进入看板

4、编辑看板

5、选择自定义看板

6、制作看板

7、调整看板

最终效果

实战大数据项目

热门文章

最新文章

相关课程

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

实战大数据项目

热门文章

最新文章

相关课程

相关电子书