AI 助理
备案控制台
开发者社区 大数据 文章 正文

淘宝数据可视化大屏案例(Hadoop实验)

2022-07-05 1113
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
云数据库 RDS MySQL，高可用系列 2核4GB
简介： 淘宝数据可视化大屏案例(Hadoop实验)

身处大数据时代，每一天都在产生数据，对于数据的应用是每一个行业的最基本的要求，也是他们立足和竞争商业世界的必要手段。在这个“化数为金”的时代，对数据的敏感程度不仅仅是那些专业人士的目标所向，而是对于每一个人的挑战与机遇。数据分析已经成为21世纪最为广泛的一次信息革命，它终将成为未来最基础的生存技能

数据挖掘——数据清洗——数据分析——数据可视化——数据语言大众化——数据价值化

工欲善其事必先利其器

Hadoop镜像文件，该专栏下的环境，点击此处下载，只需要安装一个vmwear即可，点击加载即可获得Hadoop全套操作组件环境

如果有时间需要自己搭建的，下面有安装包和操作指南链接

Hadoop环境搭建资料，全套，点击下载！

20201205001127983.png

20201205002401910.png

项目简介

我们选取了12月1日-18号的数据，进行简单的模拟大数据分析（6万多条，实际项目一般是上亿，文件大小都是TB级，一般的软件无法分析处理，只可以借助Hadoop大数据分析）

2020120322214525.png

20201203222158140.png

20201203222216309.png

20201203222302971.png

项目条件

1.首先要准备数据集

20201203222400367.png

数据集点击此处下载

2.准备环境，Hadoop集群，需要hdfs，hive，Fiume，sqoop等插件，需要提前自己安装，使用12月数据做一个分析

项目步骤

1.启动Hadoop集群并查看

start-all.sh
jps

image.png

2.配置表支持事务（十分重要）

2.1 改配置文件hive-site.xml 或者 临时设置参数 命令行

<property>
    <name>hive.support.concurrency</name>
    <value>true</value>
</property>
<property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
</property>
<property>
    <name>hive.txn.manager</name>
    <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
    <name>hive.compactor.initiator.on</name>
    <value>true</value>
</property>
<property>
    <name>hive.compactor.worker.threads</name>
    <value>1</value>
    <!--这里的线程数必须大于0 :理想状态和分桶数一致-->
</property>
<property>
    <name>hive.enforce.bucketing</name>
    <value>true</value>
</property>

首先在Hadoop计算机里面找到这个文件，因为配置文件已经存在了，我们只需要在后面添加上面的数据即可，操作步骤截图如下：

20201203224504498.png

注意这里修改的是hive文件下面的，也就是第一个文件，不是第二个flume！


20201203224628750.png

20201203224822534.png

image.png

2.2 使用vi命令，新建一个file_hive.properties文件，把下面的数据插入到里面

#定义agent名， source、channel、sink的名称
agent3.sources = source3
agent3.channels = channel3
agent3.sinks = sink3
#具体定义source
agent3.sources.source3.type = spooldir
agent3.sources.source3.spoolDir = /home/hadoop/taobao/data
agent3.sources.source3.fileHeader=false
#设置channel类型为磁盘
agent3.channels.channel3.type = file
#file channle checkpoint文件的路径
agent3.channels.channel3.checkpointDir=/home/hadoop/taobao/tmp/point
# file channel data文件的路径
agent3.channels.channel3.dataDirs=/home/hadoop/taobao/tmp
#具体定义sink
agent3.sinks.sink3.type = hive
agent3.sinks.sink3.hive.metastore = thrift://hadoop:9083
agent3.sinks.sink3.hive.database = taobao
agent3.sinks.sink3.hive.table = taobao_data
agent3.sinks.sink3.serializer = DELIMITED
agent3.sinks.sink3.serializer.delimiter = ","
agent3.sinks.sink3.serializer.serdeSeparator = ','
agent3.sinks.sink3.serializer.fieldnames = user_id,item_id,behavior_type,user_geohash,item_category,date,hour
agent3.sinks.sink3.batchSize = 90
#组装source、channel、sink
agent3.sources.source3.channels = channel3
agent3.sinks.sink3.channel = channel3
vi file_hive.properties

20201203230204241.png该文件用于监听的作用，自动就会在家目录下面，然后我们需要创建几个文件夹，就是下图我备注的那些字段

20201203230425148.png

mkdir -p /home/hadoop/taobao/data
mkdir -p /home/hadoop/taobao/tmp/point

20201203230733862.png

3.3 创建数据库

由于版本问题，需要导入指定的jar包

把${HIVE_HOME}/hcatalog/share/hcatalog/下的所有包，拷贝入${FLUME_HOME}/lib

执行下面的命令：

cd ${HIVE_HOME}/hcatalog/share/hcatalog/
cp * ${FLUME_HOME}/lib/

image.png

启动hive

hive

创建数据库并使用

create database taobao;
use taobao;

建立表格

create table `taobao`.`taobao_data`  (
  `user_id` varchar(255) ,
  `item_id` varchar(255) ,
  `behavior_type` varchar(255) ,
  `user_geohash` varchar(255) ,
  `item_category` varchar(255) ,
  `date` varchar(10) ,
  `hour` varchar(3) 
) 
clustered by(user_id) into 3 buckets
row format delimited fields terminated by ','
stored as orc tblproperties('transactional'='true');

创建导出数据表

create table `taobao`.`taobao_result`  (
  `key` varchar(255) ,
  `value` varchar(255)) ;

image.png

4.导入数据

先启动hive --service metastore -p 9083

(这个端口号要配置到flume文件中,可用netstat -tulpn | grep 9083查看端口是否监听)

hive --service metastore -p 9083
• 1

再去启动flume

flume-ng agent --conf conf --conf-file file_hive.properties -name agent3 -Dflume.hadoop.logger=INFO,console

然后把文件数据导入到，之前创建的data文件夹里面就完成了自动导入

 mv /home/hadoop/12yue.csv /home/hadoop/taobao/data/

20201203233039439.png

5.数据分析

5.1 把总访问量查询出来，导入到结果表

insert into taobao_result 
(select "PV", u. `总访问量`  FROM 
(select count(*) AS `总访问量` FROM taobao_data) u);

20201203233825944.png

INSERT INTO taobao_result 
(SELECT  " UV", u. `用户数量`  FROM
(SELECT COUNT(DISTINCT user_id) AS `用户数量` FROM taobao_data) u);

20201203234429992.png

可以查看一下

select * from taobao_result;

20201203234553587.png

5.2 – 浏览页跳失率：用户仅仅有pv行为，没有其它的收藏、加购、购买行为

INSERT INTO taobao_result 
(SELECT "跳失率", u. `总访问量`  FROM
(
SELECT b.`仅pv用户` / a.`总用户` AS `总访问量`  FROM
(SELECT count( DISTINCT user_id )  AS `总用户` FROM taobao_data) a ,
(SELECT 
count( DISTINCT user_id ) AS `仅pv用户`
FROM taobao_data 
WHERE 
user_id NOT IN ( SELECT DISTINCT user_id FROM taobao_data WHERE behavior_type = '2' ) AND 
user_id NOT IN ( SELECT DISTINCT user_id FROM taobao_data WHERE behavior_type = '3' ) AND 
user_id NOT IN ( SELECT DISTINCT user_id FROM taobao_data WHERE behavior_type = '4' )) b
) u);

注意在hive里面不可以使用in not in查询，所以这里要用连接查询解决这个问题

经过大量的测试，我自己写了一个sq语句，也可以达到以上的效果

首先把要插入的信息，查询出来

SELECT "跳失率", u.`总访问量` FROM
(
SELECT b.`仅pv用户` / a.`总用户` AS `总访问量`  FROM
(SELECT count( DISTINCT user_id ) AS `总用户` FROM taobao_data) a,
(SELECT count( DISTINCT user_id ) AS `仅pv用户` from (select * from taobao_data) as c LEFT JOIN (SELECT  DISTINCT user_id as `id`  FROM taobao_data WHERE behavior_type = '2' or behavior_type='3' or behavior_type='4') as d on c.user_id=d.id WHERE d.id is NULL ) as b
) as u;

image.png

SELECT "跳失率", u.`总访问量` FROM
(
SELECT b.`仅pv用户` / a.`总用户` AS `总访问量`  FROM
(SELECT count( DISTINCT user_id ) AS `总用户` FROM taobao_data) a,
(SELECT count( DISTINCT user_id ) AS `仅pv用户` from (select * from taobao_data) as c LEFT JOIN (SELECT  DISTINCT user_id as `id`  FROM taobao_data WHERE behavior_type = '2' or behavior_type='3' or behavior_type='4') as d on c.user_id=d.id WHERE d.id is NULL ) as b
) as u;

插入

INSERT INTO taobao_result
(SELECT "跳失率", u.`总访问量` FROM
(
SELECT b.`仅pv用户` / a.`总用户` AS `总访问量`  FROM
(SELECT count( DISTINCT user_id ) AS `总用户` FROM taobao_data) a,
(SELECT count( DISTINCT user_id ) AS `仅pv用户` from (select * from taobao_data) as c LEFT JOIN (SELECT  DISTINCT user_id as `id`  FROM taobao_data WHERE behavior_type = '2' or behavior_type='3' or behavior_type='4') as d on c.user_id=d.id WHERE d.id is NULL ) as b
) as u);

image.png

image.png

优化代码类型（思路类似）

SELECT count(DISTINCT user_id) from datas left JOIN
(select DISTINCT user_id as t from datas WHERE behavior_type ='2' or behavior_type ='3' or behavior_type ='4') as a on user_id=a.t WHERE a.t is null

5.3

– 有购买行为的用户数量、用户的购物情况、复购率分别是多少？

SELECT COUNT( 1 ) FROM (SELECT u.user_id, SUM( CASE u.behavior_type WHEN "4" THEN 1 ELSE 0 END ) AS buy FROM taobao_data u GROUP BY u.user_id HAVING buy > 0 ) t;

20201204004144322.png

SELECT COUNT(1) AS `总数`, SUM(CASE u.behavior_type WHEN "1" THEN 1 ELSE 0 END ) AS `点击行为`,SUM(CASE u.behavior_type WHEN "2" THEN 1 ELSE 0 END ) AS `收藏行为`,SUM(CASE u.behavior_type WHEN "3" THEN 1 ELSE 0 END ) AS `加购物车行为`,SUM(CASE u.behavior_type WHEN "4" THEN 1 ELSE 0 END ) AS `购买行为` FROM taobao_data u;

20201204010030868.png

5.4 – 复购率 购买次数大于2的人占总的人数的比率

必须要输入下面代码

原因如下

set hive.mapred.mode=nonstrict;
• 1

注意这个sq语句里面的4，必须也要用单引号括起来

SELECT t2.repeat_buy/t1.total AS `复购率` FROM 
(SELECT COUNT(DISTINCT u1.user_id) AS total FROM taobao_data u1) t1 , 
(SELECT COUNT(1) AS repeat_buy FROM
(SELECT u.user_id, SUM(CASE u.behavior_type WHEN '4' THEN 1 ELSE 0 END ) AS buy FROM taobao_data u  GROUP BY u.user_id HAVING buy>1) t) t2;

20201204012145541.png

5.5 分析用户在哪个时间段最为活跃，包括日期和时间

SELECT `date`,count(*) as `t` from taobao_data GROUP BY `date` ORDER BY `t` DESC;

20201204191910255.png

SELECT `hour`,count(*) as `t` from taobao_data GROUP BY `hour` ORDER BY `t` DESC;

导出数据

去自己的Navicat里面执行去试试也可以

CREATE DATABASE taobao;
create table `taobao`.`taobao_result`  (
  `key` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `value` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

20201204015439425.png

虚拟机执行也可以

show create table taobao_result

20201204183903197.png

在终端界面运行

sqoop export --connect jdbc:mysql://localhost:3306/taobao --username root -P --table taobao_result --export-dir  /user/h

20201204184009934.png

查询一下数据是否导入成功

20201204184050846.png

OK！

可视化展示——基于Python里面的pyecharts库

20201204220513545.png


1.有不同的用户访问，按照IP地址来确定，对比之后用户点击率还是比较高的，和用户人数形成了极差，说明该电商还是比较吸引人，有大量的浏览量，说明网站还是比较吸引人，流量价值比较高，可以加大对广告的投入赚取利益。

20201204220614687.png

2.只看不买不收藏的用户占比总人数约1/3，说明还是比较可观，可以加大对网站信息化的建设以及，吸引更多的人，同时减少跳失率

20201204220645803.png

20201204220706315.png

20201204220809875.png

3.通过对用户的购买行为数据分析可知，用户主要对其内容感兴趣，访问量比较的大说明网站的种类还是比较的丰富，用户喜欢逛，但综合下来购买占比相对较少，但网站的流量比较大，可以发挥该优势，提高用户的收藏率和购买率，以及加入购物车行为，这就需要增加产品的质量，吸引更多的人愿意一次性购买（淘宝的特点，都喜欢逛）

20201204222906919.png

有图可知，复购率约占比4/25，说明二次购买的人数还是不够多，需要加强质量管理，同时增加一些二次购买福利，留住顾客

20201204220838169.png

20201204220848686.png

分析可得用户喜欢在活动前后大幅度浏览网站，同时大部分人喜欢在6点（下班之后）浏览网页，到了晚上9点和10点带到高峰，建议在这段时间加强对网站的维护和广告的投入，达到相关的作用


项目总结


对于hive里面的数据操作，最为重要的就是sq语句的书写：


1.在MySQL里面可以运行的sq语句在hive里面未必可以运行成功，因为hive对sq语句要求的更为严格，其次hive里面不支持in not in 子查询，我们需要使用left join on 或者其他方法去实现相关功能的查询。

2.hive里面有时会报一些字段错误，那么很有可能就是sq语句书写的不够规范，其次在MySQL里面可以用‘’来表示子查询字符串，也就是一些表的字段名，但是hive里面有时候需要用Esc下面的那个符号，建议最好使用那个，以免报错。另外在使用sq语句在hive里面创建表格的时候注意大小写，create table …

3.导入数据的时候注意步骤不要出错了以及一些配置文件。

4.使用sqoop导出数据需要在mysql 里面提前创建好表格，从hive表导出，最终在MySQL里面进行相关查询，以及可视化分析。

5.只要hive报错语法错误，那么就按照最标准的语法格式书写准没错，亲测实用！


思路：首先准备好配置文件以及数据，导入只需移动进去，导出还需要查看该表的位置，至于中间的数据分析，必须熟练的掌握MySQL的查询语法。


我们在想，要是Python可以直接连接hive就好了，那么我们在Python环境里面执行查询语句，自动把数据集传给变量，然后利用可视化库进行展示，一键化岂不是很方便。确实可以，这个需要安装一些Python第三方库连接虚拟机里面的hive，这样我们进行大数据分析也就方便多了。


文章标签：
云数据库 RDS MySQL 版
Python
数据挖掘
数据可视化
分布式计算
SQL
关系型数据库
MySQL
Hadoop
HIVE
数据库
关键词：
hadoop实验
案例hadoop
淘宝hadoop
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL，然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
王小王-123
目录
相关文章
武子康
|
3月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
武子康
62 2
尹正杰
|
4月前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例，详细介绍了如何在Hadoop集群中配置HTTPS，包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件，以及重启Hadoop集群的步骤，并提供了一些常见问题的故障排除方法。
尹正杰
98 3
yuanzhengme
|
8月前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
yuanzhengme
350 2
郑小健
|
5月前
|
机器学习/深度学习 存储 分布式计算
Hadoop与机器学习的融合：案例研究
【8月更文第28天】随着大数据技术的发展，Hadoop已经成为处理大规模数据集的重要工具。同时，机器学习作为一种数据分析方法，在各个领域都有着广泛的应用。本文将介绍如何利用Hadoop处理大规模数据集，并结合机器学习算法来挖掘有价值的信息。我们将通过一个具体的案例研究——基于用户行为数据预测用户留存率——来展开讨论。
郑小健
366 0
飞川撸码
|
8月前
|
分布式计算 Hadoop Linux
实验: 熟悉常用的Linux操作和Hadoop操作
实验: 熟悉常用的Linux操作和Hadoop操作
飞川撸码
102 2
阿甘兄
|
分布式计算 搜索推荐 Hadoop
03 Hadoop国内外应用案例介绍
03 Hadoop国内外应用案例介绍
阿甘兄
398 0
aliyun7652621635-14532
|
8月前
|
分布式计算 数据可视化 Hadoop
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
aliyun7652621635-14532
1629 0
yuanzhengme
|
8月前
|
分布式计算 监控 Hadoop
Hadoop【基础知识 02】【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
【4月更文挑战第3天】Hadoop【基础知识 02】【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
yuanzhengme
335 0
Maynor
|
8月前
|
存储 Linux
[hadoop3.x]HDFS之银行海量转账数据分层案例(八)
[hadoop3.x]HDFS之银行海量转账数据分层案例(八)
Maynor
142 1
Maynor
|
8月前
|
分布式计算 Hadoop 大数据
大数据hadoop练习___出租车MRWordCount案例
大数据hadoop练习___出租车MRWordCount案例
Maynor
41 0

热门文章

最新文章

  • 1
    Flume+Hadoop：打造你的大数据处理流水线
  • 2
    使用Hadoop MapReduce进行大规模数据爬取
  • 3
    【赵渝强老师】Hadoop生态圈组件
  • 4
    数据湖技术：Hadoop与Spark在大数据处理中的协同作用
  • 5
    Hadoop集群管理：向繁琐的计算源创建Say ByeBye
  • 6
    数据湖技术：Hadoop与Spark在大数据处理中的协同作用
  • 7
    【赵渝强老师】基于ZooKeeper实现Hadoop HA
  • 8
    【赵渝强老师】部署Hadoop的本地模式
  • 9
    linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
  • 10
    hadoop安装小记
  • 1
    Hadoop配置复杂性
    53
  • 2
    Hadoop生态系统集成问题
    67
  • 3
    Hadoop权限问题
    133
  • 4
    Hadoop安全性问题
    143
  • 5
    安装hadoop学习笔记
    72
  • 6
    Hadoop的HDFS问题
    90
  • 7
    Hadoop防火墙问题
    111
  • 8
    Hadoop配置
    81
  • 9
    Hadoop网络问题
    168
  • 10
    Hadoop常见问题
    80

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • DataWorks智能交互式数据开发与分析之旅
  • 基于EMR StarRocks实现游戏玩家画像和行为分析
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 快速搭建移动端可视化看板
  • 倚天大数据电商数据分析快速实践
  • 基于Flink+Tair搭建实时监控大屏
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月