【hive】(电影推荐系统的数据)在hive中创表,并导入数据,同时取出自己想要的数据

简介: (电影推荐系统的数据)在hive中创表,并导入数据,同时取出自己想要的数据

目标

将本地表导入hive中,并完成一系列的查询

我这里一共有四个表,分别是 movies ratings tags links,分别如下

image.png

一、在HDFS中创建文件夹

image.png

二、将本地的四张表上传到新建文件夹中,并检验是否成功导入

image.png

image.png

三、在hive中创表,并将数据导入

1.查有哪些数据库,接着创建新的数据库,并使用相应数据库

image.png

2.创表并导入数据

(1.1)创建第一个表 movie表

image.png

(1.2)将HDFS中movie文件的数据导入 movie表中,并查看前10条数据检验结果

image.png

(1.3)查询出movie表中有多少条数据 用count计数

image.png

(2.1)创建第二个表 ratings表,同时将HDFS中ratings文件的数据导入 ratings表中

image.png

(2.2)查看前10条数据检验结果

image.png

(3.1)创建第三个表 tags表,同时将HDFS中tags文件的数据导入 tags表中,并查看前10条数据检验结果

image.png

(4.1)创建第四个表 links表,同时将HDFS中tags文件的数据导入 links表中,并查看前10条数据检验结果

image.png

## 用substring截取movie表中title列的年份

image.png

image.png

将截取出来的年份数据加上原先的数据一起装入一个新表中(最后一列为年份数据)

image.png

image.png

目录
相关文章
|
9天前
|
机器学习/深度学习 数据采集 搜索推荐
利用Python和机器学习构建电影推荐系统
利用Python和机器学习构建电影推荐系统
23 1
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
39 4
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
51 3
|
1月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
34 2
|
1月前
|
搜索推荐 关系型数据库 数据库
#646253#基于django/neo4j的电影打分推荐系统
#646253#基于django/neo4j的电影打分推荐系统
18 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
84 0
|
3月前
|
SQL 关系型数据库 HIVE
实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
搜索推荐 前端开发 数据可视化
【优秀python web毕设案例】基于协同过滤算法的酒店推荐系统,django框架+bootstrap前端+echarts可视化,有后台有爬虫
本文介绍了一个基于Django框架、协同过滤算法、ECharts数据可视化以及Bootstrap前端技术的酒店推荐系统,该系统通过用户行为分析和推荐算法优化,提供个性化的酒店推荐和直观的数据展示,以提升用户体验。
152 1
|
5月前
|
搜索推荐 算法 小程序
基于Java协同过滤算法的电影推荐系统设计和实现(源码+LW+调试文档+讲解等)
基于Java协同过滤算法的电影推荐系统设计和实现(源码+LW+调试文档+讲解等)