大数据技术基础实验十:Hive实验——新建Hive表

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据基础技术实验十,学习掌握有关Hive表的创建查看删除等基础操作。

一、前言

在前面一期博客中我们完成了Hive的部署任务,本期博客我们将学习有关在Hive中创建表等一些基本操作。

二、实验目的

  1. 学会创建Hive的表
  2. 显示Hive中的所有表
  3. 显示Hive中表的列项
  4. 修改Hive中的表并能够删除Hive中的表

三、实验要求

要求实验结束时每位学生均能够完成Hive的DDL操作,能够在Hive中新建,显示,修改和删除表等功能。

四、实验原理

Hive没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive中的表,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。

Hive中所有的数据都存储在HDFS中,Hive中包含以下数据模型:表(Table),外部表(External Table),分区(Partition),桶(Bucket)。

Hive中Table和数据库中 Table在概念上是类似的,每一个Table在Hive中都有一个相应的目录存储数据。例如,一个表 pvs,它在 HDFS 中的路径为:/wh/pvs,其中,wh 是在hive-site.xml中由${hive.metastore.warehouse.dir}指定的数据仓库的目录,所有的 Table 数据(不包括 External Table)都保存在这个目录中。

五、实验步骤

1、启动Hive

我们在master虚拟机上首先进入hive的bin目录下,然后执行hive命令即可启动:

cd /usr/cstor/hive/bin/
hive

image-20221105141215594.png

可以看见我们的Hive启动成功了,可以开始基本操作学习了。

2、创建表

默认情况下,新建表的存储格式均为Text类型,字段间默认分隔符为键盘上的Tab键。

创建一个有两个字段的pokes表,其中第一列名为foo,数据类型为INT,第二列名为bar,类型为STRING:

CREATETABLE pokes (foo INT, bar STRING);

image-20221105141324404.png

创建一个有两个实体列和一个(虚拟)分区字段的invites表:

CREATETABLE invites (foo INT, bar STRING) PARTITIONED BY(ds STRING);

image-20221105141402426.png

注意:分区字段并不属于invites,当向invites导入数据时,ds字段会用来过滤导入的数据。

3、显示表

显示所有的表:

SHOW TABLES ;

image-20221105141500943.png

显示表(正则查询),同MySQL中操作一样,Hive也支持正则查询,比如显示以.s结尾的表:

SHOW TABLES '.*s';

image-20221105141539539.png

4、显示表列

DESCRIBE invites;

image-20221105141638205.png

5、更改表

修改表events名为3koobecaf (自行创建任意类型events表):

CREATETABLE events (foo INT, bar STRING);ALTERTABLE events RENAME TO 3koobecaf;

image-20221105141900045.png

将pokes表新增一列(列名为new_col,类型为INT):

ALTERTABLE pokes ADD COLUMNS (new_col INT);

image-20221105141958725.png

将invites表新增一列(列名为new_col2,类型为INT),同时增加注释“a comment”:

ALTERTABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');

image-20221105142100805.png

替换invites表所有列名(数据不动):

ALTERTABLE invites REPLACE COLUMNS (foo INT, bar STRING, baz INT COMMENT 'baz replaces new_col2');

image-20221105142144866.png

6、删除表或者列

删除invites表bar 和 baz 两列:

ALTERTABLE invites REPLACE COLUMNS (foo INT COMMENT 'only keep the first column');

image-20221105142257971.png

删除pokes表:

DROPTABLE pokes;

image-20221105142337731.png

六、最后我想说

本期实验的内容也比较的简单,都是一些基础的操作,跟MySQL操作类似,所以应该很容易就能理解和上手。

好啦本期实验就到这里结束了,我们下期实验见!

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
15天前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
69 4
|
2月前
|
存储 分布式计算 Hadoop
Hadoop框架解析:大数据处理的核心技术
组件是对数据和方法的封装,从用户角度看是实现特定功能的独立黑盒子,能够有效完成任务。组件,也常被称作封装体,是对数据和方法的简洁封装形式。从用户的角度来看,它就像是一个实现了特定功能的黑盒子,具备输入和输出接口,能够独立完成某些任务。
|
3月前
|
资源调度 安全 Java
Java 大数据在智能教育在线实验室设备管理与实验资源优化配置中的应用实践
本文探讨Java大数据技术在智能教育在线实验室设备管理与资源优化中的应用。通过统一接入异构设备、构建四层实时处理管道及安全防护双体系,显著提升设备利用率与实验效率。某“双一流”高校实践显示,设备利用率从41%升至89%,等待时间缩短78%。该方案降低管理成本,为教育数字化转型提供技术支持。
84 1
|
20天前
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴,从初识的分布式计算到共生进化,突破架构边界,推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力,助力企业降本增效,赋能政务与商业场景,成为数字化转型的“数字神经系统”。
|
2月前
|
数据采集 自然语言处理 分布式计算
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
|
2月前
|
存储 分布式计算 算法
Java 大视界 -- Java 大数据在智能教育在线考试监考与作弊检测中的技术创新(193)
本文探讨了Java大数据技术在智能教育在线考试监考与作弊检测中的创新应用。随着在线考试的普及,作弊问题日益突出,传统监考方式难以应对。通过Java大数据技术,可实现考生行为分析、图像识别等多维度监控,提升作弊检测的准确性与效率。结合Hadoop与Spark等技术,系统能实时处理海量数据,构建智能监考体系,保障考试公平性,推动教育评价体系的数字化转型。
|
2月前
|
SQL 缓存 监控
大数据之路:阿里巴巴大数据实践——实时技术与数据服务
实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。
|
传感器 分布式计算 安全
Java 大视界 -- Java 大数据在智能安防入侵检测系统中的多源数据融合与分析技术(171)
本文围绕 Java 大数据在智能安防入侵检测系统中的应用展开,剖析系统现状与挑战,阐释多源数据融合及分析技术,结合案例与代码给出实操方案,提升入侵检测效能。
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
333 1
|
4月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南