Hive 支持的文件存储格式(重点)

简介: Hive 支持的文件存储格式(重点)

一、Hive 支持哪些文件存储格式?

Hive 支持的文件储存格式主要有:TextFile、SequenceFile、ORC、Parquet

TextFile 格式:Hive 默认格式,数据默认不做压缩,并且磁盘开销大,数据解析开销大。可结合 Gzip、Bzip2 使用。

SequenceFile 格式:序列化文件,将数据以二进制格式编码,并且进行压缩,下载后不能直接查看,无法可视化。

Parquet 格式:Parquet 文件是以二进制方式存储的,不可以直接读取和修改,Parquet 文件是自解析的,文件中包括该文件的数据和元数据。

ORC 格式:和 Parquet 类似,也是以二进制方式存储的,不可以直接读取和修改,也是自解析的,包含很多元数据,这些元数据都是同构 ProtoBuffer 进行序列化的。

其中 TextFile、SequenceFile 为行式存储,ORC、Parquet 为列式存储。

相关文章
|
6月前
|
存储 SQL Java
bigdata-18-Hive数据结构与存储格式
bigdata-18-Hive数据结构与存储格式
63 0
|
6月前
|
SQL 消息中间件 数据处理
DataX读取Hive Orc格式表丢失数据处理记录
DataX读取Hive Orc格式表丢失数据处理记录
253 0
|
6月前
|
SQL 存储 分布式计算
Hive【基础 01】核心概念+体系架构+数据类型+内容格式+存储格式+内外部表(部分图片来源于网络)
【4月更文挑战第6天】Hive【基础 01】核心概念+体系架构+数据类型+内容格式+存储格式+内外部表(部分图片来源于网络)
127 1
|
SQL 存储 分布式计算
Hive学习---6、文件格式和压缩
Hive学习---6、文件格式和压缩
Hive学习---6、文件格式和压缩
|
6月前
|
存储 分布式计算 Hadoop
[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)
[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)
121 2
|
6月前
|
存储 大数据 Java
【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解(图文解释 超详细)
【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解(图文解释 超详细)
273 0
|
存储 SQL 文件存储
Hive主流文件存储格式对比
### Hive 主流文件存储格式对比 ### 1、存储文件的压缩比测试 ##### 1.1 测试数据
205 0
|
SQL JSON 数据库
Json 内容转换为 Hive 所支持的文本格式1 | 学习笔记
快速学习 Json 内容转换为 Hive 所支持的文本格式1
218 0
Json 内容转换为 Hive 所支持的文本格式1  |  学习笔记
|
SQL JSON HIVE
Json 内容转换为 Hive 所支持的文本格式2 | 学习笔记
快速学习 Json 内容转换为 Hive 所支持的文本格式2
130 0
Json 内容转换为 Hive 所支持的文本格式2  |  学习笔记