创建Parquet结果表

简介:

创建Parquet结果表

Parquet是一种高性能的里存储格式,详情请参考Apache Parquet官网

Flink可以读取Parquet格式数据作为输出,如下:

 
  
  1. create table parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://osspath/test.csv'
  8. );

WITH参数

参数 注释说明 备注
filePath 文件路径 支持oss、hdfs的文件系统。
enumerateNestedFiles 递归读取目录下的所有文件 默认为true
writeMode 写入方式 默认None
compressionCodecName 压缩方式 默认为snappy。Parquet支持uncompressed、snappy、gzip、lzo,4种格式。

本文转自实时计算——创建Parquet结果表

相关文章
|
5月前
【spark2.x】如何通过SparkSQL读取csv文件
【spark2.x】如何通过SparkSQL读取csv文件
108 0
|
SQL 分布式计算 HIVE
spark sql编程之实现合并Parquet格式的DataFrame的schema
spark sql编程之实现合并Parquet格式的DataFrame的schema
294 0
spark sql编程之实现合并Parquet格式的DataFrame的schema
|
存储 SQL 分布式计算
【Parquet】Spark读取Parquet问题详解……
【Parquet】Spark读取Parquet问题详解……
657 0
【Parquet】Spark读取Parquet问题详解……
|
SQL HIVE
hive插入分区报错SemanticException Partition spec contains non-partition columns
hive插入分区报错SemanticException Partition spec contains non-partition columns
|
SQL HIVE
Hive 删除一个字段
Hive 删除一个字段
|
SQL 大数据 API
SparkSQL 读写_Hive_SparkSQL 创建 Hive 表 | 学习笔记
快速学习 SparkSQL 读写_Hive_SparkSQL 创建 Hive 表
181 0
|
数据采集 分布式计算 大数据
SparkSQL 读写_Parquet | 学习笔记
快速学习 SparkSQL 读写_Parquet
178 0
SparkSQL 读写_Parquet | 学习笔记
|
SQL 存储 分布式计算
SparkSQL 读写_Hive_创建 Hive 表 | 学习笔记
快速学习 SparkSQL 读写_Hive_创建 Hive 表
669 0
SparkSQL 读写_Hive_创建 Hive 表 | 学习笔记
|
存储 分布式计算 关系型数据库
KuduSpark_DF 读写 Kudu 表 | 学习笔记
快速学习 KuduSpark_DF 读写 Kudu 表
174 0
KuduSpark_DF 读写 Kudu 表 | 学习笔记
|
SQL 分布式计算 大数据
SparkSQL 读写_Hive_读取 Hive 表 | 学习笔记
快速学习 SparkSQL 读写_Hive_读取 Hive 表
244 0
SparkSQL 读写_Hive_读取 Hive 表 | 学习笔记