创建Parquet结果表

简介:

创建Parquet结果表

Parquet是一种高性能的里存储格式,详情请参考Apache Parquet官网

Flink可以读取Parquet格式数据作为输出,如下:

 
  
  1. create table parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://osspath/test.csv'
  8. );

WITH参数

参数 注释说明 备注
filePath 文件路径 支持oss、hdfs的文件系统。
enumerateNestedFiles 递归读取目录下的所有文件 默认为true
writeMode 写入方式 默认None
compressionCodecName 压缩方式 默认为snappy。Parquet支持uncompressed、snappy、gzip、lzo,4种格式。

本文转自实时计算——创建Parquet结果表

相关文章
|
10月前
|
存储 测试技术 Apache
Apache Hudi 元数据字段揭秘
Apache Hudi 元数据字段揭秘
194 1
Hologres的`dynamicPartition`参数是用来实现动态分区的
Hologres的`dynamicPartition`参数是用来实现动态分区的
182 0
|
SQL 分布式计算 HIVE
spark sql编程之实现合并Parquet格式的DataFrame的schema
spark sql编程之实现合并Parquet格式的DataFrame的schema
380 0
spark sql编程之实现合并Parquet格式的DataFrame的schema
|
存储 SQL 分布式计算
【Parquet】Spark读取Parquet问题详解……
【Parquet】Spark读取Parquet问题详解……
946 0
【Parquet】Spark读取Parquet问题详解……
|
存储 分布式计算 关系型数据库
KuduSpark_DF 读写 Kudu 表 | 学习笔记
快速学习 KuduSpark_DF 读写 Kudu 表
225 0
KuduSpark_DF 读写 Kudu 表 | 学习笔记
|
SQL 存储 分布式计算
SparkSQL 读写_Hive_创建 Hive 表 | 学习笔记
快速学习 SparkSQL 读写_Hive_创建 Hive 表
801 0
SparkSQL 读写_Hive_创建 Hive 表 | 学习笔记
|
存储 分布式计算 大数据
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
613 0
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
|
SQL HIVE
hive清空表删除分区
hive清空表删除分区
|
SQL 大数据 API
SparkSQL 读写_Hive_SparkSQL 创建 Hive 表 | 学习笔记
快速学习 SparkSQL 读写_Hive_SparkSQL 创建 Hive 表
242 0