创建Parquet结果表

简介:

创建Parquet结果表

Parquet是一种高性能的里存储格式,详情请参考Apache Parquet官网

Flink可以读取Parquet格式数据作为输出,如下:

 
  
  1. create table parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://osspath/test.csv'
  8. );

WITH参数

参数 注释说明 备注
filePath 文件路径 支持oss、hdfs的文件系统。
enumerateNestedFiles 递归读取目录下的所有文件 默认为true
writeMode 写入方式 默认None
compressionCodecName 压缩方式 默认为snappy。Parquet支持uncompressed、snappy、gzip、lzo,4种格式。

本文转自实时计算——创建Parquet结果表

相关文章
|
7月前
|
存储 分布式计算 大数据
MaxCompute产品使用问题之创建了oss外表,格式指定的parquet,然后执行的写入,发现不是标准parquet的格式,该怎么办
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
8月前
|
消息中间件 存储 Apache
Apache Paimon 表模式最佳实践
Apache Paimon 表模式最佳实践
2183 57
Hologres的`dynamicPartition`参数是用来实现动态分区的
Hologres的`dynamicPartition`参数是用来实现动态分区的
139 0
|
SQL 分布式计算 HIVE
spark sql编程之实现合并Parquet格式的DataFrame的schema
spark sql编程之实现合并Parquet格式的DataFrame的schema
356 0
spark sql编程之实现合并Parquet格式的DataFrame的schema
|
数据采集 分布式计算 大数据
SparkSQL 读写_Parquet | 学习笔记
快速学习 SparkSQL 读写_Parquet
228 0
SparkSQL 读写_Parquet | 学习笔记
|
SQL 分布式计算 Java
SparkSQL 读写_Hive_写入数据_编码和配置 | 学习笔记
快速学习 SparkSQL 读写_Hive_写入数据_编码和配置
317 0
SparkSQL 读写_Hive_写入数据_编码和配置 | 学习笔记
|
SQL 分布式计算 大数据
SparkSQL 读写_Hive_读取 Hive 表 | 学习笔记
快速学习 SparkSQL 读写_Hive_读取 Hive 表
299 0
SparkSQL 读写_Hive_读取 Hive 表 | 学习笔记
|
存储 分布式计算 关系型数据库
KuduSpark_DF 读写 Kudu 表 | 学习笔记
快速学习 KuduSpark_DF 读写 Kudu 表
217 0
KuduSpark_DF 读写 Kudu 表 | 学习笔记
|
SQL 存储 分布式计算
SparkSQL 读写_Hive_创建 Hive 表 | 学习笔记
快速学习 SparkSQL 读写_Hive_创建 Hive 表
785 0
SparkSQL 读写_Hive_创建 Hive 表 | 学习笔记
|
存储 分布式计算 大数据
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
581 0
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)