创建OSS源表
OSS
阿里云对象存储服务(Object Storage Service),简称OSS。为您提供基于网络的数据存取服务。使用OSS,您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。
Flink可以读取OSS上的各种结构化及非结构化文件进行计算,例如,
create table oss_csv_source(
a VARCHAR
) with (
type = 'csv',
path='oss://ossbucket/test.csv?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
)
With参数
OSS作为源表或目标表进行计算时,需要根据不同的文件类型指定参数。跟OSS相关的参数为path或filePath。OSS文件路径格式为
oss://${osspath}/${ossFile}?accessKeyId=${accessID}&accessKeySecret=${accessKey}&endpoint=http%3a%2f%2f${OSSEndpoint}。
读取OSS上Parquet文件示例如下。
create table oss_parquet_source(
x varchar,
y varchar,
z varchar
) with (
type='parquet',
filePath='oss://ossbucket/test.parquet?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
);
读取OSS上ORC文件示例如下。
create table oss_parquet_source(
x varchar,
y varchar,
z varchar
) with (
type='parquet',
filePath='oss://ossbucket/test.orc?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
);
本文转自实时计算——创建OSS源表