实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建OSS源表-阿里云开发者社区

开发者社区> 云计算> 正文

实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建OSS源表

简介: 本页目录 创建OSS源表 OSS With参数 创建OSS源表 OSS 阿里云对象存储服务(Object Storage Service),简称OSS。为您提供基于网络的数据存取服务。

创建OSS源表

OSS

阿里云对象存储服务(Object Storage Service),简称OSS。为您提供基于网络的数据存取服务。使用OSS,您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。

Flink可以读取OSS上的各种结构化及非结构化文件进行计算,例如,


  1. create table oss_csv_source(
  2. a VARCHAR
  3. ) with (
  4. type = 'csv',
  5. path='oss://ossbucket/test.csv?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  6. )

With参数

OSS作为源表或目标表进行计算时,需要根据不同的文件类型指定参数。跟OSS相关的参数为pathfilePath。OSS文件路径格式为

oss://${osspath}/${ossFile}?accessKeyId=${accessID}&accessKeySecret=${accessKey}&endpoint=http%3a%2f%2f${OSSEndpoint}

读取OSS上Parquet文件示例如下。


  1. create table oss_parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://ossbucket/test.parquet?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  8. );

读取OSS上ORC文件示例如下。


  1. create table oss_parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://ossbucket/test.orc?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  8. );

本文转自实时计算——创建OSS源表

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

其他文章