Hi:
在使用flink sql connector的filesytem时,指定format为parquet。抛出异常信息
Caused by: org.apache.flink.table.api.ValidationException: Could not find any format factory for identifier 'parquet' in the classpath.
at org.apache.flink.table.filesystem.FileSystemTableSource. (FileSystemTableSource.java:97)
at org.apache.flink.table.filesystem.FileSystemTableFactory.createDynamicTableSource(FileSystemTableFactory.java:72)
at org.apache.flink.table.factories.FactoryUtil.createTableSource(FactoryUtil.java:119)
... 41 more
Sql语句如下:
CREATE TABLE user_info (
user_id
bigint,
user_name
string
) PARTITIONED BY (user_id) WITH (
'connector' = 'filesystem',
'path' = '',
'format' = 'parquet'
);
CREATE TABLE sink_table (
user_id
bigint,
user_name
string
) PARTITIONED BY (datetime) WITH (
'connector'='filesystem',
'path'='',
'format'='parquet',
'sink.partition-commit.delay'='1h',
'sink.partition-commit.policy.kind'='success-file'
);
insert OVERWRITE sink_table select *, '2021062600' as datetime from user_info;*来自志愿者整理的flink邮件归档
您好,
添加的parquet 依赖如下,不知道全不全
org.apache.flink
flink-parquet_${scala.binary.version}
${flink.version}
org.apache.parquet
parquet-avro
1.10.1
*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。