flink-1.11 ddl 写入json 格式数据到hdfs问题
代码引用
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/filesystem.html#full-example
将parquet换成了json之后，chk成功，但是文件状态一直处于in-progress状态，我应该如何让它成功呢？
parquet目前是已经success了。
*来自志愿者整理的flink邮件归档
写回答
-
如同[1]里面说的，对于csv和json，你还需要配置rolling相关参数，因为它们是可以不在checkpoint强行rolling的。
NOTE: For row formats (csv, json), you can set the parameter
sink.rolling-policy.file-size or sink.rolling-policy.rollover-interval in
the connector properties and parameter execution.checkpointing.interval in
flink-conf.yaml together if you don’t want to wait a long period before
observe the data exists in file system. For other formats (avro, orc), you
can just set parameter execution.checkpointing.interval in flink-conf.yaml.
所以如果你想通过时间来rolling，你还需要配sink.rolling-policy.rollover-interval和sink.rolling-policy.check-interval
[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/filesystem.html#rolling-policy*来自志愿者整理的flink邮件归档
2021-12-07 10:05:13赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
