开发者社区 问答 正文

想问一下 flink 有写orc hdfs 的BucketingSink吗? 或者还需StreamingFileSink 来写吗?貌似1.6没有orc writer哦

转自钉钉群21789141:想问一下 flink 有写orc hdfs 的BucketingSink吗?
或者还需StreamingFileSink 来写吗?貌似1.6没有orc writer哦

展开
收起
赵慧@ApacheFlink中文社区 2018-10-18 13:43:53 6044 分享 版权
2 条回答
写回答
取消 提交回答
  • 自己实现ORC Writer,在Haddop 上2.7做truncate,否则就只能记录invalid-length

    2019-07-17 23:09:14
    赞同 展开评论
  • zhangminglei:https://issues.apache.org/jira/browse/FLINK-10114

    问:这个我试过了,一条 记录一个文件,不知道是不是我用的不对

    答:没有就自己实现呀
    不是所有的东西都有的

    问:这个实现的难点在于实现 end to end 的 exactly once
    因为在 recovery 的时候需要做 retract

    答:Sink很难exactly once

    2019-07-17 23:09:14
    赞同 展开评论