开发者社区 问答 正文

很多 bulkformat,例如 Parquet,只有当写入的文件比较大时,才比较高效。当point

已解决

很多 bulkformat,例如 Parquet,只有当写入的文件比较大时,才比较高效。当point 的间隔比较小时,这会成为一个很大的问题。在 Flink 1.12 中,是否可以解决?

展开
收起
詹姆斯邦德00 2022-06-30 15:25:30 600 分享 版权
1 条回答
写回答
取消 提交回答
  • 推荐回答

    在 Flink 1.12 中,File Sink 增加了小文件合并功能,从而使得即使作业 checkpoint 间隔比较小时,也不会产生大量的文件。

    以上内容摘自《开源大数据前瞻与应用实战》电子书,点击https://developer.aliyun.com/topic/download?id=1153可下载完成版

    2022-06-30 16:14:46
    赞同 展开评论