开发者社区> 问答> 正文

很多 bulkformat,例如 Parquet,只有当写入的文件比较大时,才比较高效。当point

已解决

很多 bulkformat,例如 Parquet,只有当写入的文件比较大时,才比较高效。当point 的间隔比较小时,这会成为一个很大的问题。在 Flink 1.12 中,是否可以解决?

展开
收起
詹姆斯邦德00 2022-06-30 15:25:30 550 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    在 Flink 1.12 中,File Sink 增加了小文件合并功能,从而使得即使作业 checkpoint 间隔比较小时,也不会产生大量的文件。

    以上内容摘自《开源大数据前瞻与应用实战》电子书,点击https://developer.aliyun.com/topic/download?id=1153可下载完成版

    2022-06-30 16:14:46
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
数据采集:日志数...[jing.luojing].1477375627.pdf 立即下载
Get rid of traditional ETL, Move to Spark! 立即下载
ALLUXIO (FORMERLY TACHYON): UNIFY DATA AT MEMORY SPEED - EFFECTIVE USING SPARK WITH ALLUXIO 立即下载