开发者社区 问答 正文

delta.autoOptimize.optimizeWrite特性有哪些优点和缺点?

delta.autoOptimize.optimizeWrite特性有哪些优点和缺点?

展开
收起
萝卜丝丸子 2024-08-07 17:01:28 62 分享 版权
1 条回答
写回答
取消 提交回答
  • 优点包括:
    通过减少被写入的表文件数量,提高写数据的吞吐量;
    避免小文件的产生,提升查询性能。
    缺点包括:
    使用一个executor来合并表文件的写入,降低了表文件写入的并行度;
    引入的额外executor需要对写入的数据进行shuffle,带来额外的开销。

    2024-08-07 19:27:09
    赞同 4 展开评论
问答地址: