开发者社区> 问答> 正文

如何调整自动合并小文件的阈值和合并后文件的最大大小?

如何调整自动合并小文件的阈值和合并后文件的最大大小?

展开
收起
萝卜丝丸子 2024-08-07 17:01:27 7 0
1 条回答
写回答
取消 提交回答
  • 可以通过调整配置spark.databricks.delta.autoCompact.minNumFiles来控制自动合并的阈值,默认为50。合并后文件的最大大小可以通过spark.databricks.delta.autoCompact.maxFileSize配置,默认为128MB。

    2024-08-07 19:27:09
    赞同 4 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载