开发者社区> 问答> 正文

Databricks如何通过自动合并小文件功能解决上述问题?

Databricks如何通过自动合并小文件功能解决上述问题?

展开
收起
萝卜丝丸子 2024-08-07 17:01:27 9 0
1 条回答
写回答
取消 提交回答
  • Databricks提供了小文件自动合并功能,通过表属性delta.autoOptimize.autoCompact控制。当Delta表中的小文件(size < 128MB)数量达到阈值(默认为50)时,会自动执行一次小文件合并,将多个小文件合并为一个新的大文件,优化表结构,提升查询性能。

    2024-08-07 19:27:09
    赞同 2 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Databricks数据洞察:从入门到实践 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载