开发者社区> 问答> 正文

如何通过Databricks企业版特性避免Delta Lake中产生小文件?

如何通过Databricks企业版特性避免Delta Lake中产生小文件?

展开
收起
萝卜丝丸子 2024-08-07 17:01:27 20 0
1 条回答
写回答
取消 提交回答
  • 可以通过设置表属性delta.autoOptimize.optimizeWrite为true来优化Delta表的写入过程,避免小文件的产生。在创建表时,可以使用以下SQL命令:

    CREATE TABLE student (id INT, name STRING) 
     TBLPROPERTIES (delta.autoOptimize.optimizeWrite = true);
    

    或者修改已存在的表属性:

    ALTER TABLE table_name 
    SET TBLPROPERTIES (delta.autoOptimize.optimizeWrite = true);
    
    2024-08-07 19:27:09
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载