开发者社区> 问答> 正文

怎么解决 Carbondata频繁的update和delete,出现的delta小文件过多的问题?

这是一个劣势吧

展开
收起
hbase小助手 2018-11-13 19:58:42 3463 0
2 条回答
写回答
取消 提交回答
  • ALTER TABLE xx COMPACT 'MINOR'; ALTER TABLE xx COMPACT 'MAJOR' ; -- 压实后的清洁段 CLEAN FILES FOR TABLE xxx;

    set carbon.compaction.level.threshold=2,2 -- SEGMENTS 压实个数触发
    set carbon.major.compaction.size=10240 -- SEGMENTS 小于设置大小(MB)时触发

    2019-10-08 20:20:58
    赞同 展开评论 打赏
  • 专注在大数据分布式计算、数据库及存储领域,拥有13+年大数据引擎、数据仓库、宽表引擎、平台研发经验,6年云智能大数据产品技术一号位经验,10年技术团队管理经验;云智能技术架构/云布道师; 研发阿里历代的大数据技术产品包括ODPS、DLA、ADB,最近五年主导宽表引擎研发、DLA、ADB湖仓研发;

    貌似解决不了

    2019-07-17 23:13:56
    赞同 1 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载