开发者社区> 问答> 正文

数据批量导入,导致Hbase region 100G,未进行分裂是什么原因

版本:Hbase 2.0批量往hbase进行数据导入,导致部分region大小超过100G,而集群配置最大是10G,(之前是200G,自动分裂到了100多G)。 具体是什么原因呢?集群基于CDH搭建,没有其他操作,处于空闲状态,负载也比较低,是什么原因导致region没有进行分裂? 并且手动执行分裂提示无法分裂

hbase(main):004:0> split 'tbName'

ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: fc09d55f91ed8831b4316f34b07719c5 NOT splittable
        at org.apache.hadoop.hbase.master.assignment.SplitTableRegionProcedure.checkSplittable(SplitTableRegionProcedure.java:182)
        at org.apache.hadoop.hbase.master.assignment.SplitTableRegionProcedure.<init>(SplitTableRegionProcedure.java:114)
        at org.apache.hadoop.hbase.master.assignment.AssignmentManager.createSplitProcedure(AssignmentManager.java:772)
        at org.apache.hadoop.hbase.master.HMaster$2.run(HMaster.java:1635)
        at org.apache.hadoop.hbase.master.procedure.MasterProcedureUtil.submitProcedure(MasterProcedureUtil.java:131)
        at org.apache.hadoop.hbase.master.HMaster.splitRegion(HMaster.java:1627)
        at org.apache.hadoop.hbase.master.MasterRpcServices.splitRegion(MasterRpcServices.java:774)
        at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java)
        at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)
        at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)
        at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)
        at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)

Split entire table or pass a region to split individual region.  With the
second parameter, you can specify an explicit split key for the region.
Examples:
    split 'tableName'
    split 'namespace:tableName'
    split 'regionName' # format: 'tableName,startKey,id'
    split 'tableName', 'splitKey'
    split 'regionName', 'splitKey'

Took 0.3912 seconds               

展开
收起
pandacats 2019-12-20 21:22:45 1469 0
1 条回答
写回答
取消 提交回答
  • region如果有reference文件,是无法继续分裂的;只能等compaction完,可以看下compaction有没有挤压

    2019-12-20 21:23:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大数据时代的存储 ——HBase的实践与探索 立即下载
Hbase在滴滴出行的应用场景和最佳实践 立即下载
阿里云HBase主备双活 立即下载