数据批量导入,导致Hbase region 100G,未进行分裂是什么原因-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

数据批量导入,导致Hbase region 100G,未进行分裂是什么原因

pandacats 2019-12-20 21:22:45 117

版本:Hbase 2.0批量往hbase进行数据导入,导致部分region大小超过100G,而集群配置最大是10G,(之前是200G,自动分裂到了100多G)。 具体是什么原因呢?集群基于CDH搭建,没有其他操作,处于空闲状态,负载也比较低,是什么原因导致region没有进行分裂? 并且手动执行分裂提示无法分裂

hbase(main):004:0> split 'tbName'

ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: fc09d55f91ed8831b4316f34b07719c5 NOT splittable
        at org.apache.hadoop.hbase.master.assignment.SplitTableRegionProcedure.checkSplittable(SplitTableRegionProcedure.java:182)
        at org.apache.hadoop.hbase.master.assignment.SplitTableRegionProcedure.<init>(SplitTableRegionProcedure.java:114)
        at org.apache.hadoop.hbase.master.assignment.AssignmentManager.createSplitProcedure(AssignmentManager.java:772)
        at org.apache.hadoop.hbase.master.HMaster$2.run(HMaster.java:1635)
        at org.apache.hadoop.hbase.master.procedure.MasterProcedureUtil.submitProcedure(MasterProcedureUtil.java:131)
        at org.apache.hadoop.hbase.master.HMaster.splitRegion(HMaster.java:1627)
        at org.apache.hadoop.hbase.master.MasterRpcServices.splitRegion(MasterRpcServices.java:774)
        at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java)
        at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)
        at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)
        at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)
        at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)

Split entire table or pass a region to split individual region.  With the
second parameter, you can specify an explicit split key for the region.
Examples:
    split 'tableName'
    split 'namespace:tableName'
    split 'regionName' # format: 'tableName,startKey,id'
    split 'tableName', 'splitKey'
    split 'regionName', 'splitKey'

Took 0.3912 seconds               
分布式数据库 Hbase
分享到
取消 提交回答
全部回答(1)
  • pandacats
    2019-12-20 21:23:05

    region如果有reference文件,是无法继续分裂的;只能等compaction完,可以看下compaction有没有挤压

    0 0
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题
推荐课程