数据批量导入,导致Hbase region 100G,未进行分裂是什么原因-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

数据批量导入,导致Hbase region 100G,未进行分裂是什么原因

2018-11-07 16:43:28 4294 1

版本:Hbase 2.0批量往hbase进行数据导入,导致部分region大小超过100G,而集群配置最大是10G,(之前是200G,自动分裂到了100多G)。
具体是什么原因呢?集群基于CDH搭建,没有其他操作,处于空闲状态,负载也比较低,是什么原因导致region没有进行分裂?
并且手动执行分裂提示无法分裂
hbase(main):004:0> split 'tbName'

ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: fc09d55f91ed8831b4316f34b07719c5 NOT splittable

    at org.apache.hadoop.hbase.master.assignment.SplitTableRegionProcedure.checkSplittable(SplitTableRegionProcedure.java:182)
    at org.apache.hadoop.hbase.master.assignment.SplitTableRegionProcedure.<init>(SplitTableRegionProcedure.java:114)
    at org.apache.hadoop.hbase.master.assignment.AssignmentManager.createSplitProcedure(AssignmentManager.java:772)
    at org.apache.hadoop.hbase.master.HMaster$2.run(HMaster.java:1635)
    at org.apache.hadoop.hbase.master.procedure.MasterProcedureUtil.submitProcedure(MasterProcedureUtil.java:131)
    at org.apache.hadoop.hbase.master.HMaster.splitRegion(HMaster.java:1627)
    at org.apache.hadoop.hbase.master.MasterRpcServices.splitRegion(MasterRpcServices.java:774)
    at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java)
    at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)
    at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)
    at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)
    at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)

Split entire table or pass a region to split individual region. With the
second parameter, you can specify an explicit split key for the region.
Examples:

split 'tableName'
split 'namespace:tableName'
split 'regionName' # format: 'tableName,startKey,id'
split 'tableName', 'splitKey'
split 'regionName', 'splitKey'

Took 0.3912 seconds
图片不会上传

fc09d55f91ed8831b4316f34b07719c5 fwqzx011.zh:16030 500 0 180.41 GB 3 0 B 1.0 - -
07c32308a85d7797f18e6011ab5eef01 fwqzx011.zh:16030 500 0 145.27 GB 3 0 B 1.0 - -
1f4bc1398c7e7b951ab081fc6d27f483 fwqzx011.zh:16030 500 0 101.15 GB 1 0 B 1.0 - -
b3a6f416a4ecba0d2fb0f668ee6055f9 fwqzx011.zh:16030 500 0 101.15 GB 1 0 B 1.0 - -
24eb3dbf8ef77a2c4d1e61a17b406faf fwqzx011.zh:16030 500 0 123.58 GB 1 0 B 1.0 - -
6a7d20ea20009c84653914ed884e9052 fwqzx011.zh:16030 500 0 123.58 GB 1 0 B 1.0 - -
8f6cf3b72841476d37f2b2899905b47e fwqml005.zh:16030 0 0 34.08 GB 1 0 B 1.0 - -
7d13f4777eacd30dd12e96b2583087bf fwqml005.zh:16030 0 0 34.08 GB 1 0 B 1.0 - -
4fe76a7e32093161e02764382f5bd10a fwqml005.zh:16030 500 0 8.52 GB 1 0 B 1.0 - -
1bf2254eac114614678b42489ce23799 fwqml005.zh:16030 500 0 8.52 GB 1 0 B 1.0 - -

取消 提交回答
全部回答(1)
  • 我是管理员
    2019-07-17 23:12:47

    又自动分裂了一些,不过还是很多比较大,两天~ 分裂好慢啊
    fe5cd6025adcd2ff7394018852e05622 fwqml001.zh:16030 1,000 0 203.47 GB 1 0 B 1.0 - -
    cb2641874c9318a070a3517a47275c9d fwqml001.zh:16030 1,000 0 203.47 GB 1 0 B 1.0 - -
    e7ce065f7a87cfa0d55fc1506635195d fwqzx011.zh:16030 1,101 0 149.46 GB 1 0 B 1.0 - -
    56ce7319c9c0b897d7982bf1bdb69be5 fwqzx011.zh:16030 1,000 0 149.46 GB 1 0 B 1.0 - -
    24eb3dbf8ef77a2c4d1e61a17b406faf fwqzx011.zh:16030 3,700 0 123.58 GB 1 0 B 1.0 - -
    6a7d20ea20009c84653914ed884e9052 fwqzx011.zh:16030 3,700 0 123.58 GB 1 0 B 1.0 - -
    a523eb6f9c84c5824952b5edf7467310 fwqzx011.zh:16030 2,600 0 103.89 GB 1 0 B 1.0 - -
    6067ccca2e610d400db6eebb23692941 fwqml001.zh:16030 3,700 0 102.07 GB 1 0 B 1.0 - -
    1f4bc1398c7e7b951ab081fc6d27f483 fwqzx011.zh:16030 3,700 0 101.15 GB 1 0 B 1.0 - -
    b3a6f416a4ecba0d2fb0f668ee6055f9 fwqzx011.zh:16030 3,700 0 101.15 GB 1 0 B 1.0 - -
    53f4de45775b795060d48984b2e9b8f7 fwqml001.zh:16030 3,700 0 79.46 GB 1 0 B 1.0 - -
    08d5c1833b66dbba374e942968e426c2 fwqml001.zh:16030 3,700 0 79.46 GB 1 0 B 1.0 - -
    7d8c8ce43206fec8e7c64dff3b58ab99 fwqml001.zh:16030 100 0 66.76 GB 1 0 B 1.0 - -
    730438ba27932b280b920f0527b4a81e fwqml001.zh:16030 100 0 66.76 GB 1 0 B 1.0 - -
    5394c6861aebc3e717ba0ffacc39f2a0 fwqzx011.zh:16030 400 0 51.96 GB 1 0 B 1.0 - -

    0 0
相关问答

1

回答

可以批量修改生命周期么?

2022-11-27 21:10:42 13浏览量 回答数 1

1

回答

怎么批量更改表的生命周期

2022-08-24 11:01:44 75浏览量 回答数 1

1

回答

请问能否批量获取maxcompute的表结构

2022-08-11 10:33:43 149浏览量 回答数 1

0

回答

请问我这个批量写入为什么一直不触发呢

2022-08-09 17:06:07 90浏览量 回答数 0

0

回答

请问我这个批量写入为什么一直不触发呢

2022-08-09 17:20:01 84浏览量 回答数 0

1

回答

HBase数据模型Master为Region server分配region的作用是什么?

2021-12-05 15:23:07 211浏览量 回答数 1

1

回答

问一个群里的朋友 我这边hbase中的一个表region的数量越来越多....

2019-09-12 13:46:54 934浏览量 回答数 1

1

回答

怎么快速的把hbase中的数据快速导入到elasticsearch中,我批量读和批量写的方式

2019-08-06 15:17:30 914浏览量 回答数 1

1

回答

批量删除hbase的的数据 用什么方式比较好?

2018-11-15 13:12:22 2300浏览量 回答数 1

1

回答

请问 PHP 中批量修改数组键名的方法

2016-06-16 18:04:25 3208浏览量 回答数 1
+关注
hbase小能手
HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。阿里云HBase技术团队共同探讨HBase及其生态的问题。
文章
问答
问答排行榜
最热
最新
相关电子书
更多
基于HBase的海量数据查询与检索解析_游骐_202105_v3
立即下载
HBase应用与发展之HBase RowKey与索引设计
立即下载
HareQL:快速HBase查询工具的发展过程
立即下载