备案控制台
开发者社区 开发与运维 文章 正文

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

2019-06-01 895
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
转发路由器TR，750小时连接 100GB跨地域
简介： region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的flushRegion方法)。

region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的flushRegion方法)。这两种情景在代码实现上并无多大差异。

1.下面以手动的split为例分析，手动split有HregionServer的splitRegion开始

  1. @Override//手动split的实现  
  2. public void splitRegion(HRegionInfo regionInfo, byte[] splitPoint)  
  3.     throws NotServingRegionException, IOException {  
  4.   checkOpen();  
  5.   HRegion region = getRegion(regionInfo.getRegionName());  
  6.   region.flushcache();//刷新memstore，减少内存堆积  
  7.   region.forceSplit(splitPoint);//强制split  
  8.   compactSplitThread.requestSplit(region, region.checkSplit());//通过compactSplitThread线程池完成split，具体由SplitRequest的run方法负责，SplitRequest内部会创建一个SplitTransaction来完成split    
  9. }  

其中compactSplitThread.requestSplit(region, region.checkSplit())中region.checkSplit()会计算该region的分裂点,看代码

  1. public byte[] checkSplit() {  
  2.   // Can't split ROOT/META  
  3.   //默认使用IncreasingToUpperBoundRegionSplitPolicy的分裂检查实现，有两种情况需要分裂：  
  4.   //        1.splitRequest=true  
  5.   //        2.check到该region下有store大于阀值，这个阀值和hbase.hregion.max.filesize和该region所在的RegionServer上和该Region属于同一表的region个数有关，具体见 getSizeToCheck方法。注意，如果该region下存在一个storefile是reference类型的文件则不能split  
  6.   if (!splitPolicy.shouldSplit()) {
  7.     return null;  
  8.   }  
  9.     
  10.   //判定该region是否分裂，如果有reference的storefile则不分裂，否则使用StoreFile.Reader得到最大的storefile，通过HFileBlockIndex得到该最大storefile的midkey   TODO midkey的获得还需深入细看 
  11.   byte[] ret = splitPolicy.getSplitPoint();  
  12.   
  13.   return ret;  
  14. }   

2.接下来接着看SplitRequest的run方法主要部分

  1. SplitTransaction st = new SplitTransaction(parent, midKey);  
  2. if (!st.prepare()) return;  //再次判断有没有reference的region，创建两个新的region对象，代表分裂后产生的两个dautghter region  
  3. st.execute(this.server, this.server);

下面分析下SplitRequest的execute做了什么

  1. public PairOfSameType<HRegion> execute(final Server server,    
  2.     final RegionServerServices services)    
  3. throws IOException {    
  4.   PairOfSameType<HRegion> regions = createDaughters(server, services);//在zk上创建一个ephemeral node，以防regionserver在分裂过程中down掉，Zookeeper临时路径是/hbase/region-in-transition/regionEncodedName，在parent region的hdfs下创建.splits文件夹，关闭当前待分裂region  
  5.   openDaughters(server, services, regions.getFirst(), regions.getSecond());    
  6.   transitionZKNode(server, services, regions.getFirst(), regions.getSecond());    
  7.   return regions;    
  8. } 

先分析 createDaughters

  1. PairOfSameType<HRegion> createDaughters(final Server server,    
  2.       final RegionServerServices services) throws IOException {    
  3.    this.fileSplitTimeout = testing ? this.fileSplitTimeout :  
  4.       server.getConfiguration().getLong("hbase.regionserver.fileSplitTimeout",  
  5.           this.fileSplitTimeout);//split超时时间，默认30s  
  6.    if (server != null && server.getZooKeeper() != null) {  
  7.       try {  
  8.         createNodeSplitting(server.getZooKeeper(),  
  9.           this.parent.getRegionInfo(), server.getServerName());//在zk创建一个临时的节点，保存split状态为RS_ZK_REGION_SPLITTING，表示开始region分裂  
  10.       } catch (KeeperException e) {  
  11.         throw new IOException("Failed creating SPLITTING znode on " +  
  12.           this.parent.getRegionNameAsString(), e);  
  13.       }  
  14.    }  
  15.     createSplitDir(this.parent.getFilesystem(), this.splitdir);  //在hdfs上为这个region的split过程创建临时工作目录/hbase/tableName/regionEncodedName/.splits  
  16.     this.journal.add(JournalEntry.CREATE_SPLIT_DIR);    
  17.      
  18.     List<StoreFile> hstoreFilesToSplit = null;    
  19.     Exception exceptionToThrow = null;    
  20.     try{    
  21.       hstoreFilesToSplit = this.parent.close(false);  //关闭当前region，关闭前会等待region的flush和compact都完成(通过writestate同步实现)，还会判断memstore的size小于5m(默认)时，会preFlush,然后关闭该region,region停止读写  
  22.     } catch (Exception e) {    
  23.       exceptionToThrow = e;    
  24.     }    
  25.      
  26.     if (!testing) {    
  27.       services.removeFromOnlineRegions(this.parent.getRegionInfo().getEncodedName());  //从regionserver的online服务中移除  
  28.     }    
  29.     this.journal.add(JournalEntry.OFFLINED_PARENT);    
  30.     
  31.     splitStoreFiles(this.splitdir, hstoreFilesToSplit);//通过创建与该region下storefile个数相同的线程池子进行并行分裂,见StoreFileSplitter的splitStoreFile方法,其核心走StoreFile.split方法  
  32.     
  33.     this.journal.add(JournalEntry.STARTED_REGION_A_CREATION);    
  34.     HRegion a = createDaughterRegion(this.hri_a, this.parent.rsServices); //region读写数为父region的一半  
  35.     this.journal.add(JournalEntry.STARTED_REGION_B_CREATION);    
  36.     HRegion b = createDaughterRegion(this.hri_b, this.parent.rsServices);    
  37.     
  38.     if (!testing) {  
  39.     //在.META.表中下线split的region，修改.META.表的该region信息，把offline split设置为true，添加列：splitA和splitB  
  40.         MetaEditor.offlineParentInMeta(server.getCatalogTracker(), this.parent.getRegionInfo(), a.getRegionInfo(), b.getRegionInfo());  
  41.     }  
  42. ｝  

StoreFile的split方法

  1. static Path split(final FileSystem fs,   final Path splitDir,   final StoreFile f,  final byte [] splitRow, final Reference.Range range)    
  2.     throws IOException {    
  3.        
  4.   // 检查split的key是否在storefile中  
  5.   if (range == Reference.Range.bottom) {    
  6.     //check if smaller than first key    
  7.     KeyValue splitKey = KeyValue.createLastOnRow(splitRow);    
  8.     byte[] firstKey = f.createReader().getFirstKey();    
  9.     // If firstKey is null means storefile is empty.    
  10.     if (firstKey == null) return null;    
  11.     if (f.getReader().getComparator().compare(splitKey.getBuffer(),     
  12.         splitKey.getKeyOffset(), splitKey.getKeyLength(),     
  13.         firstKey, 0, firstKey.length) < 0) {    
  14.       return null;    
  15.     }          
  16.   }    
  17.   else {    
  18.     //check if larger than last key.    
  19.     KeyValue splitKey = KeyValue.createFirstOnRow(splitRow);    
  20.     byte[] lastKey = f.createReader().getLastKey();          
  21.     // If lastKey is null means storefile is empty.    
  22.     if (lastKey == null) return null;    
  23.     if (f.getReader().getComparator().compare(splitKey.getBuffer(),     
  24.         splitKey.getKeyOffset(), splitKey.getKeyLength(),     
  25.         lastKey, 0, lastKey.length) > 0) {    
  26.       return null;    
  27.     }    
  28.   }   
  29.   
  30.   /*生成类型为reference的storefile文件,比如encode name为a，column family为cf(该cf下有名为hfile的storefile)的region分裂后会形成名为b和c的引用文件，此时在hdfs中该region下的目录结构为 
  31. /hbase/tableName/a/cf/hfile 
  32. /hbase/tableName/b/.splits/cf/hfile.a 
  33. /hbase/tableName/c/.splits/cf/hfile.a 
  34. 这两个引用文件的storefile的内容由原storefile的中间rowkey和range组成，reference文件的个数与原split region的storefile文件个数相同 
  35. */  
  36.   Reference r = new Reference(splitRow, range);    
  37.   String parentRegionName = f.getPath().getParent().getParent().getName();    
  38.   Path p = new Path(splitDir, f.getPath().getName() + "." + parentRegionName);    
  39.   return r.write(fs, p);    
  40. }   
 

再来看一下openDaughters

  1. void openDaughters(final Server server,    
  2.       final RegionServerServices services, HRegion a, HRegion b)    
  3.       throws IOException {    
  4.        
  5.       //并行打开两个daughters  
  6.       DaughterOpener aOpener = new DaughterOpener(server, a);    
  7.       DaughterOpener bOpener = new DaughterOpener(server, b);    
  8.       aOpener.start();    
  9.       bOpener.start();    
  10.       
  11.       if (services != null) {    
  12.         try {    
  13.           services.postOpenDeployTasks(b, server.getCatalogTracker(), true); // compact有references的storefile，compact操作最终清理掉这些reference文件，并把实际文件的内容写到region中去。将regioninfo信息和location的位置信息put到.META.表中  
  14.           services.addToOnlineRegions(b);  //添加region对象到regionserver的online列表中，终于可以对外提供服务了  
  15.           services.postOpenDeployTasks(a, server.getCatalogTracker(), true);    
  16.           services.addToOnlineRegions(a);    
  17.         } catch (KeeperException ke) {    
  18.           throw new IOException(ke);    
  19.         }    
  20.       }    
  21.   }   

最后梳理下整个流程：

检查该region是否需要分裂，如果满足分裂条件，则通过region.checkSplit()拿到midkey，并把该分裂请求SplitRequest提交给后台的CompactSplitThread线程池去执行，SplitRequest内部会创建SplitTransaction来实现分裂，其过程如下：

* 根据该region和midkey创建两个新的region对象HRegionInfo，代表分裂后的两个dautghter region  

* 在zk上创建一个临时节点(名称为“/hbase/region-in-transition/region-name”的znode)，以防regionserver在分裂过程中down掉，保存split状态为RS_ZK_REGION_SPLITTING，表示开始region分裂。同时因为master一直watch znode(/hbase/region-in-transition),所以master会知道这个region的变化，以防master对其进行move等操作

* 在该region所在的hdfs路径下创建.splits文件夹

* 关闭该region，关闭前会等待region的flush和compact都完成(通过writestate同步实现)，还会判断如果memstore的size小于5m(默认)时，会preFlush,然后关闭该region,region停止读写,并从regionserver的online服务中移除

* 通过创建与该region下storefile个数相同的线程池子进行storefile的并行分裂,见StoreFileSplitter的splitStoreFile方法,其核心走StoreFile.split方法，其生成类型为reference的storefile文件,比如encode name为a，column family为cf(该cf下有名为hfile的storefile)的region分裂后会形成名为b和c的引用文件，此时在hdfs中该region下的目录结构为 

/hbase/tableName/a/cf/hfile 
/hbase/tableName/b/.splits/cf/hfile.a 
/hbase/tableName/c/.splits/cf/hfile.a 
这两个引用文件的storefile的内容由原storefile的中间rowkey和range组成，reference文件的个数与原split region的storefile文件个数相同 

* 在.META.表中下线split的region，修改.META.表的该region信息，把offline split设置为true，添加列：splitA和splitB  

*  并行打开两个daughters region，CompactSplitThread后台线程会compact有references的storefile，compact操作最终清理掉这些reference文件，把实际文件的内容写到daughters region中去。并将daughter region的regioninfo信息和location的位置信息put到.META.表中

 * 添加region对象到regionserver的online列表中，终于可以对外提供服务了


转载请注明出处：http://blog.csdn.net/odailidong/article/details/42217439

参考文章：

http://blog.csdn.net/c77_cn/article/details/38758545

http://www.cnblogs.com/foxmailed/p/3970050.html

          

          

文章标签：
转发路由器
云数据库HBase版
Web App开发
@dailidong@
目录
相关文章
@dailidong@
|
Web App开发 监控 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
目前实现的监控概览               
@dailidong@
775 0
@dailidong@
|
Web App开发 前端开发 Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
线程的状态有：new、runnable、running、waiting、timed_waiting、blocked、dead 当执行new Thread(Runnabler)后，新创建出来的线程处于new状态，这种线程不可能执行 当执行thread.start()后，线程处于runnable状态，这种情况下只要得到CPU，就可以开始执行了。
@dailidong@
700 0
@dailidong@
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
总结和计划总是让人喜悦或镇痛，一方面以前一段时间没有荒废，能给现在的行动以信心，另一方面看到一年的时间并不能完成很多事情，需要抓紧时间。
@dailidong@
589 0
@dailidong@
|
Web App开发 监控 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
系统的升级涉及各个架构组件，细节很多。常年累月的修修补补使老系统积累了很多问题。 系统升级则意味着需要repair之前埋下的雷，那为何还要升级，可以考虑以下几个方面 成熟老系统常见问题： 1. 缺乏文档（这应该是大小公司都存在的问题。
@dailidong@
597 0
@dailidong@
|
Web App开发 监控 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Datanode的日志中看到: 10/12/14 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.
@dailidong@
670 0
@dailidong@
|
Web App开发 监控 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
已发现2个内存错误，应用名称（kernel:）,日志内容(hangzhou-jishuan-DDS0248 kernel: sbridge: HANDLING MCE MEMORY ERROR hangzhou-jis...
@dailidong@
828 0
@dailidong@
|
Web App开发 Apache
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
参考， https://cwiki.apache.org/confluence/display/KAFKA/System+Tools https://cwiki.
@dailidong@
667 0
@dailidong@
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
@dailidong@
684 0
@dailidong@
|
Web App开发 数据库
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
可伸缩系统的架构经验 Feb 27th, 2013 | Comments 最近，阅读了Will Larson的文章Introduction to Architecting System for Scale，感觉很有价值。
@dailidong@
2043 0
@dailidong@
|
Web App开发 前端开发 Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
本文总结了java中byte转换int时总是与0xff进行与运算的原因。在剖析该问题前请看如下代码： public static String bytes2HexString(byte[] b) { String ret = ""; for (int i = 0; i < b.
@dailidong@
916 0

热门文章

最新文章

  • 1
    纯C++实现的HTTP请求封装（POST/GET）
  • 2
    Dubbo 在跨语言和协议穿透性方向的探索：支持 HTTP/2 gRPC
  • 3
    vc 获取网页内容(HTTP)
  • 4
    Android MediaPlayer与Http Proxy结合之基础篇
  • 5
    MongoDB学习笔记~监控Http请求的消息链
  • 6
    HTTP报文
  • 7
    HTTP Status 500 - Unable to compile class for JSP:Syntax error on token &quot;=&quot;, @ expected
  • 8
    STM32+果云GA6-GPRS/GSM模块+MQTT+HTTP协议连接中移OneNet上传GPS数据定位
  • 9
    HTTP handlers和Module简介
  • 10
    Http 学习笔记（一）
  • 1
    推荐一个比较好用的c++版本http协议库-cpp-httplib
    81
  • 2
    推荐：实现RTSP/RTMP/HLS/HTTP协议的轻量级流媒体框架，支持大并发连接请求
    124
  • 3
    SpringBoot项目调用HTTP接口5种方式你了解多少？
    159
  • 4
    深入解析：HTTP和HTTPS的三次握手与四次挥手
    159
  • 5
    slb监听协议http
    64
  • 6
    【技术干货连载 一】业务经过WAF HTTP 400问题排查
    91
  • 7
    【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 httpd命令 使用指南
    45
  • 8
    【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 apachectl命令 使用教程
    182
  • 9
    糊涂工具类真是场景下请求http接口的案例
    47
  • 10
    http和https请求服务器的时候在请求头部分都带什么到服务器呢？
    40

    • 相关课程

    更多
  • Java Web开发-Web应用、Tomcat、HTTP请求与响应
  • 云安全基础课- HTTP协议基础

    • 相关电子书

    更多
  • 阿里巴巴HTTP 2.0实践及无线通信协议的演进之路
  • 《零基础HTML入门教程》
  • 低代码开发师（初级）实战教程
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）