访问HBase经常出现报错:ServerNotRunningYetException: Server xxx.xxx.xxx is not running yet

简介: 访问HBase经常出现报错:ServerNotRunningYetException: Server xxx.xxx.xxx is not running yet

问题背景

访问HBase服务频繁出现报错:ServerNotRunningYetException: Server emr-worker-1.cluster-300808,16020,1662065267349 is not running yet。


分析过程

1. 根据报错信息可以看到是RegionServer节点不是在运行的状态,查看RegionServer日志可以看到使用的GC算法是CMS,Full GC很频繁,且耗时长。

2.使用CMS(并发标记-清除算法)避免不了Full GC,而且Full GC场景下会通过一次串行的完整垃圾收集来回收碎片化的内存,这个过程通常会比较长,应用线程会发生长时间的STW停顿,不响应任何请求,导致RegionServer停顿。

3. 可以查RegionServer堆内存配置信息,RegionServer堆内存只配了1.5G,CMSInitiatingOccupancyFraction配置的是85,当老年代内存使用率超过85%就开始执行CMS GC。结合GC的情况来看是内存不足导致Full GC时发生长时间的STW服务停顿,如果在这个时候访问RegionServer就会出现ServerNotRunningYetException服务不可用的情况。


方案结论

建议根据业务情况配置更大的堆内存来解决。另外避免经常STW停顿的方式来FullCG,也可以考虑使用G1垃圾回收的方式。 G1适合大内存的场景,通过把堆内存划分为多个 Region,然后对各个Region单独进行GC,这样就具有了并行整理内存碎片的功能,可以最大限度的避免Full GC的到来,提供更加合理的停顿时间。


适用范围

开源大数据平台E-MapReduce

相关文章
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
373 4
|
缓存 Java Linux
java操作hbase报错:KeeperErrorCode=NoNode for /hbase-unsecure/master
java操作hbase报错:KeeperErrorCode=NoNode for /hbase-unsecure/master
1000 2
|
DataWorks 数据管理 大数据
DataWorks操作报错合集之在连接HBase时出现超时问题,该怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
分布式计算 安全 Hadoop
HBase Shell-org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 已解决
在HBase Shell遇到错误时,检查Hadoop非安全模式:`hdfs dfsadmin -safemode get`。问题解决在于`hbase-site.xml`中添加配置:Zookeeper客户端端口设为2181和预写日志提供者设为filesystem。
770 6
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版操作报错合集之使用 Event Time Temporal Join 关联多个 HBase 后,Kafka 数据的某个字段变为 null 是什么原因导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
417 0
|
SQL 消息中间件 Kafka
实时计算 Flink版操作报错合集之使用 Event Time Temporal Join 关联多个 HBase 后,Kafka 数据的某个字段变为 null 是什么原因导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
299 0
|
SQL 消息中间件 分布式数据库
flink sql问题之连接HBase报错如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
843 0
|
9月前
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
617 19
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
352 4
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
216 3