【ZooKeeper Notes 29】 修复“ZooKeeper客户端打印当前连接的服务器地址为null”的Bug

简介:

 问题描述

    公司之前进行了几次机房容灾演习中,经常是模拟一个机房挂掉的场景,把一个机房的网络切掉,使得这个机房内部网络通信正常,与外部的网络不通。在容灾演习过程中,我们发现ZK的客户端应用中出现大量类似这样的日志:

 
  1. An exception was thrown while closing send thread for ession 0x for server null, unexpected error, closing socket connection and attempting  

从这个日志中,红色部分出现的是null。当时看到这个情况,觉得,正常情况正在,这个地方应用出现的是那个被隔离的机房中部署的ZK的机器IP的,但是这里出现的是null,非常困惑。

    具体描述也可以在这里查看:https://issues.apache.org/jira/browse/ZOOKEEPER-1480

 问题定位

    看了下3.4.3及其以前版本的ZooKeeper代码,发现问题出在这里,日志打印的逻辑在这里:

 
  1. } catch (Throwable e) {  
  2.     if (closing) {  
  3.         if (LOG.isDebugEnabled()) {  
  4.             // closing so this is expected  
  5.             LOG.debug("An exception was thrown while closing send thread for session 0x"  
  6.                     + Long.toHexString(getSessionId())  
  7.                     + " : " + e.getMessage());  
  8.         }  
  9.         break;  
  10.     } else {  
  11.         // this is ugly, you have a better way speak up  
  12.         if (e instanceof SessionExpiredException) {  
  13.             LOG.info(e.getMessage() + ", closing socket connection");  
  14.         } else if (e instanceof SessionTimeoutException) {  
  15.             LOG.info(e.getMessage() + RETRY_CONN_MSG);  
  16.         } else if (e instanceof EndOfStreamException) {  
  17.             LOG.info(e.getMessage() + RETRY_CONN_MSG);  
  18.         } else if (e instanceof RWServerFoundException) {  
  19.             LOG.info(e.getMessage());  
  20.         } else {  
  21.             LOG.warn(  
  22.                     "Session 0x"  
  23.                             + Long.toHexString(getSessionId())  
  24.                             + " for server "  
  25.                             + clientCnxnSocket.getRemoteSocketAddress()  
  26.                             + ", unexpected error"  
  27.                             + RETRY_CONN_MSG, e);  
  28.         }  

可以看到,在打印日志过程,是通过clientCnxnSocket.getRemoteSocketAddress() 来获取当前连接的服务器地址的,那再来看下这个方法:

 
  1. /** 
  2.      * Returns the address to which the socket is connected. 
  3.      * @return ip address of the remote side of the connection or null if not connected 
  4.      */ 
  5.     @Override 
  6.     SocketAddress getRemoteSocketAddress() { 
  7.         // a lot could go wrong here, so rather than put in a bunch of code 
  8.         // to check for nulls all down the chain let's do it the simple 
  9.         // yet bulletproof way 
  10.         try { 
  11.             return ((SocketChannel) sockKey.channel()).socket() 
  12.                     .getRemoteSocketAddress(); 
  13.         } catch (NullPointerException e) { 
  14.             return null; 
  15.         } 
  16. } 
  17.     /** 
  18.      * Returns the address of the endpoint this socket is connected to, or 
  19.      * <code>null</code> if it is unconnected. 
  20.      * @return a <code>SocketAddress</code> reprensenting the remote endpoint of this 
  21.      *         socket, or <code>null</code> if it is not connected yet. 
  22.      * @see #getInetAddress() 
  23.      * @see #getPort() 
  24.      * @see #connect(SocketAddress, int) 
  25.      * @see #connect(SocketAddress) 
  26.      * @since 1.4 
  27.      */ 
  28.     public SocketAddress getRemoteSocketAddress() { 
  29.       if (!isConnected()) 
  30.         return null; 
  31.       return new InetSocketAddress(getInetAddress(), getPort()); 
  32. } 

所以,现在基本就可以定位问题了,如果服务器端非正常关闭socket连接(例如容灾演习的时候把机房网络切断),那么getRemoteSocketAddress这个方法就会返回null了,也就是日志中为什么出现null的原因了。 

 问题解决

    这个日志输出对于开发人员来说非常重要,在排查问题过程中可以清楚的定位当时是哪台服务器出现问题,但是这里一旦输出null,那么将无从下手。这里我做了一些改进,确保出现问题的时候,客户端能够输出当前出现问题的服务器IP。在这里下载补丁:https://github.com/downloads/nileader/taokeeper/getCurrentZooKeeperAddr_for_3.4.3.patch

    首先是给org.apache.zookeeper.client.HostProvider类添加两个接口,分别用于获取“当前地址列中正在使用的地址序号”和获取“所有地址列表”。关于ZooKeeper客户端地址列表获取和随机原理,具体可以查看这个文章《ZooKeeper客户端地址列表的随机原理》。

 
  1. public interface HostProvider { 
  2.     …… …… 
  3.     /**  
  4.      * Get current index that is connecting or connected.  
  5.      * @see ZOOKEEPER-1480:https://issues.apache.org/jira/browse/ZOOKEEPER-1480 
  6.      * */ 
  7.     public int getCurrentIndex(); 
  8.     /** 
  9.      * Get all server address that config when use zookeeper client. 
  10.      * @return List  
  11.      * @see ZOOKEEPER-1480:https://issues.apache.org/jira/browse/ZOOKEEPER-1480 
  12.      */ 
  13.     public List<InetSocketAddress> getAllServerAddress(); 
  14.      
  15. } 

 其次是修改org.apache.zookeeper.ClientCnxn类中日志输出逻辑:

 
  1. /** 
  2.          * Get current zookeeper addr that client is connected or connecting.<br> 
  3.          * Note:The method will return null if can't not get host ip. 
  4.          * */ 
  5.         private InetSocketAddress getCurrentZooKeeperAddr(){ 
  6.             try { 
  7.                 InetSocketAddress addr = null; 
  8.                 if( null == hostProvider || null == hostProvider.getAllServerAddress() ) 
  9.                     return addr; 
  10.                 int index = hostProvider.getCurrentIndex(); 
  11.                 if ( index >= 0  ) { 
  12.                     addr = hostProvider.getAllServerAddress().get( index ); 
  13.                 } 
  14.                 return addr; 
  15.             } catch ( Exception e ) { 
  16.                 return null; 
  17.             } 
  18.         } 
  19. …… …… 
  20.         //get current ZK host to log 
  21.         InetSocketAddress addr = getCurrentZooKeeperAddr(); 
  22.          
  23.         LOG.warn( 
  24.             "Session 0x" 
  25.                     + Long.toHexString(getSessionId()) 
  26.                     + " for server ip: " + addr + ", detail conn: " 
  27.                     + clientCnxnSocket.getRemoteSocketAddress() 
  28.                     + ", unexpected error" 
  29.                     + RETRY_CONN_MSG, e); 

 本文转自 nileader 51CTO博客,原文链接:http://blog.51cto.com/nileader/1049470,如需转载请自行联系原作者


相关文章
|
安全
基于Reactor模式的高性能服务器之Acceptor组件(处理连接)
本节介绍了对底层 Socket 进行封装的设计与实现,通过 `Socket` 类隐藏系统调用细节,提供简洁、安全、可读性强的接口。重点包括 `Socket` 类的核心作用(管理 `sockfd_`)、成员函数的功能(如绑定地址、监听、接受连接等),以及 `Acceptor` 组件的职责:监听连接、接收新客户端连接并分发给上层处理。同时说明了 `Acceptor` 与 `EventLoop` 和 `TcpServer` 的协作关系,并展示了其成员变量和关键函数的工作机制。
354 2
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle客户端与服务器端连接建立的过程
Oracle数据库采用客户端-服务器架构,客户端通过其网络环境与服务器通信,实现数据库访问。监听程序负责建立连接,通过命令lsnrctl可启动、停止及查看监听状态。本文介绍了监听器的作用及相关基础管理操作。
641 0
|
JSON 前端开发 Java
【Bug合集】——Java大小写引起传参失败,获取值为null的解决方案
类中成员变量命名问题引起传送json字符串,但是变量为null的情况做出解释,@Data注解(Spring自动生成的get和set方法)和@JsonProperty
|
IDE 网络安全 开发工具
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
本文介绍了如何在PyCharm专业版中连接远程服务器并配置远程Python环境解释器,以便在服务器上运行代码。
7640 0
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
|
存储 网络协议 Java
【网络】UDP回显服务器和客户端的构造,以及连接流程
【网络】UDP回显服务器和客户端的构造,以及连接流程
528 3
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
481 1
|
IDE 网络安全 开发工具
IDE之vscode:连接远程服务器代码(亲测OK),与pycharm链接服务器做对比(亲自使用过了),打开文件夹后切换文件夹。
本文介绍了如何使用VS Code通过Remote-SSH插件连接远程服务器进行代码开发,并与PyCharm进行了对比。作者认为VS Code在连接和配置多个服务器时更为简单,推荐使用VS Code。文章详细说明了VS Code的安装、远程插件安装、SSH配置文件编写、服务器连接以及如何在连接后切换文件夹。此外,还提供了使用密钥进行免密登录的方法和解决权限问题的步骤。
13590 0
IDE之vscode:连接远程服务器代码(亲测OK),与pycharm链接服务器做对比(亲自使用过了),打开文件夹后切换文件夹。
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
468 1
|
Apache 数据中心 Windows
将网站迁移到阿里云Windows系统云服务器,访问该站点提示连接被拒绝,如何处理?
将网站迁移到阿里云Windows系统云服务器,访问该站点提示连接被拒绝,如何处理?
|
弹性计算 安全 Windows
通过远程桌面连接Windows服务器提示“由于协议错误,会话将被中断,请重新连接到远程计算机”错误怎么办?
通过远程桌面连接Windows服务器提示“由于协议错误,会话将被中断,请重新连接到远程计算机”错误怎么办?

热门文章

最新文章