环境准备
5台centos7.2机器(IP就不写了)
问题描述
同一网段下的机器不能通讯,报错如下
排查方法
先看端口是否存在
netstat -anlp|grep 3888
发现没有监听,查看zookeeper进程端口除了默认的2181,还有一个没见过的端口,但是zookeeper没有配置这个端口,而是配置2888,3888端口,正常情况下作为follower的时候是3888端口监听中,用于选举leader通讯。出现这个情况不得而知。重新启动该进程,上面一个端口号在不断的变化。至此问题是找到了,就是服务端进程没有监听配置的3888端口,而是监听了随机端口导致其它服务器进程无法与之通讯,所以看到了这个异常。
观察zookeeper.out发现如下异常
2020-05-14 18:22:56,198 [myid:4] - INFO [ListenerThread:QuorumCnxManager$Listener@736] - My election bind port: /172.2.2.21:3888 2020-05-14 18:22:56,200 [myid:4] - ERROR [/172.2.2.21:3888:QuorumCnxManager$Listener@760] - Exception while listening java.net.BindException: 无法指定被请求的地址 at java.net.PlainSocketImpl.socketBind(Native Method) at java.net.AbstractPlainSocketImpl.bind(AbstractPlainSocketImpl.java:376) at java.net.ServerSocket.bind(ServerSocket.java:376) at java.net.ServerSocket.bind(ServerSocket.java:330) at org.apache.zookeeper.server.quorum.QuorumCnxManager$Listener.run(QuorumCnxManager.java:739)
绑定异常一般有以下两种原因
1.端口被占用
2.ip地址不是本机网卡。
刚才看了3888端口没有占用,那肯定是第二个原因
执行ip a
看到本地网卡与ssh的地址不是同一个
果然是第一个原因,不存在这个网卡。
疑问:那为什么可以通过ssh这个ip地址能登录上来呢?
云服务器,云服务器采用虚拟化的技术,监听的网卡是属于物理网关的网卡,而虚拟化机内部自然没有这个网卡。
解决办法
配置文件修改:在server端上添加quorumListenOnAllIPs=true
,如下
quorumListenOnAllIPs=true server.1= XXX:2888:3888 server.2= XXX:2888:3888 server.3= XXX:2888:3888 server.4= XXX:2888:3888 server.5= XXX:2888:3888
重启解决