作者:林昊
对于编写分布式Java应用的同学而言,网卡的一些知识也是必须掌握的,例如什么是网卡的bonding模式,网卡的中断处理,os相关的参数等。
机器上网卡的型号可通过lspci | grep -i ether来查看,同样在看到网卡的型号后可通过google了解下网卡的状况,对于Java应用而言,主要需要关注的是网卡是否支持多队列,这个可以通过lspci -vvv | grep -i msi-x来查看网卡是否支持多队列,以及支持多少个队列,具体多队列的作用后面讲。
机器上网卡的bonding模式是需要了解的,原因是bonding模式对应用可用的网络带宽会有直接影响,网卡的bonding模式可通过cat /proc/net/bonding/*bond*来查看,看到的信息会类似如下:
Bonding Mode: fault-tolerance (active-backup)
上面这种模式代表一块网卡是激活的,另一块是备份状态,也就是应用能用的网络带宽是一块网卡,例如网卡是千兆的,那意味着应用最多能用的网络带宽是1000m bits(这个还取决于机器所在的网络环境的收敛比),linux支持7种网卡的bonding模式,感兴趣的话可以google看下。
除了bonding模式外,和应用比较相关的另外一点就是网卡的中断处理,这个在之前有专门写过一篇文章,具体请见前面的文章。
除了硬件层面外,os层面有几个和网络相关的重要参数:
net.core.somaxconn
net.ipv4.tcp_max_syn_backlog
这两个参数是用来控制并发建连接时等待的队列长度,当队列满了后,后续连接会直接失败,对于需要支撑较大量的并发连接的server端而言就很重要了,但对于java程序而言,如果是直接new ServerSocket这种的,会把backlog这个值设置为50,因此最好是在写程序的时候能设置下这个值,无论是直接基于java写,还是基于一些通讯框架写,backlog这个都是支持设置的,具体也可以看看这个关于backlog的case。
由于每建一个连接其实都是打开一个文件,因此需要关注下进程的open files的限制,可通过cat /proc/[pid]/limits来查看其中的Max open files,这个值建议稍微配大一些(否则很容易出现too many open files的错误),可通过修改/etc/security/limits.conf或直接ulimit -n来设置。
net.ipv4.tcp_tw_reuse
net.ipv4.tcp_tw_recycle
net.ipv4.tcp_tw_timeout
这三个参数主要是用来控制time_out连接的回收的,如果不配置好可能会出现time_wait太多导致连接建不了的现象,其中tcp_tw_recycle最好关闭,在通过lb设备连接的情况下,如果打开这个参数,有些时候会出问题。
net.ipv4.tcp_wmem
net.ipv4.tcp_rmem
读写缓冲区,这个值如果太小,会导致在读写的时候出现网卡阻塞的现象,例如写就会出现写不进网卡的现象,而由于linux默认的值通常太小,尤其是在局域网环境下,由于网络的不可确定性,Java通信程序在编写的时候一定要注意限流,避免由于send buffer满的情况下java heap也被耗光的现象(由于sendbuffer被写满,通常发不出去的数据就会缓存在java heap里)。
网卡的资源使用率状况可以通过sar -n DEV来查看,需要关注的重点还是网络带宽,另外要关注的一点是cpu上处理网卡中断的均衡性状况,这个通过观看cpu的hi/si指标可以看出。
对于编写通信框架或RPC框架的同学而言,小包跑满网卡带宽通
常是目标(因为大包的话很容易就跑满了),但要做到难度还是不小的,具体可见我做的一个开源rpc框架nfs-rpc的优化记录(ps: 欢迎大家来一起做优化)。
在网卡带宽跑满的情况下,通常可选择优化方法是压缩,压缩通常可选择的是java自带的zip、lzo以及google的snappy,相比而言其实基本就是在lzo和snappy中做选择就可,在优化了的情况下网络带宽仍跑满而其他资源比较富余的话,可以考虑网卡多块激活,或升级到更高带宽的网卡,例如千兆到万兆等,但这些优化就不仅仅是单机了,而是要整个结构配合。