dpdk学习预备之多队列网卡环境搭建
dpdk学习预备之环境搭建: 这里使用VMware+ubuntu虚拟机环境
这里涉及到的小知识点:
1:配置多个网卡,并使环境上多个网卡都能生效。
2:修改虚拟机网卡名称为传统的eth0
3:多队列网卡的测试
dpdk测试环境是怎样的?
个人理解:网卡一般接收到数据后会给内核相关内核协议栈,这里dpdk会代替这里的协议栈,接管网卡上的数据,实现定制性开发,对网络性能进行优化与提升。
所以:
1:dpdk要接管一个网卡上的数据,所以我们测试的时候需要专门提供一个网卡(可以是虚拟的)进行dpdk的测试。
2:dpdk环境要支持多队列网卡,如何配置环境多队列网卡?
3:dpdk源码编译,配置,测试等(这个后期实现)
配置环境支持多个网卡
1:在vmware环境中对应虚拟机的虚拟机设置中,增加网络适配器(一个或者多个),对应网卡的个数。
2:启动虚拟机,查看网卡信息:
当前生效的只有一个网卡,是桥接模式的第一个网卡:
ubuntu@ubuntu:~$ ifconfig ens33 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:c4 inet addr:192.168.50.56 Bcast:192.168.50.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feb2:2fc4/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:1636 errors:0 dropped:0 overruns:0 frame:0 TX packets:122 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:120640 (120.6 KB) TX bytes:15158 (15.1 KB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:160 errors:0 dropped:0 overruns:0 frame:0 TX packets:160 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:11840 (11.8 KB) TX bytes:11840 (11.8 KB)
但是实际上我们已经配置了三个网卡,并且都在环境中:
ubuntu@ubuntu:~$ ifconfig -a ens33 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:c4 inet addr:192.168.50.56 Bcast:192.168.50.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feb2:2fc4/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:2240 errors:0 dropped:0 overruns:0 frame:0 TX packets:167 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:164047 (164.0 KB) TX bytes:20750 (20.7 KB) ens38 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:ce BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) ens39 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:d8 BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:160 errors:0 dropped:0 overruns:0 frame:0 TX packets:160 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:11840 (11.8 KB) TX bytes:11840 (11.8 KB)
3:配置使多个网卡都能生效。
修改 /etc/network/interfaces,参考默认的一个网卡,增加其他没有增加的网卡
ubuntu@ubuntu:~$ sudo vim /etc/network/interfaces ubuntu@ubuntu:~$ cat /etc/network/interfaces # This file describes the network interfaces available on your system # and how to activate them. For more information, see interfaces(5). source /etc/network/interfaces.d/* # The loopback network interface auto lo iface lo inet loopback # The primary network interface auto ens33 iface ens33 inet dhcp #这里以下:是我对应环境新增的 auto ens38 iface ens38 inet dhcp auto ens39 iface ens39 inet dhcp ubuntu@ubuntu:~$ service networking restart #重启了网络服务
4:查看网卡信息并进行测试。
重启网络服务,并查看当前生效网卡的情况: 发现多个网卡,都已经生效了。
ubuntu@ubuntu:~$ service networking restart #不同的linux环境重启网络命令是不同的 ==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units === Authentication is required to restart 'networking.service'. Authenticating as: ubuntu,,, (ubuntu) Password: ==== AUTHENTICATION COMPLETE === ubuntu@ubuntu:~$ ifconfig ens33 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:c4 inet addr:192.168.50.56 Bcast:192.168.50.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feb2:2fc4/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:7546 errors:0 dropped:0 overruns:0 frame:0 TX packets:524 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:563423 (563.4 KB) TX bytes:86418 (86.4 KB) ens38 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:ce inet addr:192.168.11.155 Bcast:192.168.11.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feb2:2fce/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:14 errors:0 dropped:0 overruns:0 frame:0 TX packets:14 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:1976 (1.9 KB) TX bytes:1566 (1.5 KB) ens39 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:d8 inet addr:192.168.11.156 Bcast:192.168.11.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feb2:2fd8/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:7 errors:0 dropped:0 overruns:0 frame:0 TX packets:9 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:986 (986.0 B) TX bytes:1262 (1.2 KB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:160 errors:0 dropped:0 overruns:0 frame:0 TX packets:160 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:11840 (11.8 KB) TX bytes:11840 (11.8 KB)
网卡名称修改为eth0 …,可参考上一步改为多网卡
描述:发现网卡的命名是ens33, 不是eth0
(网络上有说eth0是物理网卡命名,ens33是虚拟网卡命名,代表不同的网卡特性,这个是可以配置修改的)
1:修改命名规则,改为eth0 …
修改配置文件/etc/default/grub,在配置文件中”GRUB_CMDLINE_LINUX“字段对应值新增:net.ifnames=0 biosdevname=0
GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0" #这里只新增net.ifnames=0 biosdevname=0 字段,如果有其他,保留就好
2:执行命令:update-grub
ubuntu@ubuntu:~$ sudo update-grub [sudo] password for ubuntu: Generating grub configuration file ... Found linux image: /boot/vmlinuz-4.4.0-206-generic Found initrd image: /boot/initrd.img-4.4.0-206-generic Found linux image: /boot/vmlinuz-4.4.0-186-generic Found initrd image: /boot/initrd.img-4.4.0-186-generic done
3:查看是否生效,用ifconfig /ifconfig -a
注:如果没有生效,观察配置文件**/etc/network/interfaces**中相关配置,修改完对应的网卡后,重启网络服务,并查看
ubuntu@ubuntu:~$ ifconfig eth0 Link encap:Ethernet HWaddr 00:0c:29:5c:4d:0c inet addr:192.168.11.138 Bcast:192.168.11.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:fe5c:4d0c/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:176 errors:0 dropped:0 overruns:0 frame:0 TX packets:180 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:16619 (16.6 KB) TX bytes:26760 (26.7 KB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:576 errors:0 dropped:0 overruns:0 frame:0 TX packets:576 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:44256 (44.2 KB) TX bytes:44256 (44.2 KB)
4:eth配置多网卡,可以参考上文
5:不同的ubuntu环境可能有差异。(ubuntu20 修改网卡配置文件为/etc/netplan/00-installer-config.yaml)
1: 修改grub配置文件/etc/default/grub,在GRUB_CMDLINE_LINUX对应字段中增加: net.ifnames=0 biosdevname=0 2: 修改使环境识别eth,一般修改的是文件/etc/network/interfaces,参考其中默认的,在对应的网卡中,修改或者增加其他网卡配置。 ubuntu20环境中修改/etc/netplan/00-installer-config.yaml,用命令 sed -i "s/ens32/eth0/" /etc/netplan/00-installer-config.yaml 注意,其中的ens32为00-installer-config.yaml文件中对应的网卡字符,可能是其他。 3: 执行sudo update-grub 4: 重启环境进行查看
配置网卡支持多队列
简单理解:就是网卡的DMA队列有多个,有自己对队列的分配机制。
1:修改虚拟机配置,使支持多队列
主要修改的是vmware工具上我们安装的虚拟机的配置文件:
1:修改虚拟机配置,处理器个数增加一点(方便观察),这里我设为4
2:再对应虚拟机目录中的“Ubuntu 64 位.vmx”(这是我的配置文件),用编辑器打开,修改要配置多队列网卡的网卡配置,这里修改的是
注意:最好在关闭虚拟机的状态下修改
#在Ubuntu 64 位.vmx 中打开,修改ethernet1配置,把e1000 改为 vmxnet3 #如果没有wakeOnPcktRcv 增加就好 #这里我的ethernet1 对应的是环境上的eth0 ethernet1.virtualDev = "vmxnet3" ethernet1.wakeOnPcktRcv = "TRUE"
2:查看是否支持多队列网卡
1:使用cat /proc/interrupts 命令可以查看多队列网卡的效果。
ubuntu@ubuntu:~$ cat /proc/interrupts |grep eth0 57: 13 0 4 0 PCI-MSI 1572864-edge eth0-rxtx-0 58: 2 0 0 0 PCI-MSI 1572865-edge eth0-rxtx-1 59: 6 0 0 0 PCI-MSI 1572866-edge eth0-rxtx-2 60: 0 0 0 0 PCI-MSI 1572867-edge eth0-rxtx-3 61: 0 0 0 0 PCI-MSI 1572868-edge eth0-event-4
可以看到,配置了4个处理器,这里的队列个数为4个。
2:使用cat /proc/cpuinfo,可以查看支持的cpu个数(processor+1)
#可以自己查看细节 ubuntu@ubuntu:~$ cat /proc/cpuinfo |grep processor processor : 0 processor : 1 processor : 2 processor : 3
3:修改ubuntu启动参数,支持大内存页,隔离cpu
isolcpus 配置的是隔离cpu,指定使用的cpu ==》可能有误,待理解,可以测试一下
在/etc/default/grub文件中修改GRUB_CMDLINE_LINUX对应值,
修改后执行 sudo update-grub
重启环境进行测试,如果启动不成功,可能是内存不够,内存设大一点。
#物理机: default_hugepages=1G hugepagesz=1G hugepages=20 isolcpus=0-7 #虚拟机: default_hugepages=1G hugepagesz=2M hugepages=1024 isolcpus=0-2 #具体大小视情况而定。重启虚拟机,使得hugepage和isocpus配置生效。
测试多队列网卡(虚拟机上的一个网卡)
1:概述
这里的测试:用wrk和nginx配合进行测试。
0:在多队列网卡的基础上,设置大内存页以及隔离cpu
1:配置nginx中进程数,以及配置cpu亲和性
2:查看多队列网卡,获取不同队列对应的中断号。
3:配置不同的中断号,与cpu核的绑定,特定的中断对应特定的核,方便测试。
2:安装nginx环境
在前面测试的基础上,有多队列网卡,设置了大内存页和隔离cpu的基础上,
进行nginx的安装以及测试:
tar -zxvf nginx-1.13.7.tar.gz tar -zxvf openssl-1.1.0g.tar.gz tar -zxvf pcre-8.41.tar.gz tar -zxvf zlib-1.2.11.tar.gz ./configure --prefix=/usr/local/nginx --with-http_realip_module --with-http_addition_module --with-http_gzip_static_module --with-http_secure_link_module --with-http_stub_status_module --with-stream --with-pcre=/home/ubuntu/install_code/nginx/pcre-8.41 --with-zlib=/home/ubuntu/install_code/nginx/zlib-1.2.11 --with-openssl=/home/ubuntu/install_code/nginx/openssl-1.1.0g make sudo make install ==》查看在/usr/local目录下产生nginx目录: cd /usr/local/nginx sudo ./sbin/nginx -c ./conf/nginx.conf #然后在网页上输入本机ip查看效果。 #用ps afx|grep nginx查看效果 #pcre ==>做正则表达式的 #zlib ==》做编码的
3:修改nginx配置环境,设置cpu亲和性
参考:https://www.cnblogs.com/pangbing/p/6537188.html
#在nginx配置文件中修改/增加如下 支持4个进程对应4个cpu,其他的8个cpu,2个cpu,绑定多个cpu可以自己研究 worker_processes 4; worker_cpu_affinity 0001 0010 0100 1000;
4:绑定中断和cpu
1:在/proc/interrupts 文件中查看对应的多队列网卡的中断号,可以看到这里是56-59
ubuntu@ubuntu:/usr/local/nginx$ cat /proc/interrupts |grep eth0 56: 14 0 0 14 PCI-MSI 1572864-edge eth0-rxtx-0 57: 3 0 0 0 PCI-MSI 1572865-edge eth0-rxtx-1 58: 4 0 0 0 PCI-MSI 1572866-edge eth0-rxtx-2 59: 2 0 0 0 PCI-MSI 1572867-edge eth0-rxtx-3 60: 0 0 0 0 PCI-MSI 1572868-edge eth0-event-4
2:手动对中断号进行cpu的绑定,
注意:需要su权限,
用xshell连接执行修改命令时会报错(bash: echo: write error: Invalid argument),试试直接在虚拟机环境上执行成功。
root@ubuntu:/proc/irq# cat /proc/irq/56/smp_affinity 00000000,00000000,00000000,00000008 root@ubuntu:/proc/irq# cat /proc/irq/57/smp_affinity 00000000,00000000,00000000,00000008 root@ubuntu:/proc/irq# cat /proc/irq/58/smp_affinity 00000000,00000000,00000000,00000008 root@ubuntu:/proc/irq# cat /proc/irq/59/smp_affinity 00000000,00000000,00000000,00000008 #如果xshell连接执行不成功,用vmware试试是成功的 root@ubuntu:/home# echo 00000001> /proc/irq/56/smp_affinity root@ubuntu:/home# echo 00000002> /proc/irq/57/smp_affinity root@ubuntu:/home# echo 00000004> /proc/irq/58/smp_affinity root@ubuntu:/home# echo 00000008> /proc/irq/59/smp_affinity #查看修改后的 root@ubuntu:/home# cat /proc/irq/56/smp_affinity 00000000,00000000,00000000,00000001 root@ubuntu:/home# cat /proc/irq/57/smp_affinity 00000000,00000000,00000000,00000002 root@ubuntu:/home# cat /proc/irq/58/smp_affinity 00000000,00000000,00000000,00000004 root@ubuntu:/home# cat /proc/irq/59/smp_affinity 00000000,00000000,00000000,00000008 #可以通过查看/proc/irq/56/smp_affinity_list 最后生效的,其实是对应的smp_affinity_list 其实是绑定的cpu号,可以多个 ubuntu@ubuntu:~$ cat /proc/irq/56/smp_affinity_list 0 ubuntu@ubuntu:~$ cat /proc/irq/57/smp_affinity_list 1 ubuntu@ubuntu:~$ cat /proc/irq/58/smp_affinity_list 2 ubuntu@ubuntu:~$ cat /proc/irq/59/smp_affinity_list 3 #如果有多于4个的,是继续如下配置的 root@ubuntu:/home# echo 00000010> /proc/irq/60/smp_affinity root@ubuntu:/home# echo 00000020> /proc/irq/61/smp_affinity root@ubuntu:/home# echo 00000040> /proc/irq/62/smp_affinity root@ubuntu:/home# echo 00000080> /proc/irq/63/smp_affinity
5:使用wrk性能测试工具对多队列网卡进行测试
注意,这里测试的是多队列网卡,要注意网卡的ip。
安装wrk( http 性能测试工具):
git clone https://gitee.com/mirrors/wrk.git make #这里可以直接在库下用生成的可执行文件wrk直接测试 #测试命令: ./wrk -c400 -d60s -t100 http://192.168.50.58/
测试环境的信息,建立在上文基础上,其实可以一个网卡进行测试的:
root@ubuntu:/usr/local/nginx# ifconfig eth0 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:ce inet addr:192.168.50.58 Bcast:192.168.50.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feb2:2fce/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:1096442 errors:0 dropped:0 overruns:0 frame:0 TX packets:1123779 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:87994929 (87.9 MB) TX bytes:505500636 (505.5 MB) eth1 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:c4 inet addr:192.168.50.56 Bcast:192.168.50.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feb2:2fc4/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:19445 errors:0 dropped:0 overruns:0 frame:0 TX packets:52 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:1522713 (1.5 MB) TX bytes:5112 (5.1 KB) eth2 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:d8 inet addr:192.168.50.60 Bcast:192.168.50.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feb2:2fd8/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:19441 errors:0 dropped:0 overruns:0 frame:0 TX packets:52 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:1522455 (1.5 MB) TX bytes:5112 (5.1 KB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:160 errors:0 dropped:0 overruns:0 frame:0 TX packets:160 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:11840 (11.8 KB) TX bytes:11840 (11.8 KB)
6:查看测试结果:
查看多队列网卡中中断产生所在cpu上的情况:主要看eth0,(中断号56,57,58,59) ===》这里数据以及隔离cpu的那个数字细节没有分析
可以从现象看出,56号中断数据在最后测试时,数据在cpu0, 57在cpu1, 58在cpu2, 59在cpu3 (cpu3上中断次数过多,是因为测试前的数据)
root@ubuntu:/usr/local/nginx# cat /proc/interrupts |grep eth 17: 5726 0 0 4420 IO-APIC 17-fasteoi ehci_hcd:usb1, ioc0, eth2 19: 405 0 0 3824 IO-APIC 19-fasteoi eth1 56: 79311 0 0 223321 PCI-MSI 1572864-edge eth0-rxtx-0 57: 3 38030 0 81500 PCI-MSI 1572865-edge eth0-rxtx-1 58: 7 0 38853 81592 PCI-MSI 1572866-edge eth0-rxtx-2 59: 7 0 0 116604 PCI-MSI 1572867-edge eth0-rxtx-3 60: 0 0 0 0 PCI-MSI 1572868-edge eth0-event-4
注意:一次中断,保证一个包的完整接收,但是并不是限定了连接就一致在这个cpu上。
这里的测试成功,我是建立在网络适配器修改为桥接模式,第一次net模式,没观察到数据变化(暂时没做测试和分析原因)。
总结:
1:概述实现
1:vmware环境通过增加网络适配器,增加多个网卡,并配置使网卡生效。
2:修改网卡名称为传统上的eth格式
3:多队列网卡的认识及测试(配置支持多队列网卡,绑定cpu进行)
4:认识wrk 性能测试工具
2:阻塞问题
1:增加适配器后,ifconfig查看依然没有增加的网卡对应信息,
===》需要在对应的配置文件中进行设置(ubuntu20和低版本有差异)
2:虚拟机环境上的网卡名并不是eth,
===》其实这个应该使没影响的,但是也是可以修改配置的,在/etc/default/grub做配置,增加的两个字段影响网络命名,可以查阅
3:明明在/etc/default/grub配置文件中已经增加字段,但是重启等各种手段都没有生效。
===》一定要执行sudo update-grub命令后,重启环境才会生效
4:如果ifconfig中还是没有相关多个网卡的信息。
===》注意/etc/network/interfaces中配置是否正确。
5:xshell连接测试虚拟机,执行echo 00000001> /proc/irq/56/smp_affinity命令时总报错。
===》直接在测试虚拟机上执行没有问题。
6:第一次测试的时候,多队列网卡虚拟机的网络适配器用的net模式,没观察到具体数据(待测试)
7:隔离cpu对cpu使用的影响(待测试)
参考:修改网卡eth:https://www.cnblogs.com/itwangqiang/p/14302252.html
dpdk环境搭建:https://zhuanlan.zhihu.com/p/336938230
nginx配置worker_cpu_affinity:https://blog.csdn.net/u011957758/article/details/50959823
Biosdevname & net.ifnames 命名规则: http://benjr.tw/93340