seastar的用户态协议栈

简介: seastar是一个高性能的IO框架,C++14炫技式实现。

前段时间测试了seastar的用户态协议栈,性能很强悍,做一次总结。

seastar

seastar是一个高性能的IO框架,C++14炫技式实现。

http://www.seastar-project.org/

单张万兆网卡的性能

1core ----> 53w
2core ---->  106w
3core ----> 159w
4core ----> 200w
5core ----> 262w
6core ----> 316w
7core ----> 365w
8core ----> 402w
9core ----> 410w
9core ----> 409w
16core ----> 889w

测试场景是echo1个字节,1000个连接,可以看到非常线性。

seastar环境搭建

  • 拷贝scylladb.tar到/opt
  • 修改动态库路径
vim /etc/ld.so.conf.d/scylla.x86_64.conf
 /opt/scylladb/lib64
ldconfig
ldconfig -p
  • 添加gcc-5.3路径
export PATH=/opt/scylladb/bin/:$PATH
  • 安装依赖
sudo yum install cryptopp.x86_64 cryptopp-devel.x86_64  -y -b test
sudo yum install -y libaio-devel hwloc-devel numactl-devel libpciaccess-devel cryptopp-devel libxml2-devel xfsprogs-devel gnutls-devel lksctp-tools-devel lz4-devel gcc make protobuf-devel protobuf-compiler libunwind-devel systemtap-sdt-devel
  • config.py配置dpdk
./configure.py --enable-dpdk --disable-xen --with apps/echo/tcp_echo
  • 编译seastar
ninjia-build -j90
  • 编译dpdk的内核模块并安装内核模块
cd seastar/dpdk
   ./tools/dpdk-setup.sh
   modprobe  uio
   insmod  igb_uio.ko

接管网卡

  • 选择要被dpdk接管的网卡,解除banding
echo -eth4 >  /sys/class/net/bond0/bonding/slaves
  • 使用seastar中的脚本查看被接管网卡(dpdk中也有一个脚本)
./scripts/dpdk_nic_bind.py  --status
Network devices using DPDK-compatible driver
    ============================================
    <none>
    Network devices using kernel driver
    ===================================
    0000:03:00.0 'I350 Gigabit Network Connection' if=eno1 drv=igb unused=igb_uio
    0000:03:00.1 'I350 Gigabit Network Connection' if=eno2 drv=igb unused=igb_uio
    0000:03:00.2 'I350 Gigabit Network Connection' if=eno3 drv=igb unused=igb_uio
    0000:03:00.3 'I350 Gigabit Network Connection' if=eno4 drv=igb unused=igb_uio
    0000:04:00.0 '82599EB 10-Gigabit SFI/SFP+ Network Connection' if=eth4 drv=ixgbe unused=igb_uio
    0000:04:00.1 '82599EB 10-Gigabit SFI/SFP+ Network Connection' if=eth5 drv=ixgbe unused=igb_uio
    可以看到eth4是Eth的82599万兆网卡,也是我即将接管的网卡。
  • 接管网卡
./scripts/dpdk_nic_bind.py  --bind=igb_uio eth4
  • 检查接管成功
./scripts/dpdk_nic_bind.py  --status
Network devices using DPDK-compatible driver
    ============================================
    0000:04:00.0 '82599EB 10-Gigabit SFI/SFP+ Network Connection' drv=igb_uio unused=
    Network devices using kernel driver
    ===================================
    0000:03:00.0 'I350 Gigabit Network Connection' if=eno1 drv=igb unused=igb_uio
    0000:03:00.1 'I350 Gigabit Network Connection' if=eno2 drv=igb unused=igb_uio
    0000:03:00.2 'I350 Gigabit Network Connection' if=eno3 drv=igb unused=igb_uio
    0000:03:00.3 'I350 Gigabit Network Connection' if=eno4 drv=igb unused=igb_uio
    0000:04:00.1 '82599EB 10-Gigabit SFI/SFP+ Network Connection' if=eth5 drv=ixgbe unused=igb_uio
    Other network devices
    =====================

运行seastar的用户态协议栈

  • 配置巨页
echo 1024  > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
   mount -t hugetlbfs /dev/hugepages/
  • 运行测试程序server
./build/release/apps/echo/tcp_echo_server  --network-stack native --dpdk-pmd   --collectd 0 --port 10000 --dhcp 0 --host-ipv4-addr 10.107.139.20   --netmask-ipv4-addr 255.255.252.0 --gw-ipv4-addr 100.81.243.247   --no-handle-interrupt  --poll-mode --poll-aio 0 --hugepages /dev/hugepages   --memory 30G

--hugepages /dev/hugepages 指定了数据包内存分配方式,可以减少一次内存拷贝

  • 运行测试程序client
./build/release/apps/echo/tcp_echo_client --network-stack native --dpdk-pmd  --dhcp 1  --poll-mode --poll-aio 0 --hugepages /dev/hugepages   --memory 30G  --smp 16  -s  "10.107.139.20:10000" --conn 10

劫持网卡的数据包

  • seastar在每个core上跑一个用户态的协议栈,这个协议栈的输入是2层包,如何在用户态获取网卡上到来的2层数据包呢?
seastar支持两种模式的数据包获取方式:
1)通过tap,vhost-net,,vring获取,这个是开发模式,不需要接管网卡,方便部署;
2)dpdk接管网卡,polling数据包

seastar协议栈初始化

native-stack.cc中设置协议栈工厂函数

network_stack_registrator nns_registrator{
       "native", nns_options(), native_network_stack::create
   };

根据命令行参数netowrk-stack调用 native_network_stack::create

生成dpdk_net_device

(dpdk_device*) dev = create_dpdk_net_devic()

初始化dpdk_device

dpdk dev的初始化
   rte_eth_dev_configure

每个cpu上init_local_queue

auto qp = sdev->init_local_queue(opts, qid);
   创建一个dpdk::dpdk_qp<false>,在dpdk_qp的构造函数中会:
   0) 构造父类qp,会注册poll_tx
   1) 注册rx_gc
   2) 注册_tx_buf_factory.gc()
   3) init_rx_mbuf_pool
   4) rte_eth_rx_queue_setup
   5) rte_eth_tx_queue_setup

每个cpu上dpdk_device::init_port_fini

rte_eth_dev_start
   rte_eth_dev_rss_reta_update
   注册定时器rte_eth_link_get_nowait

每个cpu上set_local_queue, 设置qp指针

_queues[engine().cpu_id()] = qp.get();

每个cpu上create_native_stack

interface::_rx = device::receive() {
                          auto sub = _queues[engine().cpu_id()]->_rx_stream.listen(std::move(next_packet)); //注册2层协议处理函数!!!
                          _queues[engine().cpu_id()]->rx_start(); //rx_start会注册dpdk_qp::poll_rx_once()到poll_once中
                          return std::move(sub);
                      }

收包过程reactor::run() ----> poll_once()

在初始化interface的时候会把对应的qp的poll_rx_once注册到当前engine的poll_once中

dpdk_qp::poll_rx_once() {
       uint16_t rx_count = rte_eth_rx_burst(_dev->port_idx(), _qid, buf, packet_read_size);
       process_packets(buf, rx_count);
   }
void process_packets(struct rte_mbuf **bufs, uint16_t count) {
       for (uint16_t i = 0; i < count; i++) {
           struct rte_mbuf *m = bufs[i];
           // 处理VLAN
           // 处理rx_csum_offload
           _dev->l2receive(std::move(*p));
       }
   }
   void l2receive(packet p) { _queues[engine().cpu_id()]->_rx_stream.produce(std::move(p)); } ---->
   _rx_stream的回调是在interface构造的时候赋值的:
   interface::dispatch_packet() {
   }
相关文章
|
15天前
|
C语言
【数据结构】栈和队列(c语言实现)(附源码)
本文介绍了栈和队列两种数据结构。栈是一种只能在一端进行插入和删除操作的线性表,遵循“先进后出”原则;队列则在一端插入、另一端删除,遵循“先进先出”原则。文章详细讲解了栈和队列的结构定义、方法声明及实现,并提供了完整的代码示例。栈和队列在实际应用中非常广泛,如二叉树的层序遍历和快速排序的非递归实现等。
90 9
|
6天前
|
存储 算法
非递归实现后序遍历时,如何避免栈溢出?
后序遍历的递归实现和非递归实现各有优缺点,在实际应用中需要根据具体的问题需求、二叉树的特点以及性能和空间的限制等因素来选择合适的实现方式。
15 1
|
8天前
|
存储 算法 Java
数据结构的栈
栈作为一种简单而高效的数据结构,在计算机科学和软件开发中有着广泛的应用。通过合理地使用栈,可以有效地解决许多与数据存储和操作相关的问题。
|
11天前
|
存储 JavaScript 前端开发
执行上下文和执行栈
执行上下文是JavaScript运行代码时的环境,每个执行上下文都有自己的变量对象、作用域链和this值。执行栈用于管理函数调用,每当调用一个函数,就会在栈中添加一个新的执行上下文。
|
13天前
|
存储
系统调用处理程序在内核栈中保存了哪些上下文信息?
【10月更文挑战第29天】系统调用处理程序在内核栈中保存的这些上下文信息对于保证系统调用的正确执行和用户程序的正常恢复至关重要。通过准确地保存和恢复这些信息,操作系统能够实现用户模式和内核模式之间的无缝切换,为用户程序提供稳定、可靠的系统服务。
41 4
|
18天前
|
算法 安全 NoSQL
2024重生之回溯数据结构与算法系列学习之栈和队列精题汇总(10)【无论是王道考研人还是IKUN都能包会的;不然别给我家鸽鸽丢脸好嘛?】
数据结构王道第3章之IKUN和I原达人之数据结构与算法系列学习栈与队列精题详解、数据结构、C++、排序算法、java、动态规划你个小黑子;这都学不会;能不能不要给我家鸽鸽丢脸啊~除了会黑我家鸽鸽还会干嘛?!!!
|
1月前
数据结构(栈与列队)
数据结构(栈与列队)
17 1
|
1月前
|
存储 JavaScript 前端开发
为什么基础数据类型存放在栈中,而引用数据类型存放在堆中?
为什么基础数据类型存放在栈中,而引用数据类型存放在堆中?
68 1
|
1月前
【数据结构】-- 栈和队列
【数据结构】-- 栈和队列
16 0
|
1月前
探索顺序结构:栈的实现方式
探索顺序结构:栈的实现方式

热门文章

最新文章