智能网卡在分布式 SDN 网络的应用与实践 | 龙蜥技术

简介: 智能网卡加速原理和以及在浪潮分布式 SDN 网络加速的应用。

编者按:当前智能网卡能够加速数据处理和传输,并能实现网络、存储和安全等功能卸载,在云计算领域得到广泛的应用。今天,浪潮数据云计算网络架构师王培辉带大家了解智能网卡加速原理和以及在浪潮分布式 SDN 网络加速的应用,深入理解智能网卡加速虚拟化网络的基本原理。本文整理自龙蜥大讲堂第 79 期,以下为本次分享内容:

01 SDN 技术回顾

SDN 技术从提出到发展至今将近 20 年的时间,目前 SDN 相关解决方案和产品已经大规模落地和应用,虽然不同厂商在各自的 SDN 解决方案实现上有一定差异,但是在业界关于 SDN 相关技术特点或者理念上基本一致的:

  • 控制业务逻辑与转发逻辑分离。
  • 集中控制。
  • 支持 API 的可编程。

当前主要的 SDN 网络方案

网络 Overlay:网络 Overlay 一般是硬件解决方案,是指 Overlay 隧道封装在物理交换机上完成,通过控制边缘设备交换机完成网络的构建与扩展。这种方案一般性能和可靠性较高,但是因为需要采用 SDN 专用设备,成本上一般相对较高;再一个是因为网络 Overlay 的方案不够贴近云端,也即虚拟机、容器等云资源产生的网络 I/O,外部物理交换机是看不到的,所以容易产生发卡流量,也没有办法直接卸载网络 I/O 进行加速。

主机 Overlay:主机 Overlay 一般是软件解决方案,是指 Overlay 隧道封装的处理在主机内部的 vSwitch 完成,通过 vSwitch 完成 Overlay 网络的构建。这种方案一般灵活性比较高并且 vSwith 贴近云资源,能够比较容易做一些针对性的优化和卸载工作,但是因为流量转发是依靠软件处理,所以性能相对会比较差一些。

02 智能网卡发展概述

随着云计算和数据中心的不断发展,智能网卡的发展基本可以分为三个阶段:

  • 基础网卡:网络功能相对简单,支持一些 TSO、LRO、网卡多队列等特性,协助加速报文处理,这类网卡目前在数据中心仍然有比较广泛的采用。
  • 第一代智能网卡:除了基础网卡的功能外,具备了一些硬件卸载的特性,比如 OVS 流表的卸载以及 RDMA 加速的功能,能够基于网卡硬件的特性加速报文和数据处理,卸载数据面的业务,对业务进行加速。
  • 第二代智能网卡:一般是具有 SOC 系统,通用处理器对控制面处理,具备更高的灵活性,数据面可以由其他专用芯片来处理。可以将控制面和数据面全部卸载到智能网卡中,并且具有更多的硬件加速功能,比如加解密、解压缩等。

智能网卡的发展为云计算网络来的变革:

  • 可以将原本由专用硬件设备处理的功能,放在智能网卡上进行处理,达到与硬件设备处理相媲美的性能。
  • 可以针对虚拟机、容器的网络 I/O 进行卸载加速,降低 CPU 在系统任务上的消耗。
  • 增加云资源的灵活性和弹性,满足业务快速上线的需求。

03 智能加速原理

当前智能网卡卸载网络的主要方式通过卸载 OVS 流表,目前卸载 OVS 流表有两种接口方式:

1. 基于 TC Flower 接口的方式,ovs-vswitchd 通过将 openflow 转换为 TC flower,网卡驱动程序将 tc flower 规则转换为对应硬件转发表项,涉及内核模块和驱动开发,upstream 更新较慢。不过,目前内核对这一块支持已经比较完善。

2. 基于 Rte-Flow 接口的方式,ovs-vswitchd 通过将 openflow 转换为 rte flow,网卡 PMD 驱动程序将 rte flow 规则转换为对应硬件转发表项,用户态开发,upstream 更新较快。但这种方式需要开启大页、CPU 绑定等,有一定使用成本。

Datapath 转发原理

相对于普通 OVS 内核转发模式,基于 TC Flower 接口卸载的方式相当于增加了一层硬件数据转发面。原理如下图所示,当收到一条流的首包时,由于智能网卡硬件没有对应的转发表,会上送给内核 ovs datapath 模块查找转发表,对于首包 ovs datapath 也没有对应的转发表, OVS 内核会执行 upcall 将报文上送到用户态去查找流表,ovs-vswitchd 根据上送的报文查找对应的流表,生成相应的转发表项,下发给硬件 OVS,后续的报文转发就直接在硬件 OVS 转发完成处理。

Offload 规则下发流程

Offload 规则下发的流程与上节所述类似,卸载规则的下发依赖业务流的首包触发,当首包到达智能网卡硬件时,由于没有转发规则,上送内核 OVS,内核 OVS 依然查不到转发规则,则报文上送 OVS 用户态,ovs-vswitchd 通过查找用户态 OpenFlow 流表,同时 OVS 会判断是否开启了 Hardware Offload 配置选项,如果开启则需要将 OpenFlow 转发规则转换为 TC Flower 规则走 netlink 通道下发到内核模块,内核 TC 模块会通过驱动注册的对应钩子函数将转发规则通过驱动程序下发到底层智能网卡中,后续报文转发则直接在智能网卡硬件匹配转发进行流量转发,这样就完成了 OVS 流表卸载规则的下发。

TC 规则的下发注意事项

TC 规则下发到硬件设备的条件:

  • 卸载硬件是否 enable NETIF_F_HW_TC 标记,可以通过如下命令打开。
# ethtool -K eth0 hw-tc-offload on
# ethtool -K eth0 hw-tc-offload off
  • 设备驱动是否注册实现了 ndo_setup_tc 函数。
  • Ovs 是开启了 hw-offload,以及 tc-policy 策略。
ovs-vsctl set Open_vSwitch . other_config:hw-offload=true
tc-policy策略
none: add software rule and offload rule to HW.
skip_sw: offload rule to HW only.
skip_hw: add software rule without offloading rule to HW

满足以上配置的网卡,并不一定就能支持 OVS 卸载,只是能够下发 TC 规则,支持 OVS 卸载主要看是否支持 Tunnel 加解封装和报文在硬件查表转发。

在实际使用中,因为 OVS TC 规则控制粒度比较粗,对不支持卸载规则的网卡最好关闭相应的 NETIF_F_HW_TC 特性。

04 浪潮数据在智能网卡应用与实践

浪潮数据在 2020 年就已经在业内率先发布了基于智能网卡的分布式 SDN 解决方案 SmartFlow,将专用算力的负载,例如将网络、存储等 I/O 密集负载卸载到智能加速卡处理,为虚拟机、容器、裸金属等计算资源加速。通过将分布式 SDN 系统构建在智能加速卡之上,为用户提供灵活可编程、高性能且成本更有优势的网络解决方案

SmartFlow 软件架构

  • 控制平面集群进行业务逻辑的处理以及提供标准 API。
  • vBGP 集群负载 BGP 路由和 OpenFlow 流表的转换。
  • 本地控制器负责根据逻辑资源计算 OpenFlow 流表。
  • 数据平面 OVS 通过 TC Flower 接口进行硬件卸载规则的下发

SmartFlow 异构多云大二层解决方案

SmartFlow 通过融合标准 MP-BGP 协议,提供独具特色的标准可扩展的异构多云网络互连互通的解决方案。

1、抽象设计转发模型,融合 EVPN 与 OpenFlow 协议,支持 EVPN 路由与 OpenFlow 流表的互相转换。

2、支持标准的对称转发模式,能够兼容业内 IRB 流量转发模型,兼容第三方硬件或软件交换机对接。

3、通过 EVPN 同步转发表项,使 SmartFlow 在多站点网络互连互通解决方案中拥有良好的扩展性。

性能指标

通过将网络流量从 Open vSwitch 卸载到 SmartFlow 智能网卡,推进对 CPU 算力极大需求的数据包进行封装、解封装、校验、加解密等操作并下沉到智能网卡。通过智能网卡的加速,可以看到 Overlay 性能在 25G 链路上相比软件转发提升了 8 倍左右,报文转发的延时有大幅下降,一般业务报文延时小于 25us,64K 大包转发延时稳定在 60us 以下。

关于直播课件及视频回放获取方式:

【PPT 课件获取】:关注微信公众号(OpenAnolis),回复“龙蜥课件” 即可获取。有任何疑问请随时咨询龙蜥助手—小龙(微信:openanolis_assis)。

【视频回放】:视频回放可在龙蜥视频号(账号:龙蜥社区_小龙)或龙蜥官网 https://openanolis.cn/video 查看。

—— 完 ——

加入龙蜥社群

加入微信群:添加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】与你同在;加入钉钉群:扫描下方钉钉群二维码。

相关实践学习
CentOS 7迁移Anolis OS 7
龙蜥操作系统Anolis OS的体验。Anolis OS 7生态上和依赖管理上保持跟CentOS 7.x兼容,一键式迁移脚本centos2anolis.py。本文为您介绍如何通过AOMS迁移工具实现CentOS 7.x到Anolis OS 7的迁移。
相关文章
|
16天前
|
传感器 运维 物联网
蓝牙Mesh网络:连接未来的智能解决方案
蓝牙Mesh网络:连接未来的智能解决方案
100 12
|
10天前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
3年前的云栖大会,我们发布分布式云容器平台ACK One,随着3年的发展,很高兴看到ACK One在混合云,分布式云领域帮助到越来越多的客户,今天给大家汇报下ACK One 3年来的发展演进,以及如何帮助客户解决分布式领域多云多集群管理的挑战。
阿里云容器服务 ACK One 分布式云容器企业落地实践
|
8天前
|
机器学习/深度学习 数据采集 网络安全
使用Python实现深度学习模型:智能网络安全威胁检测
使用Python实现深度学习模型:智能网络安全威胁检测
33 5
|
6天前
|
存储 NoSQL Java
分布式session-SpringSession的应用
Spring Session 提供了一种创建和管理 Servlet HttpSession 的方案,默认使用外置 Redis 存储 Session 数据,解决了 Session 共享问题。其特性包括:API 及实现用于管理用户会话、以应用容器中性方式替换 HttpSession、简化集群会话支持、管理单个浏览器实例中的多个用户会话以及通过 headers 提供会话 ID 以使用 RESTful API。Spring Session 通过 SessionRepositoryFilter 实现,拦截请求并转换 request 和 response 对象,从而实现 Session 的创建与管理。
分布式session-SpringSession的应用
|
9天前
|
5G 网络安全 SDN
网络功能虚拟化(NFV)和软件定义网络(SDN):赋能5G网络灵活、智能演进的关键
网络功能虚拟化(NFV)和软件定义网络(SDN):赋能5G网络灵活、智能演进的关键
33 3
|
10天前
|
传感器 物联网 人机交互
物联网:物联网,作为新一代信息技术的重要组成部分,通过智能感知、识别技术与普适计算等通信感知技术,将各种信息传感设备与互联网结合起来而形成的一个巨大网络,实现了物物相连、人物相连,开启了万物互联的新时代。
在21世纪,物联网(IoT)作为新一代信息技术的核心,正以前所未有的速度重塑生活、工作和社会结构。本文首先介绍了物联网的概念及其在各领域的广泛应用,强调其技术融合性、广泛的应用范围以及数据驱动的特点。接着,详细阐述了物联网行业的现状和发展趋势,包括政策支持、关键技术突破和应用场景深化。此外,还探讨了物联网面临的挑战与机遇,并展望了其未来在技术创新和模式创新方面的潜力。物联网行业正以其独特魅力引领科技发展潮流,有望成为推动全球经济发展的新引擎。
|
10天前
|
存储 NoSQL Java
分布式session-SpringSession的应用
Spring Session 提供了一种创建和管理 Servlet HttpSession 的方案,默认使用外置 Redis 存储 Session 数据,解决 Session 共享问题。其主要特性包括:提供 API 和实现来管理用户会话,以中立方式替换应用程序容器中的 HttpSession,简化集群会话支持,并在单个浏览器实例中管理多个用户会话。此外,Spring Session 允许通过 headers 提供会话 ID 以使用 RESTful API。结合 Spring Boot 使用时,可通过配置 Redis 依赖和支持缓存的依赖实现 Session 共享。
分布式session-SpringSession的应用
|
24天前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络深度剖析:Python带你潜入AI大脑,揭秘智能背后的秘密神经元
【9月更文挑战第12天】在当今科技飞速发展的时代,人工智能(AI)已深入我们的生活,从智能助手到自动驾驶,从医疗诊断到金融分析,其力量无处不在。这一切的核心是神经网络。本文将带领您搭乘Python的航船,深入AI的大脑,揭秘智能背后的秘密神经元。通过构建神经网络模型,我们可以模拟并学习复杂的数据模式。以下是一个使用Python和TensorFlow搭建的基本神经网络示例,用于解决简单的分类问题。
38 10
|
12天前
|
Dubbo Java 应用服务中间件
分布式(基础)-RMI简单的应用
分布式(基础)-RMI简单的应用
|
1月前
|
存储 运维 应用服务中间件
阿里云分布式存储应用示例
通过阿里云EDAS,您可以轻松部署与管理微服务应用。创建应用时,使用`CreateApplication`接口基于模板生成新应用,并获得包含应用ID在内的成功响应。随后,利用`DeployApplication`接口将应用部署至云端,返回"Success"确认部署成功。当业务调整需下线应用时,调用`ReleaseApplication`接口释放资源。阿里云EDAS简化了应用全生命周期管理,提升了运维效率与可靠性。[相关链接]提供了详细的操作与返回参数说明。
下一篇
无影云桌面