企业网站设计与制作,建设厅投诉网站,中交建设招标有限公司网站,wordpress指定分类名称背景
随着网络技术的发展#xff0c;网络的虚拟化程度越来越高#xff0c;特别是云原生网络#xff0c;叠加了物理网络、虚机网络和容器网络#xff0c;数据包在网络 OSI 七层网络模型、TCP/IP 五层网络模型的不同网络层进行封包、转发和解包。网络数据包跨主机网络、容器…背景
随着网络技术的发展网络的虚拟化程度越来越高特别是云原生网络叠加了物理网络、虚机网络和容器网络数据包在网络 OSI 七层网络模型、TCP/IP 五层网络模型的不同网络层进行封包、转发和解包。网络数据包跨主机网络、容器网络、虚机网络和物理网络到达对端期间必然带来网络性能损耗。
场景
1低延时交易场景
证券交易系统具有交易时间相对集中、交易指令和数据密集的特点对交易系统处理速度具有极高的要求。近年来全球各大交易所都在不断对交易系统升级改造其中“低时延”成为各大交易所竞争的核心交易系统延时竞争已经进入微秒量级。用户通过客户端委托交易下单经过交易所外的交易软件、主机网络和物理网络进入交易所内软硬件网络撮合交易然后将委托回报和成交回报通过反向网络数据链路发送给用户。 2视频和云游戏等流媒体场景
在多媒体领域直播流媒体、在线视频和云游戏等场景都存在对网络性能、传输速度有极高的要求。单纯从软件或者操作系统虚拟化出来的网络设备无法达到网络收发处理、转发和传输的性能要求以及保证低丢包率和低时延。
3流量隔离场景
在银行、证券、保险等金融行业因金融政策、监管政策的要求需要实现对管理流量、存储流量和业务流量进行隔离做到网络运维管理数据存储、数据备份和数据交互同步与业务流量分离保障数据交互同步与正常网络访问的相互隔离提高网络并发能力和降低网络延迟。
以上应用场景无法通过单纯的应用网络、主机网络和硬件网络来解决微妙级低延时要求。如何提升云原生时代整体网络性能降低网络时延呢我们可以从传统网络和容器网络路径分析哪些可以优化的点或片段针对这些点或片段提供可行的容器网络加速方案。
术语 CNIContainer Network Interface容器运行时和网络实现之间的容器网络 API 接口。 IPAM专门用于管理容器的IP地址管理包含对容器分配 IP 地址、网关、路由和 DNS 等管理。 SR-IOVSingle Root I/O Virtualization单根虚拟化允许在虚拟机之间高效共享 PCIe 设备。 PFPhysical Function包含 SR-IOV 功能结构主要用于 SR-IOV 功能管理。PF 通过分配 VF 来配置和管理 SR-IOV 功能。 VFVirtual Function轻量级 PCIE 功能I/O 处理的 PCIE 设备每个VF 都是通过 PF 来生成管理VF 的具体数量限制受限于 PCIE 设备、自身配置和驱动程序的支持。 RDMARemote Direct Memory Access远程直接内存访问将网络协议栈下沉到网卡硬件网卡硬件收发包并进行协议栈封装和解析然后将数据存放到指定内存地址而不需要 CPU 干预。 DPDKData Plane Development Kit数据平面开发套件工作在用户态用于快速数据包处理使用轮询 Polling 来处理数据包。 VPPVector Packet Processing矢量数据包处理工作在用户态的高性能数据包处理协议栈。通常与 DPDK 结合使用提供多种收发数据包、交换和路由能力。 VCLVPP Communication Library高性能 VPP 数据包处理协议栈类库。 eBPFExtended Berkeley Packet Filter可扩展的伯克利包过滤器在操作系统内核中运行沙盒程序安全有效地扩展内核功能而不需要更改内核源代码或加载内核模块。主要提供主机网络通信、安全管理和可观测的能力。 Cilium基于 eBPF 技术实现的网络插件用于提供网络、安全和观测容器工作负载之间的云原生网络。 XDPeXpress Data Path快速数据路径XDP 是 Linux 网络处理流程中的一个 eBPF 钩子能够挂载 eBPF 程序能够在网络数据包到达网卡驱动层时对其进行处理。 传统网络数据包处理路径
在传统的 Linux 主机网络中源应用程序通过系统调用与内核中 Socket 层进行网络数据交互网络数据包分别依次进入 Socket 层、传输层、网络层和网络接口层最后通过网卡驱动、CPU 和物理网卡到达目标应用程序所在的物理网卡期间 CPU 和网卡驱动频繁进行硬中断、软中断与轮询来通知操作系统进行收发收据包。 接下来我们具体分析一下网络数据包发送流程首先在用户态网络协议栈中源应用程序会调用 Socket 发送数据包的接口数据包从用户态进入到内核态中的 Socket 层Socket 层会将应用层数据拷贝到 Socket 发送缓冲区中。然后在内核态网络协议栈中从 Socket 发送缓冲区中取出数据包并按照 TCP/IP 协议栈从上到下逐层处理。如果使用的是 TCP 传输协议发送数据那么会在传输层增加 TCP 包头然后交给网络层网络层会给数据包增加IP包然后通过查询路由表确认下一跳的 IP并按照 MTU 大小进行分片。分片后的网络包就会被送到网络接口层通过 ARP 协议获得下一跳的 MAC 地址然后增加帧头和帧尾放到发包队列中。最后等队列准备就绪后会触发软中断告诉网卡驱动程序有新的网络包需要发送最后驱动程序通过 DMA从发包队列中读取网络包将其放入到硬件网卡的队列中随后在物理网络中物理网卡再将它发送出去通过交换机或者网桥等到达目标应用所在主机物理网卡。
网络数据包接收流程与网络数据包发送的流程正好相反其中发送流程执行数据包的封包处理而接收过程则执行数据包的解包处理。基于以上网络数据包通信和处理过程在高性能网络通信场景下频繁的网络收发数据包数据包在内核中不同网络路协议栈之间的封装和解包处理以及软硬件中断与轮询导致网络通信延迟较高。
容器网络数据包处理路径
在容器网络环境下网络数据包的处理流程较传统网络数据包的处理路径更加长网络环境更加复杂。容器网络数据包的发送和接收经过七层分别是容器用户态编程协议、容器内核态网络协议栈、容器与主机网卡对、主机用户态容器网络 CNI、虚拟主机网络、主机网卡驱动主机网卡和物理网络。 相对于普通的容器化应用微服务服务网格应用的容器网络最具代表性主要多了边车 Sidecar 对应用的流量劫持和转发其他的流量数据包处理过程与普通应用一样。下面以服务网格中应用与边车 Sidecar 之间的网络数据包发送和接收路径为例说明。
容器源应用程序访问目标应用程序的数据路径在容器内与传统网络数据包收发处理流程类似但是会增加容器主机网络路径。容器内源应用程序通过 Socket 调用网络数据包由容器用户态进入容器内核态以太网协议栈然后通过 Loopback 回环进入 Sidecar 边车的内核态和用户态协议栈。经由 Sidecar 流量劫持之后通过应用 Sidecar 调用内核态 Socket 进入容器内核态以太网协议栈。最后经由主机用户态容器网络 CNI通过虚拟主机网络进入物理网卡和物理网络转发至目标应用程序所在的主机和容器环境。目标应用程序所在的主机网络和容器网络的数据包处理路径与源应用程序数据包处理路径一样但收发数据包的方向相反。
云原生背景下的容器网络会在物理网络、主机网络、容器网络和容器主机网络等多个层面网络类型的网络性能瓶颈可以从下表多维度分析潜在的网络加速方向 基于以上容器网络数据路径的分析可以从几个方面进行网络规划和建设
1、智能硬件网络方面可以通过 Offload 下沉网卡驱动和数据包至智能硬件SRIOV/DPU/RDMA实现加速。
2、软件网络方面操作系统网络层分为内核态网络和用户态网络通过 ByPass 操作系统内核态网络协议栈进入用户态网络协议栈在用户态借助工具套件 DPDK以及用户态 VPP、 VCL 和 QUIC 等协议进行编程解决用户态网络性能问题实现内核态和用户态网络加速。
容器网络加速方案
1. 智能网络加速
借助于支持 SR-IOV 的智能硬件把网卡驱动卸载至物理网卡。通过调用 Netlink 包将 VF 修改到容器的 Namespace 下使得物理机中 PF 扩展出来的 VF 可以被容器直接调用。基于 Multus、SR-IOV Device Plugin 和 SR-IOV CNI Kubernetes 1.24 之前的版本CNI 的管理由 Kubelet 负责新版 Kubernetes 版本 CNI 管理由 CRI 负责实现网络 IO 卸载至物理网卡上的 VF同时把 VF 另一端插入容器作为容器的以太网网卡。容器网络数据包从容器用户态协议栈经过容器内核态协议栈通过 VF 卸载至物理网卡 PFByPass 容器主机内核和主机内核驱动从而实现网络加速。同时在 Underlay 网络场景中通过 IPAM 可以管理集群域的固定 IP 分配、释放和回收以及防止 IP 泄漏和 IP 冲突检测等。 目前常见的支持容器 SR-IOV 技术的网卡有 Intel X710/X722/X520/540、Mellanox ConnectX-4/5/6 等同时支持 NUMA、RDMA 和 DPU 等技术。
2. 内核态网络加速
基于支持 eBPF 的高内核版本Kernel 4.19.57推荐5.10 的 Linux 操作系统在 XDP 原生驱动模式Native-Routing或卸载模式Offload需要智能网卡支持下 ByPass 内核协议栈通过 Cilium CNI 将容器网卡一端植入 eBPF 程序另一端插入容器内作为容器以太网网卡实现通信和容器网络加速。可以基于 Multus、Cilium CNI 和 SpiderPool 实现内核网络加速。 3. 用户态网络加速
用户态的网络加速有多种实现方式可以通过 SRIOVDPDK 方式把内核态网卡驱动切换成用户态网卡驱动实现“用户态网卡 - DPDK 轮询 Pool 模式- DPDK 库 - 应用程序” 跳过容器内核态网络协议栈基于用户态 UIO Bypass 数据链路实现加速。或可以 DPDK VPP/VCL 协议栈自编程模式的用户态网络极速。在服务网格场景下借助于 Linux 高内核版本通过 eBPF Sockops/Sockmap 技术实现应用服务与服务网格边车 Sidecar 之间的加速。 以上三种网络方案各有其有特定使用场景智能网络加速方案加速性能最好需要有智能硬件网卡的支持对操作系统没有特殊的要求。内核态网络加速方案加速性能居中仅需要操作系统满足一定的内核版本要求有较好的通用适配性适应于大多数网络加速场景的要求。用户态网络加速方案作为智能网络加速和用户态网络加速在 ByPass 系统内核之外的互补方案用于用户态域的的网络加速可以帮助用户实现全场景的网络加速方案适应于用户应用程序的在 DPDK 工具、VPP/VCL 协议族、gRPC/QUIC 低延迟协议等自编程。
参考链接 https://docs.kernel.org/networking/index.html https://docs.cilium.io/en/stable/overview/component-overview/ https://docs.cilium.io/en/stable/network/servicemesh/ https://cilium.io/use-cases/service-mesh/ https://ebpf.io/what-is-ebpf/ https://docs.openvswitch.org/en/latest/intro/install/afxdp/ https://github.com/k8snetworkplumbingwg/ovs-cni/blob/main/docs/ovs-offload.md https://xie.infoq.cn/article/6ba14b756c3019cc737ed48a6 https://upload.wikimedia.org/wikipedia/commons/3/37/Netfilter-packet-flow.svg
