barefoot硬件P4相较于dpdk软件做SDN转发

62 阅读7分钟

P4硬件在

重要barefoot产品bug缺陷

pipeline的限速表项占满,有概率出现限速失效

pipeline的在双限速表放置同一个stage下,有概率出现限速互相冲突

边界网关

基本概念

边界网关(BGW,Border Gateway),是京东云用来承载VPC南北向流量的一种网关,主要作用是与其他外部网关或环境进行内网互通。

在边界网关支持创建VPC接口功能前,边界网关一旦创建、即自动与同地域的所有VPC连通。

随着边界网关的VPC接口功能上线,新建的边界网关默认不与任何VPC连通,用户需要创建"VPC接口”用于打通指定VPC和边界网关的互联;对于已经创建的边界网关,边界网关路由表内已有到VPC的路由仍然有效可用,但是不能新建到VPC的路由、除非先创建出与VPC关联的VPC接口。

目前边界网关承载的业务是专线连接、托管连接、VPN连接、VPC接口功能。

边界网关支持客户IDC和京东云VPC之间通信、京东云托管区和京东云VPC之间通信、京东云同地域多个VPC之间通信等。

默认情况下,连接到同一边界网关的专线通道、托管通道、VPN连接之间无法通过边界网关进行通信。

通过边界网关可访问的京东云资源:京东云VPC内的全部资源,包括云主机、容器、负载均衡、云数据库、云缓存等,但是不能利用VPC内NAT网关统一互联网出口。

VIP集群版本架构优势

BGW机器的变更需要给路由器下发配置,之前的BGW的机器替换耗时很久

集群版本下,所有的节点都是等价的

机器的添加和删除 不需要等待路由器

优势:

1.运维角度看节省时间和大量的人力

2.稳定性的角度看,避免了人为介入的操作流程过多产生线上问题

之前的BGW机器出现问题的时候,如果机器Crash或者出现问题,需要依赖探测摘除收敛

集群版本下,所有的机器和上联交换机BGP连接宣告,靠BGP直接自动收敛

优势:

1.稳定性角度看,bgp的自动收敛时间短,故障恢复快

2.架构角度看,靠bgp的方案不依赖过多的外部中间件,架构简单

BGW旧版没有多组互相灾备能力,同时没有异构的能力

集群版本下,多个bgw集群之间可以相互宣告相同的vip,靠路由自动故障转移

线上实现为硬件集群和软件集群之间异构相互宣告vip

优势:

1.稳定性角度看

a。异构的设计,可以避免硬件或者编程语言的问题

b。大小vip的宣告,可以在单个集群故障时快速自动灾备

2.架构角度看,直接大小段的vip宣告,不涉及其他模块开发和适配工作,架构简单

统一公网网关竞品分析

NSDI'24 | 阿里云飞天洛神云网络论文解读——《LuoShen》揭秘新型融合网关 洛神云网关

zhuanlan.zhihu.com/p/712328378

阿里SIGCOMM重磅论文,洛神Sailfish可编程网关

zhuanlan.zhihu.com/p/712328392

可编程网卡芯片在滴滴云网络的应用实践

zhuanlan.zhihu.com/p/712324866

P4可编程设备在工业界的落地情况

zhuanlan.zhihu.com/p/373356027

XGW 阿里云基于Intel 可编程芯片 Tofino 设计的流量分发网关

XGW 是阿里云基于Intel 可编程芯片 Tofino 设计的流量分发网关,如上图所示,其负责公网、专线、跨Region之间流量汇聚与分发,支持IPv6。 典型产品有:EIP和共享带宽限制、专线(比如天猫双11或某大客户数10Tbps专线上云流量)、CEN等。

腾讯网关TGW架构演进之路

zhuanlan.zhihu.com/p/673606795

TGW主要有两大产品:一个是弹性EIP,比如购买一台虚拟机CVM或是一个NAT实例后,通过EIP连通外网;另一个是四层CLB,一般分为内网CLB和外网CLB,内网CLB是在vpc内创建一个CLB实例,把多个CVM服务挂在了内网CLB上,为后端RS提供负载均衡的能力;外网CLB面对的是公网侧负载均衡的需求。当在内部部署CLB集群时,可分为IPV4或者IPV6两大类,根据物理网络类型又细分为BGP和三网两类。三网指这些IP地址是静态的,不像BGP一样能够在多个运营商之间同时进行广播。

中国电信天翼云发布首款自研P4可编程白盒交换机

mp.weixin.qq.com/s/pM55v63BB…

应用场景

天翼云采用P4可编程白盒交换机实现了云间高速网关和公网网关。使用集群化部署的方式,实现了平滑的水平扩容能力,降低现网用户剧增带来的风险;T级别带宽能力完美的解决了x86形态的带宽处理能力;单台故障时仅影响该台设备增量,将影响降低到最低。同时做到了无损迁移,整个迁移过程流量无抖动。

云间高速网关

天翼云采用P4可编程白盒交换机实现了云间高速网关。该网关实现了多实例、虚拟私有云(VPC)、云专线、SD-WAN、VPN接入。在支持IPv4、IPv6双栈的同时满足了用户对路由的大规格需求,简化了用户配置路由的繁琐操作,单台设备的路由规格达到40万+。

公网网关

天翼云采用P4可编程白盒交换机实现了公网网关。该网关实现了x86形态数据面的全量功能,例如:流量转发,流量统计、流量限速,协议流量识别处理等。在支持IPv4、IPv6双栈的同时满足了大规模数据中心对公网IP的大规格需求,单台设备的IP规格达到10万个。

统一公网网关优势

基于barefoot演进跟进业内的技术发展

IGW 产品竞聘分析

基于barefoot国产设备,达成信创目标

传统的X86和之前采购的barefoot设备,大都是国外芯片

当前国产芯片的barefoot设备,例如:华为/中兴等具有国产可替代

基于barefoot设备成本更低

传统的X86部署dpdk版本需要大量的机器,造价成本高

软件旧版没有精准限速的能力

之前软件限速同时为了做软件组内互备,每个软件节点限速为75%,总限速为1.5倍

之前软件限速使用GTC分布式实时计算,GTC计算器秒级的限速分配不均衡

之前带宽包内的IP加入和移除,会出现切换瞬间限速丢失流量黑洞

优势:

1.产品体验上看

用户配置规格和实际实现一致

2.架构角度看

a。统一的公网集中限速将公网IP的能力收敛

b。采用集群内和集群间导流技术,去除了GTC和软件等其他组件

软件旧版没有多组互相灾备能力,同时没有异构的能力

集群版本下,多个igw集群之间可以相互宣告相同的vip,靠路由自动故障转移

igw集群的设计在segment的宣告引流使用as_path控制,故障期间可以降级至旧的dpdk版本

优势:

1.稳定性角度看

a。异构的设计,可以避免硬件或者编程语言的问题

b。大小vip的宣告,可以在单个集群故障时快速自动灾备

2.架构角度看,直接大小段的vip宣告,不涉及其他模块开发和适配工作,架构简单