评论

案例丨​SDN 技术研究和组网实践

文 / 中国农业银行数据中心专家 许青邦

中国农业银行数据中心高级专员 黎毅赟

数年前,农业银行在总行层面规划和建设了VXLAN DCI(Datacenter Interconnect)网络核心,将内外网Fabric资源池通过DCI高速互联,并采用原创的多段式VXLAN和两级外部网络技术,实现跨Fabric的逻辑分区、资源调度及服务链功能,为云原生应用提供超大规模的网络资源池。该架构业已成为大型金融数据中心网络的最佳实践和事实标准,被同业广泛采用。

VXLAN DCI初始主要提供硬SDN Fabric资源池接入,但近几年软SDN技术在金融行业逐渐试点和规模应用,VXLAN DCI架构要兼顾软SDNFabric资源池接入需求,实现软硬SDN融合的统一架构。本文以华为HCS8.1云平台为原型,重点讨论软SDN的技术原理、组网设计以及与VXLAN DCI的对接方式。

软SDN组网结构

软硬SDN又分别称为Host Overlay和Network Overlay,最大的区别在于VxLAN网关位置,还有网络服务和运维方式等,两者比较如下。

VXLAN网关,硬SDN网关位于外部接入交换机上,对硬件MAC/ARP/FIB表项要求很高,支持高密度线速转发,一般要求Fabric内网络设备同构;软SDN网关位于服务器内部vSwitch上,对软件vSwitch Openflow表项要求高,需占用服务器CPU、内存等资源,转发性能稍弱一些,硬件接入交换机为纯Underlay设备,不感知租户和虚机信息,Fabric内网络设备支持异构。

网络服务,硬SDN主要提供L2/L3连通性,FW、LB等高层服务需要专门的软件或硬件设施,还要解决控制器与云平台适配问题;软SDN为云平台的集成组件,不涉及云网对接问题,能提供L2~L7全栈的服务,具体包括vFW、ELB、EIP、NAT、VPN等,全都通过服务器软件或NFV实现,具备快速交付和水平扩展能力。

运维方式,硬SDN技术在金融行业起步较早,设备间通过BGPEVPN交换MAC和IP路由信息,与传统路由交换技术体系一脉相承,网络人员稍加培训便能上手,还有成熟配套的可视化智能运维系统,网络状态一目了然。软SDN发源于公有云环境,近一两年才在金融行业逐步落地部署,vSwitch基于控制器下发的Openflow流表封装和转发VXLAN报文,对习惯路由交换的网络人员,技术路线切换是一个很大的挑战,而且缺乏完备的智能化运维系统,故障处理会比较吃力。

从以上对比可以看出,软SDN除了转发性能和智能运维等略显不足,在灵活性和扩展性方面较领先于硬SDN。随着公有云技术栈私有化部署推进,软SDN逐渐被业界和用户接受认可。

典型的软SDN Fabric由管理区、公共服务区、网络服务区、业务区等构成,各分区通过核心交换机互联,分区内部为SPINE+LEAF物理组网结构,具体分工如下。

管理区:为Openstack控制节点、软SDN控制器、云服务组件等接入区域。

公共服务区:为租户DNS、公共PaaS、API网关等服务器接入区域。

网络服务区:为VPCRouter、ELB、EIP、NAT、VPN等软网元接入区域。

业务区:为VM宿主机、BM裸金属、存储等服务器接入区域。

软SDN技术原理

软SDN通过统一的服务器形态模拟所有的网络和安全服务,包括基础的L2/L3连通性、vFW、ELB、EIP、NAT、VPN等,能满足云用户对网络服务的所有想象,下面逐一介绍私有云中最为常用的软SDN技术、网络服务及基本原理,具体实现如图1所示。

图1 网络服务示意图

(1)DVR(Distributed Virtual Router),类似硬SDN的分布式路由技术,主要提供VPC内路由互通。

假设vpc1网段a的vm1a(宿主机kvm1)访问网段b的vm1b(宿主机kvm2),kvm1 vm1a将报文经由br-int送给dvr gwa网关,dvr查询流表修改源mac=gwb、目的mac=vm1b,报文再经过本地br-int和br-tun,br-tun查询流表修改源mac=dvr,并通过VXLAN隧道(vni=b)将报文送至kvm2。kvm2br-tun收到VXLAN报文后,查询流表剥离VXLAN封装并映射到VLAN b,由于源mac=dvr,直接把报文转给br-int,最后抵达vm1b。

(2)VPCRouter,在DVR基础上提供VPC间路由互通。

假设vpc1网段a的vm1a访问vpc2网段c的vm2c,在vpc router上配置跨vpc静态路由,vpc1路由c指向vpc2,vpc2路由a指向vpc1。kvm1 vm1a将报文经由br-int送给dvr gwa,dvr查询流表修改源mac=gwa、目的mac=vpcrouter,报文再经过本地br-int和brtun,br-tun查询流表修改源mac=dvr,并通过VXLAN隧道(vni=a)将报文送至vpc router。vpc router收到VXLAN报文后,查询流表剥离VXLAN封装并映射到vpc1,根据目的地址vm2c切换到vpc2,最后使用VXLAN隧道(vni=c)把报文送达vm2c。

以上为同Fabric不同VPC的路由互通过程,如果vpc1、vpc2分别属于Fabric1、Fabric2,则需要在两个Fabric的VPC Router之间建立VPC Peering,还要打通Underlay路由,才能实现跨Fabric的VPC路由直通。

(3)云专线,Fabric内部或云上全部基于VXLAN构建VPC虚拟网络,但最终还是要通往云外世界,服务于云下用户,而云专线就是连接云上云下网络的纽带。提供云专线接入的设备称为L3GW(Layer 3 Gateway),一般为硬SDN交换机,软SDN控制器负责与L3GW建立BGPEVPN邻居,以及Openflow流表与Type2/3/5 EVPN路由的转换。

假设vpc1网段a的vm1a访问云下网段z的vmz,kvm1vm1a将报文经由br-int送给dvrgwa,dvr查询流表修改源mac=gwx、目的mac=l3gw,报文再经过本地br-int和br-tun,br-tun查询流表修改源mac=dvr,并通过VXLAN隧道(vni=x)将报文送至l3gw。l3gw收到VXLAN报文后,剥离VXLAN封装并映射到vpc1 vrf1,查询vmz路由指向云专线vrf2,再将报文送给云外pe,最终经云外网络路由至vmz。

上面描述的是基于L3GW的硬专线,还可以通过VPCRouter提供的软专线连接云下网络,从性能角度考虑首选硬专线。

(4)ELB,为计算资源提供L4和L7负载均衡服务。

假设vpc1网段a的vm1a作为client访问vpc2网段d的vip2d服务地址,后端服务器为vpc2网段c的vm2c,在vpcrouter上配置跨vpc静态路由,vpc1路由c+d指向vpc2,vpc2路由a指向vpc1。kvm1 vm1a将报文送给vpc router,vpc router查询流表转发给vpc2 vip2d,elb收到后调度给服务器vm2c,同时软sdn控制器还会向kvm2 br-int下发回程流表,确保来回路径一致。

实际组网中,更多为云下内网客户端通过云专线,公众客户端通过互联网+EIP访问云上ELBVIP,ELB调度过程同上。

(5)BM GW,为BM裸金属提供网络接入。

LEAF交换机通过Access端口连接BM,为每个BM分配唯一VLAN ID,通过Trunk端口连接BM GW,允许所有BM VLAN通过,逻辑上等同于BM直连BMGW内部的br-int,接入与VM共享的VPC平面。具体实现时,由于LEAF为硬件交换机,软SDN控制器需要通过Neutron+管理LEAF交换机端口。

假设vpc1网段a的bm1a访问vpc1网段b的bm1b,访问过程与vm相似不再赘述。

(6)其他服务,vFW基于计算节点宿主机的iptables机制实现,属于分布式云上FW,能满足大部分VPC的防护需求,但vFW的策略规格明显低于硬件FW,对于大型VPC,使用云外硬件FW是一个不错的选项,其他如EIP、NAT、VPN等服务,更多与互联网接入相关,就不逐一展开介绍了。

(7)容器网络,HCS8.1为IaaS+PaaS一体化云平台,能够一站式提供BM/VM/Pod多态的计算资源,以及VPCIP、VPCENI(Elastic Network Interface)等主流一体化网络接入方式,具体示例如下。

VPC IP模式,云平台在vpc1内创建eni1弹性网卡并绑定vm1a,分配网段a地址,vm1a内部采用l3 ipvlan cni,eni1为父接口,通过子接口为pod1e1、pod1e2提供网络接入,pod分配独立网段e地址,还需要在vpc router上配置网段e路由,下一跳指向vm1a,实现vpc网络平面和pod网络平面的路由互通。

VPC ENI模式,云平台在vpc1内创建eni2、eni3弹性网卡并绑定vm1b内的pod1b1、pod1b2,分配网段b地址,创建eni4、eni5弹性网卡并绑定bm1a内的pod1a1、pod1a2,分配网段a地址,实现pod直连vpc网络平面。实际使用eni时有规格的限制,华为采用独创的eni+vlan技术,巧妙解决了eni上限问题。

软SDN组网设计

介绍完软SDN技术原理,下面就组合这些技术来构建一个通用的软SDNFabric,并融入VXLANDCI网络,具体组网如图2所示。

图2 综合组网示意图

软SDN Fabric1采用标准四功能区架构,可支持2000台以上物理服务器接入,云上创建了外联DMZ区vpc1、内网生产区vpc2,通过各自的云专线连接DCIPE,在L3GW上将vpc1绑定extdmz dci vpn、vpc2绑定prd dci vpn,打通云上vpc和dci vpn路由,dci vpn代表逻辑分区或安全域。

硬SDN Fabric2采用BL+SPINE+LEAF标准架构,云上创建内网生产区vpc3,通过边界BL连接DCI核心,在BL上将vpc3绑定prd dci vpn,打通云上vpc和dci vpn路由。由于vpc1和vpc3绑定了相同的prd dci vpn,自然就实现两个内网生产分区的路由直通。

PRD-DS为云上prd dci vpn和云下intra vpn的网络边界,并旁挂部署硬件FW,确保云上云下互访经过FW严格控制。同时顾及软SDN Fabric的vFW规格限制,vpc2内部不启用vFW,而是通过PRD-DS的FW同时为vpc2和vpc3提供边界防护。

EXT-DS为云上ext-dmz dci vpn和云下intra vpn以及外联的网络边界,并旁挂部署内外网硬件FW,形成标准两道FW的DMZ网络结构。vpc1内部也不启用vFW,通过EXT-DS直连的FW为vpc1提供内外边界防护。

以vpc1和vpc2互访为例,由于vpc1、vpc2都未启用vFW,因此不能使用vpc peering直接在云上打通两个vpc路由,而是借助DCI和边界FW提供的服务链能力,保证访问路径经过各自的边界FW,并实现云上云下访问的统一入口和安全防护。

总结和展望

虽然软SDN技术较为灵活,服务较为丰富,但在转发性能和网络运维方面还需要优化改进,性能提升终极手段为智能网卡技术,又称为弹性裸金属,将Hypervisor和VXLAN网关功能卸载到硬件网卡上,既保留了软SDN的灵活性,又达到与硬SDN相当的性能水平,当然成本会相对较高。而硬SDN在一些特定场景还是有明显优势,比如追求极致性能的分布式数据库、大数据等,需要云平台供给物理服务器资源和网络提供高速转发能力,对其他网络服务的依赖相对较少,硬SDN可以很好的应对解决这些痛点。可以预见,软硬SDN在很长一段时间内还会并存,以发挥各自优势,具体实现时,软硬交换机可以独立或联合构建Fabric,后者又称为Hybrid Overlay,需要控制器同时管理软硬交换机和协议转换,分别满足虚机和裸金属的网络接入需求。

(栏目编辑:张丽霞)返回搜狐,查看更多

责任编辑:

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
大家都在看
推荐阅读