SDN产品打造新一代混合云网络架构

SDN产品打造新一代混合云网络架构

盛大游戏一直通过采用先进云计算技术助推游戏产业的发展，打造出国内一流的私有云平台G云1.0。随着游戏运营环境的急剧变化，为承载纷繁复杂的业务体系及线上游戏运营系统，盛大游戏希望能紧跟行业技术发展态势，进而重构整个游戏混合云网络架构。

在设计盛大游戏G云2.0网络过程中，要求充分考虑盛大游戏系统架构的通用性和易用性，同时需要针对游戏行业的特殊性，例如网络延时、弹性扩容、安全等进行定制化的架构设计，所以新的网络架构必须要着眼于以下几点：

标准且开放化：无论是物理网络还是虚拟化网络，必须采用业界相对标准的组网模型和网络协议，兼顾开放性和互通性，实现网络的模块化设计，为今后平台的演进提供标准化模型；

灵活扩展性：需要引入Overlay VxLAN技术替代原有的VLAN来更加灵活的支持云主机对于网络的要求，包括：热迁移、租户隔离、多租户等；

高性能：对于虚拟化网络Overlay，必须满足游戏场景下对网络延时的苛刻要求。VPC网络需要满足租户各云主机（虚机、物理机）之间高吞吐、低延时的网络互通要求；

高可靠性：无论是Underlay网络，还是SDN控制器，必须充分考虑单点故障和HA等机制，从而保障整个网络 7 x 24小时高可靠性要求；

自动化：引入SDN控制器，实现对租户网络VPC的集中管理，支持物理网络和虚拟化网络的快速部署和灵活扩展。

盛大游戏引入思华ExpressNET

SDN产品打造新一代混合云网络架构

<图示1：思华ExpressNET整体架构>

盛大游戏G云2.0 整体网络部署架构如下图所示：

<图示2：G云2.0 网络部署架构>

思华ExpressNET网络平台为云主机、裸机提供了必要的实体和虚拟网络环境，包括但不限于：VPC内部二三层东西向访问、南北向公网访问、虚机和物理机访问、跨云跨IDC访问等，同时以VPC为单元对租户进行安全隔离、公网QoS限制。整个网络架构主要包含了下列组件及其功能特点：

2.位于各计算节点和Neutron节点的思华ExpressNET分布式控制器：作为思华ExpressNET尤为重要的虚拟化网络的控制平面，提供二层、三层网络、DHCP、NAT、QoS、ARP Proxy等功能，各功能采用App Plugin的方式实现，易于扩展。采用分布式控制器的好处在于消除了单点故障，性能有保障，同时兼顾了SDN的设计理念，将控制和转发平面进行了解耦；

3.位于Neutron节点的思华ExpressNET交换机控制器：该控制器负责通过厂商自定义RPC或者标准的NetConf协议对Underlay网络设备进行管控，从而打通虚拟和物理网络的控制平面，真正做到虚实网络的结合与联动；

5.采用VxLAN隧道封装技术提供租户VPC虚拟化网络：不仅实现了虚机到虚机的二/三层网络连通，同时实现了VPC内虚机到裸机的二/三层直通，以及G云2.0到用户线下IDC的直通，各VPC安全隔离；

ExpressNET, 重新定义网络

网络设计之初，充分分析了OpenStack 原生Neutron网络架构上的一些缺陷和不足，在兼容Neutron ML2 Framework的基础上，参考了市面上已有的开源项目，引入了思华ExpressNET全面替换原生Neutron网络方案，从而弥补了原生方案的不足，主要体现在以下几个方面：

<图示3：OpenStack原生集中式的DHCP模型>

思华ExpressNET解决方案利用OVS OpenFlow流表将DHCP功能分散到各个计算节点实现，不仅有效的避免单点故障，同时减少了对计算资源的消耗，简化了系统部署，降低了运维排障难度。

<图示4：思华Express NET分布式DHCP模型>

2、ExpressNET以OpenFlow流表方式实现的分布式vRouter和DNAT替代原生Neutron的vRouter模型。OpenStack原生的Neutron有两种vRouter模型：一种是早期版本的集中式vRouter实现，该模型下所有的三层流量都会经过位于Neutron节点的虚拟路由器（通过网络Namespace实现），不仅增加了网络单点故障、限制了网络吞吐，同时加大了网络延时，如下图所示：

<图示5：OpenStack原生集中式的vRouter>

随后OpenStack提出了分布式vRouter即DVR的概念，在各计算节点上为租户创建多个Namespace并安装相应路由作为租户本地化的vRouter，虽然该方案在一定程度上解决了集中式模型的一些问题，但由于其依旧采用Namespace的实现方式，不仅耗费计算节点大量的CPU资源，公网IP地址（用于Floating IP Namespace），同时并未降低网络延时和排障难度，如下图所示：

<图示6：OpenStack原生分布式的vRouter>

而在盛大游戏的案例中，思华ExpressNET拥有L2/L3和DNAT App Plugin，使得位于各计算节点的本地控制器提供路由和地址转换等控制平面功能，并结合OVS OpenFlow流表实现转发平面功能，不仅有效的解决了集中式路由带来的诸多问题，同时降低了复杂度、提高了网络弹性，释放了本地计算资源，减少了公网IP地址浪费以及降低了网络延时，如下图所示：

<图示7：思华ExpressNET 以OVS流表方式实现分布式vRouter>

3、ExpressNET支持多公网网段（Multiple Elastic IP Pool）：原生的OpenStack无法很好的支持多外网功能，导致平台无法使用多个公网IP网段，从而增加了网络实际部署难度。如下图所示，当申请了多个公网网段后，由于OpenStack的限制，无法让虚机VM1申请缺省公网网段Pool 1以外的地址段，如EIP Pool 2 & Pool 3（每个虚机一个公网EIP）：

<图示8：OpenStack原生的单一外网限制>

思华ExpressNET取消该限制并增加相应的保护机制，使得平台可以将任何可用的公网地址段与分布式的路由器相关联，极大的降低了对IDC网络的需求。如下图所示，在平台管理员创建完额外的外网及网段后（External Network 2 & 3），租户可以在控制台中从EIP Pool 1, 2 &3中随机挑出一个公网IP，绑定到其指定的虚机或者物理机上

<图示9：思华ExpressNET取消限制，支持多公网网段>

4、ExpressNET扩展OpenStack 网络功能，支持VPC与线下IDC互联互通：盛大游戏案例中必须要考虑用户云上资源和原有IDC的互联互通，典型的应用场景是各工作室或者技术部门既有在原平台中的Legacy系统，又有新业务在G云2.0上开展，同时新旧系统需要二层或者三层网络直通而不经过NAT。如下图所示，思华ExpressNET方案利用分布式虚拟路由器和底层Underlay网络设备，实现了云上VPC与云下IDC不经过NAT转换的网络直通，云上的虚机或者物理机可以直接访问盛大游戏原有Legacy系统的IP，不仅满足了用户原有的使用习惯，降低了上云的复杂度，同时保证了网络的延续性和透明性。

<图示10：思华ExpressNET实现VPC与线下IDC互联互通>

<图示11：思华ExpressNET实现跨IDC的VPC Peering>

通过引入思华科技ExpressNET SDN解决方案后，盛大游戏G云2.0网络平台SDN收获的不仅仅是数据中心、基础架构，而是包括盛大游戏各个场景的服务和功能，都能在通用的策略框架下实现高效、可靠、安全地运营，实现无缝的移动性、无缝的工作负载迁移。

盛大游戏技保平台中心总监应华说，“在建设G云2.0之初，我们也分析参考了市面上多家SDN的技术，包括原生Neutron，多少都存在一些缺陷和不足，并考虑到被单一厂家从软件到硬件全部绑定的风险。最终我们决定选择思华ExpressNET作为G云2.0的网络架构，主要还是看重ExpressNET采用了SDN白牌交换机和开放API相结合的方式，各个IDC可以选择不同厂家的网络设备，有效降低了对单一硬件厂商的依赖度。再加上思华多年的技术积累，能够为盛大游戏提供定制化的SDN开发服务，是我们值得信赖的长期合作伙伴。”