【交易技术前沿】数据中心虚拟化 / 程用明

【交易技术前沿】数据中心虚拟化 / 程用明

一：数据中心的挑战

近年来由于证券业务不断创新，证券行业依靠的信息系统必须能够支撑起业务的发展，随之而来的是采购大量的服务器、软件，持续投入人力维护系统，带来无法改变的现实：（1）每年不断采购服务器、网络设备、电源、空调。为了支持新业务的开展，数据中心持续采购服务器、软件，机房设备数量急剧增加。（2）每一个业务上线都需要漫长的过程。服务器采购时间、环境准备时间、软件部署时间、应用调试时间。一个新业务上线通常在60到180天，面对激烈的外部竞争环境，券商只得疲于奔命。（3）机房空间越来越少。曾几何时大量冗余的机房成了稀缺资源，成了券商们争相抢夺的对象，似乎只要抢机房空间就能带来效益，这样推高了机房资源的价格，提高了数据中心的成本。（4）服务器的高性能、低应用广泛存在。为了系统能够有较强的处理能力，系统设计初期就按照超过实际利用率的容量来设计，使当前数据中心服务器计算能力的利用率低下，普遍低于 10%，这样的数据令管理人员充满信心，却不利于数据中心成本的利用。过度使用双机热备，使得资源更加浪费，实际上双机热备的使用率奇低，并且在发生重大事故时，双机热备并没有起到积极的作用，相反还给维护人员带来麻烦。（5）数量众多的服务器增加了维护难度。大量的服务器和软件及复杂的结构增加了维护难度，维护人员工作量增加，维护难度加大，而故障率实际在持续增加。

二：技术选型

随着证券业务的不断创新，数据中心需要根据业务建立与之相对应的信息系统。2013 年笔者公司数据中心在发展过程中同样遇到了数据中心的挑战。主备机房所有机柜均装满服务器，一时间电力、空间、空调资源紧缺，运维费用逐步攀升，有限的资源严重阻碍了信息系统的扩张，从而制约着公司业务的发展。在这样一种形势下，信息技术部提出了数据中心虚拟化的构想，并制定了中长期的虚拟化部署计划：

1，尝试性建设小范围虚拟化功能。2，加入关键性业务。3，建立自己的云平台。

目前我们处于第一阶段，利用数据中心设备需要更新的需求实施第一阶段的数据中心虚拟化计划。选用什么样的虚拟技术是虚拟化成败的关键，这需要结合自身实际情况进行论证。先后考察了 VM、思杰、微软、oracle 几家虚拟化技术提供商，参观了已经实现虚拟化的数据中心后，根据证券行业的特点，我们选定VM 作为我们的虚拟化平台。

三：架构设计

根据需要更新的设备计算能力，我们按照以下物理结构设计虚拟化计算模块。5 台高性能 X86 服务器，两台 san 交换机，一台 san 存储，两台以太网交换机。虚拟化平台包括：VMware vSphere 5.5VMware vCenter server5.5、Lab manager 5.5。主 要 功 能 包 括 HA、vMotion、DRS、Fault Tolerance、DPM、Storage vMotion、vStorage Thin Provisioning 、Data Recovery、Update Manager、vShield Zone、Host Profile、vNetwork。上述对计算资源的规划可以满足虚拟机环境资源突发时的资源溢出要求。

四：资源规则

4.1 存储规划

充分考虑到冗余和性能，存储架构的选择根据国家和各省级数据中心整体应用对存储的 IOPS 和吞吐量的需求进行规划，涉及到端到端的主机适配器选择、控制器和端口数量选择以及磁盘数量和 RAID 方式选择等。确保每个 ESXi 主机内虚拟机并发 IO 队列长度与HBA 适配卡设置保持一致。底层 LUN 的需求根据实际虚拟机应用对存储 IOPS的实际需求进行规划。根据应用的需要设置 LUN 的 RAID 结构为 RAID5。启用存储队列 QoS 确保核心应用的延时在可控范围以及对数据存储读写的优先级。磁盘阵列满足整个虚拟化环境最大 IOPS 的吞吐量需求，并配置足够的存储处理器、缓存和端口数。

4.2 网络资源规划

网络资源规划的目标是降低成本、改善性能、提高可用性、提供安全性，以及增强功能的虚拟网络基础架构，该架构能够更顺畅地在应用、存储、用户和管理员之间传递数据。在规划网络时，按照以下原则进行：（1）模块化网络可随时间的推移不断扩展以满足数据中心的需求，无需替换现有的网络基础架构，进而降低成本。（2）为了减少争用和增强安全性，按照流量类型（vSphere 管理网络（HA 心跳互联网络）、vMotion 在线迁移网络、虚拟机对外提供服务的网络、FT、IP 存储）对网络流量进行逻辑分离。（3）首选分布式交换机，尽可能少配置虚拟交换机。对于每一个虚拟交换机 vSwitch 配置至少两个上行链路物理网络端口。（4）实施网络组件和路径冗余，以支持可用性和负载分配。（5）使用具有活动 / 备用端口配置的网卡绑定，以减少所需端口的数量，同时保持冗余。（6）对于多网口的冗余配置应该遵循配置在不同 PCI 插槽间的物理网卡口之间。对于物理交换网络也进行冗余设置，避免单点故障。

4.3 可用性规划

充分考虑了虚拟化环境的可用性设计，例如：在网络层面和存储层面分别利用了 VMware vSphere 内置的网络冗余和存储多路径控制确保高可用。在服务器高可用性上，vSphere 内置了 HA，DRS 和 vMotion 等功能可以应对本地站点多种虚拟机应用计划内和计划外意外停机的问题。VSphere主机在高可用性集群中配置所有vSphere主机，最少应实现 n+1 冗余。虚拟机资源：vSphere DRS和vSphere Storage DRS可在主机之间迁移虚拟机，以便平衡集群资源和降低出现“邻位干扰”虚拟机的风险，防止虚拟机在主机内独占CPU、内存和存储资源，从而避免侵害相同主机上的其他虚拟机。当检测到I/O冲突时，vSphere Storage I/O Control会自动调节主机和虚拟机，确保在数据存储中的虚拟机之间公平分配磁盘份额。这可确保邻位干扰虚拟机不会独占存储I/O资源。Storage I/O Control会利用份额分配机制来确保每个虚拟机获得应得的资源。vSphere主机网络连接：为端口组最少配置两个物理路径，防止因单个链路故障而影响到平台或虚拟机连接。这包括管理和vMotion网络。可使用基于负载的绑定机制来避免超额使用网络链路的情况。vSphere主机存储连接：对于每个LUN或NFS共享，将vSphere主机配置为至少具有两个物理路径，以防止因单个存储路径故障而影响到服务。

4.4 管理与监控规划

VMware vSphere虚拟基础架构每天必须持续高效运行。而保持这种高效性首先要从正确设计管理和监视组件开始。根据实际的生产环境，对管理与监控组建进行整体规划，包括vCenter Server及其数据库，警报和ESXi主机安装与配置等。首选使用虚拟机部署vCenter Server和数据库系统。根据虚拟基础架构的大小部署一个vCenter Server系统。使用vSphere HA保护vCenter Server系统。不能将vCenter Server数据库系统和vCenter Server置于相同的系统中。限制具有vCenter Server访问权限的用户数量。对具有vCenterServer访问权限的用户采用最低特权原则。必须在虚拟机、ESX/ESXi主机和管理系统中保持时间同步。尽可能自动执行性能监视，并在超过性能阈值时创建用于通知的警报。但避免采用过于严格的vCenter Server警报设置。

五：获取的特性

在经过精心设计和部署后，一套完善的虚拟化设备快速地在数据中心开始运营。这套虚拟机包括以下功能模块：HA：当集群中的主机硬件或虚拟化软件发生故障时，该主机上的虚拟机可以在集群之内的其它主机上自动重启。当虚拟机的客户操作系统出现故障时，可以自动重启该虚拟机客户操作系统，保障业务连续性APP HA：提供应用级别的HA功能，可以自动检测并修复虚拟机内运行的应用故障，保障应用的持续可用。vMotion：支持虚拟机的在线迁移功能，无论有无共享存储，都可以在不中断用户使用和不丢失服务的情况下在服务器之间实时迁移虚拟机，保障业务连续性。DRS：提供将多台物理主机组成集群的能力，同时支持动态资源分配功能，可为整个集群中的虚拟机提供独立于硬件的动态负载平衡和资源分配，增强业务系统的服务质量。Storage DRS：提供虚拟机存储的动态负载平衡功能，通过存储特征来确定虚拟机数据在创建和使用时的最佳驻留位置，可根据存储卷性能及容量情况进行无中断自动迁移，消除存储隐患。Fault Tolerance：提供容错机制，可以保证运行虚拟机的主机发生故障时，虚拟机会自动触发透明故障切换，同时不会引起任何数据丢失或停机，保障所有应用持续可用。Storage vMotion：提供虚拟机的存储在线迁移功能，无需中断或停机即可将正在运行的虚拟机从一个存储位置实时迁移到另一个存储位置。支持跨不同存储类型以及不同厂商存储产品之间进行在线迁移。Hot Add：提供热添加CPU，磁盘和内存的功能，无需中断或停机即可根据需要向虚拟机添加CPU，磁盘和内存。EndPoint：提供虚拟机的备份功能，能够利用重复数据删除技术对整个虚拟机或虚拟机单个磁盘快速进行无代理备份(全备份或增量备份)和恢复。同时提供备份接口，能够与第三方备份软件无缝兼容对虚拟机进行集中备份。虚拟化网络安全（vShiled Zone,Networking And Security）：在虚拟化平台中通过虚拟设备安装方式，提供防火墙、VPN、Web 负载平衡器、NAT 和 DHCP 服务。 保护虚拟机与外部网络之间 建立了一道屏障以实现端口组隔离，以满足虚拟化环境中的网络安全需要。管理员可以观察虚拟机之间的网络活动，以帮助定义和优化防火墙策略，识别僵尸网络，并通过详细报告应用程序流量（应用程序、会话、字节数）来保护业务流程的安全。通过虚拟网卡级别的防火墙隔离和拆分虚拟数据中心，来保证关键应用的独立运行环境。vNetwork：提供分布式虚拟交换机功能，实现虚拟机之间或虚拟机与物理机之间的网络调度，通过分布式虚拟交换机可以在单一界面中对虚拟化集群环境进行统一的网络管理。同时提供网络接口，支持第三方虚拟网络交换机。另外具有PVLAN功能，以及Netflow，PortMirror等端口监控功能。VCloud：借助VCloud，用户可以把基础架构资源整合成数据中心资源池，并允许用户按需申请计算资源，从而实现安全的混合云。利用VCloud，企业可以自建云平台。

六：达到的目的

空间节省。整个虚拟化10台设备（存储1台，san交换机2台，ESXI主机5台，网络交换机2台）占据标准机柜三分之二空间，还有三分之一空间可用作未来扩展之用。可虚拟出60台X86服务器的计算能力，替换掉原来的服务器60台，节省5个机柜。能源节省。节省的5个机柜功率为10KVA，年省电87600度。虚拟机交付时间。平均5分钟即可交付一台虚拟机，这主要是利用了虚拟系统模板的功能，可以快速的部署出一台虚拟机。需要注意的是：每一台虚拟机操作系统是需要单独授权的，在正版授权方面和实体机没有区别。高可用性。虚拟机的自动漂移技术解决了ESXI主机的物理故障问题，使得虚拟机稳定可靠。如果需要应用高可用性，需要配置APP HA，或者请使用FT功能。承载的系统。清算系统、存管系统、风控系统、网上交易、手机炒股、测试系统。

七：后续的发展步骤

扩展计算能力。在现有的基础上增加ESXI主机、增加存储容量，在线扩充资源池以提升整体计算性能，可容纳更多系统。利用虚拟机VMotion，Storage VMotion功能可以实现资源池在线扩充，在系统在线的情况下实现计算能力增长，以满足后续需求的支撑。将关键业务纳入虚拟化设备中。根据前期积累的经验，计划后续会将集中交易系统、资管系统、存管系统，呼融资融券系统、呼叫中心等关键系统纳入虚拟机。一旦这些系统成功部署到虚拟系统中，数据中心虚拟化实现程度将进一步提高。建立私有云中心，实现按需分配，快速部署。利用VM的VCloud模块，可以轻松搭建企业云平台，真正做到按需分配，快速部署，节约成本，减轻运维负担。一旦私有云平台实现，数据中心将实现对业务快速的支持。届时，数据中心虚拟化，桌面虚拟化，轻型营业部虚拟化等等需求将轻松实现。私有云资源池将得到充分利用，数据中心将以最节省的成本实现最大的业务支撑能力。