本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。
本篇文章给大家谈谈it运维架构图,以及it系统架构图对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。
今天给各位分享it运维架构图的知识,其中也会对it系统架构图进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
本文目录一览:
安全运维管理如何保障企业IT系统正常运转
在这种极度复杂
it运维架构图的情况下
it运维架构图,需要
it运维架构图的是一个单一的、集成的解决方案,使得企业能够收集、关联和管理来自异类源的大量安全事件,实时监控和做出响应,需要的是能够轻松适应环境增长和变化的解决方案,需要的就是企业完整的安全管理平台解决方案。
但同时也存在另一方面的难题,仅依赖于某些安全产品,不可能有效地保护自己的整体网络安全,信息安全作为一个整体,需要把安全过程中的有关各方如各层次的安全产品、分支机构、运营网络、客户等纳入一个紧密的统一安全管理平台中,才能有效地保障企业的网络安全和保护信息投资,信息安全管理水平的高低不是单一的安全产品的比较,也不是应用安全产品的多少和时间的比较,而是组织的整体的安全管理平台效率间的比较。 完整的IT运维管理系统中必须要包含安全运维管理,通过建立网络安全运维管理系统,将网络安全日常运维管理各业务功能整合在一个统一的平台进行管理。 企业外网的安全运维管理 企业通过Internet网提供Web网站、邮件、FTP、视频服务等应用,这是目前很多企业网络应用中都必须要解决安全方面的一个共同问题。 防火墙是长期以来保障网络安全最常用的工具,自然也是企业网络安全保护的一项重要措施。采用防火墙技术对于企业来说无疑是最佳的选择,防火墙设置在不同网络(如可信任的企业内部网和不可信的公共网)或网络安全域之间的一系列部件的组合。它可通过监测、限制、更改跨越防火墙的数据流,尽可能地对外部屏蔽网络内部的信息、结构和运行状况, 以此来实现网络的安全保护。在逻辑上,防火墙是一个分离器,一个限制器,也是一个分析器,有效地监控了内部网和Internet之间的任何活动,保证了内部网络的安全。防火墙总体上分为包过滤、应用级网关和代理服务器等几大类型。 对于Web网站安全来说,首先是Web服务器的安全,一般用来架构web网站的UNIX系统,Linux系统,Windows系统,总的来说UNIX系统的Web站点的安全性较好、其次是Linux系统、目前被黑客和病毒攻击最多的是Windows,因此在企业经济条件允许的条件下,架构在AIX、Solaris以及HP-UNIX等UNIX系统平台上web服务器的安全性是首选。当然无论选择何种操作系统,系统补丁都要及时安装,只是Web网站最基本的条件。其次是采用web服务器软件的安全如IIS、Apache、Tomcat的安全配置,采用ASP/ASP.NET、PHP和JSP动态技术开发网站程序的安全,后台数据库系统的安全也是保证网站安全的重要因素。 虚拟专用网(VPN)是通过一个公用网络(通常是因特网)建立一个临时的、安全的连接,是一条穿过混乱的公用网络的安全、稳定的隧道。虚拟专用网是对企业内部网的扩展。虚拟专用网可以帮助远程用户、公司分支机构、商业伙伴及供应商同公司的内部网建立可信的安全连接,并保证数据的安全传输。虚拟专用网可用于不断增长的移动用户的全球因特网接入,以实现安全连接;可用于实现企业网站之间安全通信的虚拟专用线路,用于经济有效地连接到商业伙伴和用户的安全外联网虚拟专用网。 通过“安全邮件网关”有效地从网络层到应用层保护邮件服务器不受各种形式的网络攻击,同时为邮件用户提供:屏蔽垃圾邮件、查杀电子邮件病毒(包括附件和压缩文件)和实现邮件内容过滤(包括各种附件中的内容)等功能。采用基于内容过滤、实现查杀病毒和防范垃圾邮件的产品,大大提高了防范的准确率,垃圾邮件过滤率最高可达98%。 上面是企业外网安全运维管理所采用的安全产品与策略,以及一些安全措施。主要是保证网络和业务应用的正常、安全与稳定的运行,但从实际操作运行来看,特别是从目前的蠕虫、病毒、木马、僵尸网络、垃圾邮件等比较猖獗的情况下,通过安全产品和安全策略能抵挡一些,但还是显得“力不从心”,得不到人们想像的“预期效果”。 企业内网的安全运维管理 这里的内网主要是指企业的内部局域网。随着企业ERP、OA、CRM等生产和办公系统的普及,单位的日程运转对内部信息网络的依赖程度越来越高,内网信息网络已经成了各个单位的生命线,对内网稳定性、可靠性和可控性提出高度的要求。内部信息网络由大量的终端、服务器和网络设备组成,形成了统一有机的整体,任何一个部分的安全漏洞或者问题,都可能引发整个网络的瘫痪,对内网各个具体部分尤其是数量巨大的终端可控性和可靠性提出前所未有的要求。 相对于内网安全概念,传统意义上的网络安全更加为人所熟知和理解,事实上,从本质来说,传统网络安全考虑的是防范外网对内网的攻击,即可以说是外网安全,包括传统的防火墙、入侵检察系统和VPN都是基于这种思路设计和考虑的。外网安全的威胁模型假设内部网络都是安全可信的,威胁都来自于外部网络,其途径主要通过内外网边界出口。所以,在外网安全的威胁模型假设下,只要将网络边界处的安全控制措施做好,就可以确保整个网络的安全。 而内网安全的威胁模型与外网安全模型相比,更加全面和细致,它即假设内网网络中的任何一个终端、用户和网络都是不安全和不可信的,威胁既可能来自外网,也可能来自内网的任何一个节点上。所以,在内网安全的威胁模型下,需要对内部网络中所有组成节点和参与者的细致管理,实现一个可管理、可控制和可信任的内网。由此可见,相比于外网安全,内网安全具有:要求建立一种更加全面、客观和严格的信任体系和安全体系;要求建立更加细粒度的安全控制措施,对计算机终端、服务器、网络和使用者都进行更加具有针对性的管理等特点。 外网安全主要防范外部入侵或者外部非法流量访问,技术上也以防火墙、入侵检测等防御角度出发的技术为主。内网在安全管理上比外网要细得多,同时技术上内网安全通常采用的是加固技术,比如设置访问控制、身份管理等。当然造成内网不安全的因素很多,但归结起来不外乎两个方面:管理和技术。 由于内网的信息传输采用广播技术,数据包在广播域中很容易受到监听和截获,因此需要使用可管理的安全交换机,利用网络分段及VLAN的方法从物理上或逻辑上隔离网络资源,以加强内网的安全性。从终端用户的程序到服务器应用服务、以及网络安全的很多技术,都是运行在操作系统上的,因此,保证操作系统的安全是整个安全系统的根本。除了不断增加安全补丁之外,还需要建立一套对系统的监控系统,并建立和实施有效的用户口令和访问控制等制度。为了维护企业内网的安全,必须对重要资料进行备份,对数据的保护来说,选择功能完善、使用灵活的备份软件是必不可少的。目前应用中的备份软件是比较多的,配合各种灾难恢复软件,可以较为全面地保护数据的安全。 在内网考虑防病毒时,防杀毒方式需要全面地与互联网结合,不仅有传统的手动查杀与文件监控,还必须对网络层、邮件客户端进行实时监控,防止病毒入侵;防病毒软件应有完善的在线升级服务,使用户随时拥有最新的防病毒能力;对病毒经常攻击的应用程序提供重点保护。由于内部局域网一般都是通过防火墙实现与互联网的逻辑隔离,因此通过对防火墙的NAT地址转换,终端PC机的IP/MAC地址绑定以及安全策略的实现内网安全。局域网内的PC机操作系统、应用软件以及防病毒、软件的补丁与升级、正版软件的使用等也是影响内网安全的重要方面。 采用上网行为管理系统软件,实现网站访问限制、网页内容过滤、即时通工具过滤、IP地址绑定、IP访问控制等功能,为内网的用户实现了高度智能化的上网行为管理,全面保障企业关键应用的正常运行。应该以动态的方式积极主动应用来自内网安全的挑战,建立健全的内网安全管理制度及措施是保障内网安全必不可少的措施。 因此,企业内网的安全运维管理需要一个整体一致的内网安全体系,包括身份认证、授权管理、数据保密和监控审计等方面,并且,这些方面应该是紧密结合、相互联动的统一平台,才能达到构建可信、可控和可管理的安全内网的效果。企业用户内网安全管理制度、整体一致的内网安全解决方案和体系建设将成为内网安全的主要发展趋势。 企业网管系统中是否需要安全运维管理 随着企业网络应用和规模的不断增加,网络管理工作越来越繁重,网络故障也频频出现:不了解网络运行状况,系统出现瓶颈;当系统出现故障后,不能及时发现、诊断;网络设备众多,配置管理非常复杂;网络安全受到威胁,现在企业可能会考虑购买网管软件来加强网络管理,以优化现有网络性能,网管软件系统已经变成企业不可缺少的一项功能。 目前网管系统开发商针对不同的管理内容开发相应的管理软件,形成了多个网络管理方面。目前主要的几个发展方面有:网管系统(NMS)、应用性能管理(APM)、应用性能管理、桌面管理(DMI)、员工行为管理(EAM)、安全管理。当然传统网络管理模型中的资产管理,故障管理仍然是热门的管理课题。越来越多的业务将进入网络管理的监控范围,对于业务的监控的细分化,都将成为今后的网络管理系统完善的重点。 安全运维管理在企业IT 系统中的应用 1、安全管理平台及其应用 企业的网络存在着各种风险,如何保证网络安全有序运行成为用户最为关心的问题。当企业的网络工程师面对大量的网络数据时,
it运维架构图他需要的明确的思路、清晰的条理、实际可操作的依据,征对以上这些困惑,Broada安全管理平台(简称Broada SOC)集中对安全威胁进行检测和响应,使网络工程师能获取最新的安全信息,通过强大的实时故障处理、安全威胁响功能,进而查看企业IT系统的安全状况视图,从而整理出切实有企业有用的数据信息,提高安全管理效率,降低总成本并提高投资回报率。 下图是Broada S0C系统功能架构图,通过对防火墙、IDS等设备数据信息采集,能实时收集信息,然后通过事件处理中心,运行其独特的数据挖掘和关联技术能力,迅速识别出关键事件,自动做出响应,最大化地减少攻击对网络产生影响;同时强大的知识库也可以集成各种故障处理事件,网络工程师依据知识库所提供的帮助就能解决大部分的网络故障问题,有效减少了宕机时间,确保了运行效率,在此基础上能提供企业安全趋势分析,使网络工程帅能轻松了解各种风险并采取明知决策。 2、桌面安全管理及其应用 目前网络的另一大难题就是,企业网络规模的日益扩大,单纯手工操作已无法满足系统的需要,企业所需要的是能统一对内网所有PC机、服务器进行操作管理的IT运维平台,于是桌面终端安全管理系统的诞生就显得相当必要了,它主要实现两大功能:省去网络工程师大部分手工操作的时间,提高IT服务部门的工作效率;对员工的行为操作做审计规范,从网络参与者方面保障了网络安全。 下图是Broadaview广通桌面安全管理软件的功能示意图,可以看到目前企业所亟需用到的网络管理功能都一应俱全。软件分发、补丁管理、远程维护等功能非常方便网络工程师对整个企业网进行更新维护,同时可以通过事件报警器及时发现故障,帮助员工解决软硬件难题;桌面安全评估、非法外连监控、IT资产管理则能从安全性上保障企业网的良好运行,能有效防止企业机密外泄、IT资产流失、非法外连导致内网中病毒等情况的出现。 3、安全应用案例 杭州市民卡项目总投资1.2亿,是“数字杭州”的重点工程之一;旨在建立高效、便捷的公共服务体系。该系统分为两大部分:一是市民基础信息交换平台和基础信息资源的建设、管理与维护、市民卡的发行和日常管理、市民卡服务网点的管理等工作;二是市民卡的各种应用,如,以社会保障为代表的政府应用;以电子钱包为代表的电子支付应用;以城市交通为代表的公用事业应用等。 整个市民卡项目系统的主要由数据中心、交换平台和服务网络三部分组成。数据中心部分环境已有设备包括小型机、台式PC服务器、磁带库等,此外还包括数据库管理系统、中间件、备份管理系统等几部分数据系统。交换平台部分环境主要由消息中间件、部门交换前置机和遍布全市的服务网点系统组成。交换网络链路为租用的网通VPN网络。 为了保障整个系统正常、高效和稳定地运行,杭州市信息化办公室在充分调研了目前市场上可选的网管系统产品的基础上,通过公开招投标方式严格甄选,从稳定性、易用性、灵活性等方面进行了细致的考察,并从研发能力、核心技术、技术支持等方面进行了评估,最终决定采用广通信达公司的Broadview网络监控平台软件产品作为“杭州市民卡系统及网络管理系统”的主要支撑系统。 Broadview软件系统部署在一台PC服务器上,为杭州市民卡项目提供了一站式全方位的IT管理解决方案。 Broadview网络监控平台可以实时监控网络状况,掌控PC机服务器的性能数据,并深入到应用层对数据库、Web服务、Email服务监测,查看其运行健康度;强大的拓扑功能,能很快发现全网设备,让网络工程师直观明确全网的运行支撑资源,然后展现成网络拓扑图,并能单独提供每一设备的详细资料及运行情况,方便监控重要设备的运转;网络工程师还需要做的一件事情就是向信息中心领导汇报IT投资情况,在Broadview网络监控平台的帮助下,哪台设备出现故障,现用资金用于何种设备都能一一明确,可以说完全能给网络工程师提供IT投资依据,从而在硬件上保障整个杭州市民卡系统的良好运转。 广通信达Broadview平台采用面向运维服务的层次化系统架构,结构清晰,可扩展性强。系统具备全面的网络监测和健全的业务管理功能,内置多种监测器,支持主流操作系统的服务器、多厂家的各种网络设备、存储系统等。同时Broadview系统采用高度模块化设计,提供开放的API接口和高效的二次开发服务,方便地满足了市民卡各种个性化需求。 杭州市民卡网管工程运行以来,网络管理人员通过Broadview网络、业务拓扑图就可以实时监测市民卡网络运行状况、业务服务质量,并可通过Email、手机短信等多种方式及时接收报警,通过运维平台协同处理告警,大大缩短了发现和解决故障的时间,有效保障了网络的持续、稳定、高效运行,同时也大大降低了市民卡IT系统管理的运维成本。 三分技术,七分管理 总而言之,对于企业安全运维管理来说,三分技术,七分管理,在企业内部建立一套完善的安全管理规章制度,使管理机构依据相应的管理制度和管理流程对日常操作、运行维护、审计监督、文档管理等进行统一管理,同时加强对工作人员的安全知识和安全操作培训,建立统一的安全管理体系,帮助企业识别、管理和减少信息通常所面临的各种威胁,架构企业的安全保障体系。
一台服务器运行,另一台备份软件和数据库,这是什么架构
host-base:基于主机
lan-base:基于局域网
lan-free:基于SAN
server-free:基于SAN
LAN-FREE
环境:RS6000+FASTT700+3583带库,所谓LAN-free,是指数据不经过局域网直接进行备份,即用户只需将磁带机或磁带库等备份设备连接到SAN中,各服务器就可把需要备份的数据直接发送 到共享的备份设备上,不必再经过局域网链路。由于服务器到共享存储设备的大量数据传输是通过SAN网络进行的,局域网只承担各服务器之间的通信(而不是数 据传输)任务。
LAN_FREE是专门用于SAN环境下的备份,可以使备份的数据直接通过SAN的链路从备份客户端(AIX主机)到备份设备(磁带机,支持光纤),有别 于传统通过LAN链路的备份方式,这样可以不占用以太网络的带宽,一般要求硬件设备支持光纤存储(磁带机,阵列),需要通过SAN交换机(2109等)设 备将这些设备连接起来,软件要求TSM,和TSM对LAN_FREE支持的AGENT.数据库可用TDP。**
下图展示了Lan Free备份的方案架构图:
在这里插入图片描述
SERVER-FREE
SAN Server-Free备份 LAN Free备份对需要占用备份主机的CPU资源,如果备份过程能够在SAN内部完成,而大量数据流无需流过服务器,则可以极大降低备份操作对生产系统的影响。SAN Server-Free备份就是这样的技术。
在这里插入图片描述
一、备份的概念
备份顾名思义,就是将数据以某种形式保存下来,备份的根本目的在于恢复,在这些数据丢失、毁坏和受到威胁的时候,使用数据的备份来恢复数据。虽然备份的定 义可能很简单,不过具体实施存储系统的备份却可能是一份艰巨的任务,其中包含了许多可以预见的以及不易预见的需要考虑的因素。
二、备份与拷贝、归档的区别
备份不能仅仅通过拷贝完成,因为拷贝不能留下系统的注册表等信息;而且也不能留下历史记录保存下来,以做追踪;当数据量很大时,手工的拷贝工作又是何其麻 烦。备份=拷贝+管理。管理包括备份的可计划性、磁带机的自动化操作、历史记录的保存以及日志记录等等。正如生命周期理论将在线数据分级为在线和近线数据 一样,离线数据亦可分为备份与存档数据,以降低投资和运维成本。
存档的目的是将需要长期备查或转移到异地保存/恢复的数据存放到可移动存储介质上。严格意义上讲,存档的目的不是为了保障数据安全,而只是为了实现数据仓 储。如果说备份相当于桌头的字典,工作时会经常翻用,存档则好像日常工作中生成的一些具长期保存价值的文字资料,被转移到书架上或档案馆里备查。
三、常规备份的实现方式
通常一套完整的备份系统包含备份软件、磁带机/磁带库、和备份服务器,具体的备份策略的制定、备份介质的管理以及一些扩展功能的实现,都是由备份软件来最 终完成的。在备份服务器上安装备份软件的服务器端,在应用服务器端安装备份软件的客户端代理,如果是数据库应用还需要相应的数据库接口程序,客户端代理软 件和服务器端软件协调工作,按照预先制定的备份策略自动或手动的将数据备份到磁带上。然而一个具有一定规模的数据中心的数据备份要涉及到多种UNIX平台 和不同的数据库类型,可以想象每天的备份工作对于管理员来说都是一个挑战。
备份策略制定是备份工作的重要部分。一般来说需要备份的数据存在一个2/8原则,即20%的数据被更新的概率是80%。这个原则告诉我们,每次备份都完整的复制所有数据是一种非常不合理的做法。事实上,真实环境中的备份工作往往是基于一次完全备份之后的增量或差量备份。
完全备份很好理解,即把所有数据进行一次完整的备份,当进行恢复的时候只需要一盘磁带;
增量备份是只有那些在上次完全备份或者增量备份后被修改了的文件才会被备份,如下图,优点是备份数据量小,需要的时间短,缺点是恢复的时候需要多盘磁带,出问题的风险较大,
差量备份是备份那些自从上次完全备份之后被修改过的文件,如下图,因此从差量备份中恢复速度是很快的,因为只需要两份磁带(最后一次完全备份和最后一次差量备份),缺点是每次备份需要的时间较长。
备份窗口是在进行备份操作时,应用系统可以接受的最长备份时间,对于某些5X8类型的非关键应用备份窗口可以很大,但是对于7X24小时的应用备份窗口就会很小。
四、LAN Free和Serverless备份
所谓LAN Free Backup顾名思义,就是指释放网络资源的数据备份方式。
在SAN架构中,备份服务器向应用服务器发送指令和信息,指挥应用服务器将数据直接从磁盘阵列中备份到磁带库中。在这个过程中,庞大的备份数据流没有流经 网络,为网络节约了宝贵的带宽资源。在NAS架构中,情形十分类似,磁带库直接连接在NAS文件服务器上,备份服务器通过NDMP协议,指挥NAS文件服 务器将数据备份到磁带库中。细心观察之下会发现,这两种方式虽然都节约了网络资源,但却增加了服务器的工作负荷,缺点是价格非常昂贵,大多数备份软件的 LAN Free功能选项都需要用户付出高昂的价格。
Serverless Backup技术是以全面的释放网络和服务器资源为目的的,技术核心就是在SAN的交换层实现数据的复制工作,这样备份数据不仅无需经过网络,而且也不必 经过应用服务器的总线,完全的保证了网络和应用服务器的高效运行。但是现实情况却没有这么理想,Serverless Backup技术目前只能停留在纸面上,实际实施效果很差,完全不需要主机干预还不现实。
存储基础知识(八):备份技术(下)
一、主流备份软件
备份软件厂商中头把交椅当属Veritas公司。这家公司经过近几年的发展和并购,在备份软件市场已经占据了四成左右的份额。其备份产品主要是两个系列 ——高端的NetBackup和低端的Backup Exec。其中NetBackup适用于中型和大型的存储系统,可以广泛的支持各种开放平台。NetBackup还支持复杂的网络备份方式和LAN Free的数据备份,其技术先进性是业界共同认可的。
Backup Exec是原Seagate Soft公司的产品,在Windows平台具有相当的普及率和认可度,微软公 司不仅在公司内部全面采用这款产品进行数据保护,还将其简化版打包在Windows操作系统中,我们现在在Windows系统中使用的“备份”功能,就是 OEM自Backup Exec的简化版。2000年初,Veritas收购了Seagate Soft之后,在原来的基础上对这个产品进一步丰富和加强,现在,这款产品在低端市场的占用率已经稳稳的占据第一的位置。
Legato公司是备份领域内仅次于Veritas公司的主要厂商。作为专业的备份软件厂商,Legato公司拥有着比Veritas公司更久的历史,这 使其具有了相当的竞争优势,一些大型应用的产品中涉及到备份的部分都会率先考虑与Legato的接口问题。而且,像Oracle等一些数据库应用干脆内置 集成了Legato公司的备份引擎。这些因素使得Legato公司成为了高端备份软件领域中的一面旗帜。在高端市场这一领域,Legato公司与 Veritas公司一样具有极强的技术和市场实力,两家公司在高端市场的争夺一直难分伯仲。
Legato公司的备份软件产品以NetWorker系列为主线,与NetBackup一样,NetWorker也是适用于大型的复杂网络环境,具有各种 先进的备份技术机制,广泛的支持各种开放系统平台。值得一提的是, NetWorker中的Cellestra技术第一个在产品上实现了Serverless Backup的思想。仅就备份技术的先进性而言,Legato公司是有实力可以挑战任何强大对手的。
除了Veritas和Legato这备份领域的两大巨头之外,IBM Tivoli也是重要角色之一。其Tivoli Storage Manager产品是高端备份产品中的有力竞争者。与Veritas的NetBackup和Legato的NetWorker相比,Tivoli Storage Manager更多的适用于IBM主机为主的系统平台,但其强大的网络备份功能觉对可以胜任任何大规模的海量存储系统的备份需要。
CA公司是软件领域的一个巨无霸企业,虽然主要精力没有放在存储技术方面,但其原来的备份软件ARCServe仍然在低端市场具有相当广泛的影响力。近年 来,随着存储市场的发展,CA公司重新调整策略,并购了一些备份软件厂商,整合之后今年推出了新一代备份产品——BrightStor,这款产品的定位直 指中高端市场,看来CA公司誓要在高端市场与Veritas和Legato一决雌雄。
二、带机、带库厂商及产品
备份设备的生产厂家很多,每个厂家都有着较长的产品线,由于篇幅所限,我们不可能一一列举。这里主要介绍那些国际知名的、国内有影响力的带机和带库原厂商 及其主打产品。目前,带机正在朝快的数据传输速度和高的单盘磁带存储容量方向发展,具有主流驱动技术的带机厂商包括Quantum、Exabyte和 Sony等。
Quantum带机在中档产品中占据了市场大部分份额,但其中很大一部分走了OEM的销售渠道。其自动加载机SuperLoader可将多个备份目标集中 到一个共享的自动系统中,降低处理成本,而基于磁盘(备份介质是磁盘)又具有磁带海量特性的近线备份设备DX30可显著缩短备份与恢复时间。
Exabyte的磁带驱动技术包括8mm Mammoth和VXA技术,VXA是定位低端的新的磁带技术,它以包的格式读写数据,并可对磁带上的数据记录区进行无空隙扫描,具有高质量、高可靠性、低成本等性能特点。其中VXA-1带机专为苹果机设计的存储方案;VXA-2同样具有较高的性价比,并具有12MB/s传输速率及160GB容量,与VXA-1向下兼容。
这里我们有必要讲一讲Sony的基于AIT技术的带机产品:AIT-1、AIT-2和AIT-3,其中AIT-3是高性能和大容量的新存储方案,容量(未 压缩)为100GB,速率为12MB/s,而且能够与AIT-1、AIT-2完全读和写逆向兼容,并具有分层磁头、创新性的磁带内存储器(MIC) 驱动器接口系统等多项专利技术,提高磁轨密度和存储速度。
磁带库厂商相对品牌较多,用户的选择空间也更大一些。目前主流的磁带库厂商主要有STK,Quantum,Exabyte和IBM等。
在带库厂商中,市场份额最大的当属美国存储技术公司(StorageTek,STK)。STK目前最主要的产品线是L系列,包括L20、L40、L80、 L180、L700、L5500,从最小20磁带槽位到最大5500磁带槽位。在其入门级产品上,支持LTO、DLT和SuperDLT等开放技术,只有 在高端产品上才同时支持其自身拥有的9840、9940驱动技术。
Quantum拥有DLT、SuperDLT技术,其用户基础和发展前景都很好。其P系列的主打产品P4000和P7000分别可以支持几百槽位和十几个 驱动器,适合于企业级用户;M系列是模块化的产品,可根据用户系统需求的增长灵活扩展带库的容量和性能,M1500可从20槽位扩展到200槽 位,M2500则可从100槽位扩展到300槽位,非常适合于那些快速发展的中小企业。美中不足的是,ATL对超大容量的解决方案不是非常理想,在这一部 分市场上的竞争力较弱。
8mm是安百特(Exabyte)公司的独立技术,具有速度快、容量大、可靠性高、价廉、体积小等特点,主要用于带库,其8mm带库的智能机械臂系统可任 意存取磁带,采用模块化设计,产品线全,从VXA自动化/驱动器产品系列AutoPak230/115/110、VXA-1/1到Mammoth Tape自动化/驱动器产品系列X200/80/430M/215M/EZ17、M2/Mammoth/Eliant 820,容量从单盘(非压缩)33GB到整库12TB,涵盖由低到高的用户市场,可实现无人值守自动数据存储管理,适用于服务器备份、网络备份、自动归 档、分级存储管理及图形图像等领域。
IBM,众所周知,生产和销售所有IT类产品,当然也包括带库产品。IBM的带库和带机产品大体可分2个系列:用于IBM环境的和用于开放环境的。如 IBM的3494、3575等带库只支持其专用的驱动器,开放性差,虽然这些带库产品也支持HP、SUN等主流服务器平台,但实际上几乎只用在IBM环境 中。随着SAN技术的普及,追求开放性和互联性成为存储行业的潮流。结合LTO驱动技术的投产,IBM为其开放存储系统解决方案推出了新的带库系列—— 3583和3584。
三、备份技术新趋势
D2D2T是Disk to Disk toTape的缩写,即数据备份从磁盘阵列到磁盘库到磁带的过程。传统的磁带备份总是会带给用户以下苦恼:
1、备份速度慢,备份窗口冗长
2、备份的根本目的在于恢复,而磁带的恢复速度很慢,对于TB级的数据恢复等待时间过长
3、磁带介质受灰尘、温度、湿度影响很大,难以保证已经离线保存的磁带在需要的时候可以正常工作
4、磁带库的机械手等物理设备的故障率和磨损率相对电子元件较高
相信长期从事磁带备份工作的管理员(尤其是大数据量关键应用的磁带备份)对以上几点都会深有感触,尤其是当在线数据受到破坏,需要依靠磁带备份来恢复正常生产的时候,大家都会为能否顺利恢复数据捏一把汗。
有什么办法可以解决磁带备份固有的劣势呢?随着磁盘容量的增长价格的下降,使用磁盘备份作为磁带备份的补充甚至替代都成为可能,当然磁带体积小,便于归档 等特点是磁盘设备不具备的,因此D2D2T即磁盘到磁盘到磁带备份方式有效地中和了磁盘备份和磁带备份的优点,在线数据保存在高速磁盘阵列,备份数据首先 保存在性价比较高的SATA磁盘阵列中,然后定期将磁盘备份的数据保存到磁带上,这样既缩短了备份窗口又增强了数据恢复的可靠性。
运维真的是整个IT行业技术含量最低的岗位吗?
在互联网行业,运维一直是一个被深深误解的位置,以至于很多人认为IT行业运维的技术含量很低,其实并非如此。
从本质上讲,运维其实就是你用自己的技术储备知识的岗位,保证你管理的IT服务能够正常运行。
在商业上也是一样。软件工程师的任务是通过编写代码将软件以图形化的形式提供给用户,而运维工程师的任务是使软件在计算机或系统上正常运行。但是一旦软件出现问题,大多数人想找的是软件工程师,而不是运维工程师。
就像我们盖房子一样。产品开发负责房子的规划,设计师负责房子的外观设计,开发工程师负责建造房子,运维负责打好房子的地基。而打好地基,并不意味着简单地挖个坑。里面的技术含量很高。必须彻底研究坑的大小、深度、大小、湿度等。
房子盖好后,大家只会关注房子盖好后的风格。很少有人会注意房子的地基,但是一旦房子倒塌,大家就会怀疑地基是否牢固,运维这时候就出来了。回到平底锅。
很多人片面地认为运维没有技术含量。这其实是一种错误的认识。因为运维也是分很多层次的,就看你达到了哪个阶段。基本上,现在一个运维除了掌握基本功,如果你还可以掌握云计算技术和一门编程语言(比如Python语言最适合运维人员),那你就已经是高人了级别,基本上是全栈开发运维人员。这种运维不用担心找不到工作,工资自然比其他普通运维高。
我自己在大公司和小公司都待过。我觉得主要是初级运维太多了,他们做了很多根本不能叫运维的事情。总结了以下几点:
运维必然会做基础工作,比如部署服务,上线,甚至搬机器,重装系统等等。但是运维不能只做这个,所以如何在剩余的时间内做有利于运维技术提升的事情就显得尤为重要。
举个简单的例子:当你做研发的时候,你在其中处于什么位置,你如何体现你的价值和技术能力?如果没有,你基本上是在帮助别人。
广泛的范围包括:硬件、网络、操作系统、数据库、存储、开源软件;职责:部署和调试各种功能,如ldap、samba、nagios等;进一步细化的分工还包括:压力测试、性能优化、内核参数调优、系统问题跟踪等。
很多运维要在不同层次上做太多的事情,导致很多事情只是完成任务,缺乏深入研究,当然也可能缺乏深入研究场景。
其实和第一点关系比较大,因为目标本身没有足够的规划,总结性的介绍不够,技术的提升也比较有限。
举个真实的例子,我认识一个做运维7年多的人。这期间,他在几家公司干了很多事,时间也不短。通常情况下,会有相当多的积累。前段时间,我正要推荐他在内部击球时,我查看了他的简历。我有几个感受: 整个简历都是描述性词汇,没有数据支持;项目工作全是叙述性描述,充满服务搭建和问题解决,没有技术点;唯一的技术工作是一笔带过,没有方案选择和技术能力体现,技术水平无法体现;
我自己也面试过很多人,说实话,这种简历离及格还差得很远。应聘公司拿到这样的简历,怎么能快速的了解到你就是公司需要的人?
如果我们不知道运维的具体内容,我们无权评价运维的技术含量。一般来说,互联网公司的运维内容分为两个层次:
简单的说,就是部署服务、维修电脑、安装系统、安装软件、处理网络问题等等,做各种家务活,甚至弄个路由器、剪网线。
网络运维,即网络工程,必须精通各种网络协议和架构,Cisco、华为、H3C路由和交换,至少两项;
数据库运维,数据库运维应该理解为DBA,至少要精通,并且要精通数据库;
操作系统运维必须精通操作系统,了解操作系统内部工作原理,了解一些硬件知识,了解网络协议进行故障排除;
还有很多其他的事情,比如服务器运维,都需要覆盖面广,同时拥有多种技术;
运维技术差,可能只是因为公司小,如果公司规模小,大家看到的运维工作只能是表面和基础的工作,现在很多运维岗位都被云服务取代了。运维的内容是在云平台上运行软件。
事实上,有人认为在平台上操作软件很简单,但实际上,如果没有计算机相关知识的积累,很难知道云平台上的功能实现。在这方面,技术含量不低。
如果公司逐渐成长为大型公司,运维的价值就会凸显。比如云资源和离线资源的管理、数据库管理、网络管理、计算资源、网络资源负载、调度处理,都需要丰富的计算机理论知识和实践经验,否则无法提供稳定、上层的可靠服务。
作为一家提供互联网服务的公司,用户能否稳定可靠地使用互联网服务,是他们生活的基础。想象一家公司每三天失败一次并且服务不可用。虽然强调了运维的存在,但大家还会相信你的产品吗?
运维功能:
首先,BAT在运维上的分工更加细化。通常,系统、数据库和应用运维是完全分离的。因此,它可能更侧重于功能,当然涉及的范围肯定会很窄。
在工作职能方面,运维主要围绕可用性、效率提升和成本控制三个主要方面,与公司和研发目标密切相关。运维所做的大部分工作都是基于这三个目标。拆卸。
在技术改进方面,主要是以项目的形式,利用对服务的理解和技术方案来解决常见问题。
技术工作:
以服务可用性为例。这不仅仅是处理警报。操作时要小心。就像编写一些自动化工具一样简单。
在工作方式上:
严格按照既定计划安排工作、审查、总结。分工的实施是否有明确的规则,什么时间维度准确到季度?月?星期?天?我多久回顾一次?
结合这些方面,BAT运维的同学才有可能实现快速的技术提升。这是我所看到的。
最后说一下运维方向:
为了在运维方面有一个光明的未来,需要几个要素:
至少是已经发展起来并具有一定机器规模的业务。没有必要在这里击球,但选择适合您的。
很多人不喜欢处理问题,然后只想着做高大上的事情。我不想告诉你这个结果,但它没有接地,他们制作的东西没有使用,等等。
所以我觉得运维架构师一定是一个懂业务、熟悉业务、非常熟悉的人。我身边也遇到过这样的人。他们级别很高,通常不处理任何问题,但在关键时刻(例如出现问题时),他可以快速找到关键点并解决它们,有些细节甚至比您还要多。明白了,不得不佩服。运维一定是这样的人!
就算每天重复上线、处理故障问题、响应需求、开发维护脚本,也无所谓。关键是你有没有从你做过的问题中看到业务和运维中的痛点,并使用现有的。技术方案,处理解决!
有很多问题,并不是说解决了很多问题就是一个伟大的人。问题的关键在于如何解决问题,同时体现你的整体视角和技术能力。
举个最简单的例子,一台机器的磁盘快满了。这一定是一个特别小的问题。运维同学应该经常遇到。
如果你只检查磁盘使用情况,然后删除数据或调整删除磁盘的脚本,那是最糟糕的文件;检查磁盘使用情况,确认是单机还是批处理机有问题,为什么此时报告,确认清楚可以解决,这是一个更高的层次;我查看了磁盘占用,彻底发现了磁盘增长的原因,但发现磁盘增长是不可控的,现有的数据删除方法无法避免报警。那么有没有办法保证重要数据正常保留时磁盘不会报警呢?然后用技术方案解决,这是更高的层次。 . . . . .有很多这样的例子。
你会发现运维其实就是利用你对系统、网络、硬件、规格、服务的熟悉,结合专业知识,用技术方案解决一系列研发测试无法解决或无法解决的常见问题。单独解决。并且可以形成工具、平台、框架,最终为运维部门甚至公司创造价值。这是一个很棒的操作和维护。
所以还是同一句话:没有技术含量低的岗位,全看你怎么做。
随着时代的发展,我们现在使用的任何技术,很多事情都可以通过云计算解决,也有相应的产品和方案来解决,云计算也对运维产生了一定的影响。新的发展趋势由此而来。
第一个是从IOE到开源X86。其实去IOE也有一段时间了,为什么要去IOE? 2008年,全网印象比较深刻。当时,安全已逐渐上升到国家层面。此外,中国本土环境也日新月异。国产化需求和自主研发能力越来越强。一个强大的内部基因被定位。此外,还考虑到无论是国家层面还是企业层面,各行业都希望灵活控制结构的能力。这也是这个行业本地化的需求,这也是去IOE的第二个理由。从长远来看,IOE架构和非IOE架构会长期共存,因为技术系统的升级不是一两天就能解决的,尤其是一些核心数据库、核心应用、核心系统的核心系统。当年经常部署在IOE框架下。
第二个是运维自动化和智能化。这个已经提了好几年了,从接触实践到现在大概有五六年了,现在还在提。事实上,很多行业一直在迭代优化运维的自动化和智能化。它确实可以为我们的运维带来很多优势和优势。
第三个是双态IT运维。在传统向互联网和移动转型的过程中,一方面为了保证现有业务的运营,另一方面为了适应这种新的IT技术的变化。
第四个是研发与运营的融合,即DevOps。 DevOps 在过去的两三年里已经渗透到了千家万户。其核心理念包括精益管理、敏捷等理论,通过持续交付、持续集成工具链,以及一些轻量级的IT服务管理。基于这些概念和工具,形成了从研发到运营的全流程体系。IT运维效率更高,迭代更快,反馈更快,更好地满足内部业务需求和用户需求。这也是研发运营一体化理念的价值所在。
第五个是整合云资源,提供一个更大的平台来支撑大数据、AI智能、运维等一切各行各业 这也是互联场景的一大趋势。这对运维来说既是挑战,也是机遇。为什么?因为这个行业在不断变化,技术也在不断变化,只要顺应大势而变,我们就站在时代的潮流中。
如果我们在之前的运维理念上还是保守的,不上云,不摸云,那你肯定被淘汰了,因为我十年前很难部署一个数据库,各种配置,各种调用,现在就可以直接打开一个RDS,进行优化,集群就完成了。在效率和稳定性上,分分钟达到我们传统的运维水平,这也是我们运维要面对的大势所趋。
基于此,云原生的概念在过去一两年比较流行。事实上,它是对现有云架构系统技术栈进行更深更广的整合,采用Devops、微服务、敏捷的概念,采用类似中国大陆和台湾的概念或者开放的概念来构建和重塑技术体系,更好地支持新业务的快速迭代开发,这其实和DevOps的概念有很多相似之处。
第六个是数字化。这也是近两年在中国的热门话题。事实上,它也是。我们曾经建设过各种各样的信息化,建设了很多系统和平台,但往往也搭建了很多障碍,导致我们很多信息系统不可用,业务碎片化。组织也支离破碎。数字化要解决的问题是通过底层的数据和算法构建新的服务,打通我们的业务。这就是数字化要解决的问题。
大体上讲了这么多趋势,当然也有一些,大体是一样的。以前是用硬件,现在是软件自动定义;过去用服务器,现在用云,我们现在用云,未来可能更混合。云端,云端整合;以前是技术运维,现在从事技术运维的整合;另外,同样重要的是,无论我们现在做什么,网络空间安全现在都提升到了国家层面,在企业里面也提供了企业的最高点,这个网络安全是IT的一个标准。
如何接手一个新业务的运维工作
丑话说前头
先跟研发leader沟通,灌输运维理念,丑话说在前头,我们不做保姆式运维,我们会致力于线上服务安全、稳定、低成本、快速迭代,从运维视角提高产品力。开发机、测试环境,研发自己搞,我们可以协助帮忙,做专业的咨询服务,想让我们直接操刀开发环境的变更,免谈!
业务概要了解
了解业务相关的人,对应的研发同学、研发leader、测试同学、测试leader、产品经理分别是谁,联系方式存下来,拉个群,出了问题可以找到对应的人。
了解服务是干啥的,解决了什么问题,业界有对标的开源产品吗,方便我们快速认识这个产品。
了解服务的上下游,依赖哪些服务,哪些服务依赖我,对应的接口人是谁,这里先简单了解一下即可。
了解服务部署情况,部署在哪些机房,用什么语言编写的,基础网络、专线带宽、机房出口是否靠谱,是否曾因基础设施导致过问题,当前主要痛点是什么。
业务串讲
要求研发同学(或者上一任运维同学)准备PPT,做一个业务串讲,讲解一些研发同学希望传达给运维同学的信息,讲解一些运维同学希望从研发这得到的信息。比如:详细部署拓扑、服务整体架构、数据流、提测变更流程、监控方式、部署到了哪些机器、机器登录方式、每个机器上是什么模块、OS参数是否有调优,考量是什么、用到了哪些第三方软件,考量是什么,比如为啥用了tomcat而不是resin、相关wiki、故障处理预案、常见故障、当前线上问题……等等
如果业务有单点,不接,让研发改造。如果运维的老板的老板强制要求,丑话说前头:因单点导致的问题,运维不背锅。
资产梳理
正式准备接手,第一步,梳理资产。比如用到了哪些域名,这些域名对应哪些业务、哪些虚IP,分别是提供了什么服务、哪些机器,分别部署了什么模块、业务在哪些机房、用了多少带宽、总带宽情况、是否有其他业务共用争抢。
机器需要拿到更详尽的信息,比如机器配置、机架位、IP、管理卡IP等等,公司应该有个CMDB供查询。如果没有,运维同学,需要你去构建这个CMDB。
后面要考虑机器是否需要有备机、备件,机型是否可以统一。
基础监控
知道有哪些资产了,就可以对这些资产做监控了,比如域名连通性监控/延迟监控、虚IP的连通性监控/延迟监控、机器宕机监控、机器硬件监控、sshd/crond等系统进程监控、系统运行的进程总数监控、系统参数配置监控,可以参看我之前的文章《 完备的监控应覆盖什么 》
服务梳理
吃透之前串讲时给的架构图、数据流图、部署拓扑图。从运维层面,最好还要知道公司网络拓扑图。
了解每个模块的情况,部署在哪些机器上,部署在哪个目录,用什么账号启动的,日志打到哪里了,用什么语言编写的,怎么上线的,主要吃CPU资源还是内存还是磁盘还是IO,需要预留多少资源,平时利用率是多少,应该配置多大的阈值做监控,是否需要watchdog自动拉起,日志里出现哪些关键字需要报警,以及其他各种需要注意的问题。
业务监控
基本的进程、端口存活性监控,机器利用率监控、日志关键字监控、日志不滚动监控、关联的服务的监控等等,后面会做API粒度的监控,来推动业务优化。
标准化改造
机器命名方式、操作系统发行版、OS版本、第三方软件,比如jdk、tomcat、nginx,都要统一,做标准化方案。
服务扩容、变更、下线做一键化,每次升级只需要给个版本号即可,此时研发操作还是运维操作效果一样,故而可以交给研发上线,释放运维人力,权限要控制好。
重复的常规操作也要固化成脚本,一键完成。
梳理故障自愈场景,看平时有哪些故障的处理方式是固定的,抽象为脚本,报警之后自动触发,无人值守处理。
公司如果有一些基础设施,比如名字服务、MQ、日志平台,推动研发改造,将新服务接入。如果公司还没有这些基础设施,作为运维这个角色,可以着手搞起。
SOP梳理
故障预案是一个非常重要的事情,线上没出故障之前,就应该提前去想,服务可能会出什么故障,如果真出了,应该如何处理,把处理步骤提前记录下来。毕竟,线上出故障的时候,人都比较紧张,直接看着预案处理,就踏实不少,不容易出错。
故障演练
光有预案没有演练,是不靠谱的,没有经过验证的预案是不可信任的。所以,搞个放火演习,把模块搞挂试一把,把机器搞挂试一把,对线上稳定性绝对会有提升。
特别是研发说这个模块挂掉,可用性肯定没影响,OK,搞挂试试先。很可能会打他脸,-_-||
有些场景演练是会有损的。这种场景还要不要演练?这个需要case by case的看,大部分情况都是要做演练会更好,毕竟,人在这盯着的时候出问题,比晚上睡着了出了问题要强太多。当然, 大规模基础网络故障这种演练,还是算了吧,通常的业务都是不具备机房级容灾的,呵呵
上面做完了,基本工作就完成了。上面很多事情都是一次性的,那未来的大把时间运维做啥?
除了再花费部分时间做线上问题处理,我们应该把主要精力来提升业务产品力。做精细化运维,还记得运维九字真言么?“安全稳定高效低成本”,这就是我们的工作方向。下面举几个例子。
再谈业务监控
上面谈到过一次业务监控,主要是一些通用的监控指标。我们对产品了解足够之后,应该做一些业务特有的监控,推动研发去做也可以,达到效果就好。
比如你运维了一个MQ,消息堆积量是需要监控滴;比如你运维了一个RPC服务,提供了三个接口,这三个接口的响应时长、成功率是需要监控滴;比如你运维了一个S3服务,每个桶的短期带宽增量你是需要监控滴;有那么点感觉了么? :)
API成功率、延迟统计
在流量入口的nginx做所有业务线的所有API的成功率和延迟统计,是非常有必要的。把成功率比较低的TopN找出来,把延迟比较大的TopN找出来,让业务去优化。老板会喜欢这个的。
线上问题梳理
整理线上所有问题,挨个解决,运维可以搞定的运维搞定,运维搞不定的找研发要排期,每周解决了多少问题,还有多少问题待解决,用周报的方式体现出来。
成本优化
通过服务混部、或者统一的资源调度平台来节省机器资源,一台机器便宜的也好几万呢,这个事是比较容易有产出的。
容量规划
容量规划和成本优化实际是紧密相关的,容量规划的重点是根据自然增量和运营需求,提前规划准备相应的容量,容量可能包括带宽、专线、网络设备、机器等等;当业务量下来的时候,可以腾挪相关资源支持其他业务线,让这些硬件尽量满负荷运转,物有所值。
业务精细化运维可以想出各种事情来搞,除了做这事,另一个需要长期投入的是构建运维基础平台,像什么监控系统、部署系统、产品库、资源利用率平台、域名管理、四七层接入配置平台、日志平台、Trace系统等等等等,嗯,其实运维还是挺忙的。
关于沟通
最后说一点,接手一个新业务运维,势必与研发有各种沟通,每次沟通都要写会议纪要,发邮件出来,跟进人是谁,时间点是啥时候都要写明白,邮件发送双方团队邮件组,cc各方老大。事后关键节点做check,如未完成,线下沟通,达成一致后追此邮件给结论,说明延期原因以及新的时间点。如果沟通不畅,让老大去协调。
如何依托于“云”搭建企业级的电子保单云平台?
这个我们有详细it运维架构图的基于超融合架构私有云,帮助保险企业搭建企业级it运维架构图的电子保单云平台案例,详细如下《业务系统 “看得见” 的超融合价值 — 保险报表系统》,虽然广告嫌疑,但也全面系统,有兴趣不枉看下,也算是多一个选择。正文如下:
节省空间、使用运维简单、快速敏捷部署、提供更高的性能……以上优势对于部署和使用过 SmartX 超融合的 IT 基础架构部门人员来说并不陌生。这些优势,对于 IT 运维人员来说是可以量化,可以被看得见的。
但对于业务部门来说,他们期望的 IT 基础架构是对业务系统透明,因此业务部门和 IT 运维部门对于基础架构的看法和关注点有所不同。
业务部门更关注什么?
业务部门首先关注的是系统的稳定性,即:基础架构部门提供的 IT 基础设施资源是否稳定、可靠it运维架构图;
业务部门也关注所提出的资源请求被响应的效率,即:IT 基础设施资源提供的敏捷性;
同时,业务部门也非常关注什么样的 IT 技术能够提升业务系统的指标和效率,即:让运维部门所认为的很牛的 IT 技术如何转化为业务部门能够看得见的可量化的业务指标?
今天我们来谈一谈,如何利用超融合技术给保险行业报表系统提升效率。
背景
报表、MIS 系统(不同保险公司的叫法不尽相同,本文统称 “报表系统” ),对于保险行业来说并不陌生,报表系统通常由以下三个部分组成:第一部分为业务系统数据源;第二部分是数据加工处理部分,第三部分为报表的使用。
业务流程示意图
三个部分中最为核心的是用于存储、加工处理数据的加工处理平台部分。首先通过数据抽取工具将各重要业务系统数据抽取到数据仓库中,在数据仓库中按照需求对数据进行计算、加工处理,然后将加工好的数据按照需求通过报表系统进行展现,以满足各部门人员对报表数据的需求。
业务指标
对于报表系统主要关注两个指标:
数据仓库中数据的新鲜度,即:仓库中的数据是否为最新数据,通常行业内期望能够获取前一工作日的数据,所以数据采集的速度越快越好。
数据加工和展现的速度,即:用户在提交it运维架构图了报表请求后,在多久之内能够获得生成的报表数据,通常根据用户所要查询的不同复杂程度和报表内容,生成报表的时间也有所不同,用户的希望是越快越好。
实例分析
某用户报表系统现状
当前生产环境
用户通过数据抽取工具将业务数据抽取到 Greenplum 数据库,报表系统则是采用 IBM Cognos 报表工具。Cognos 部署于某知名中高端存储和 VMware 虚拟化组成的虚拟化平台上。
当前系统每天的基本业务流程如下:
Job 1:每天凌晨 01:00 ,从 Greenplum 中导出数据到各个前端 Cognos VM,导出数据所需时间 4-5hr。
Job 2:每个 Cognos 主机进行不同模型的计算分析并生成报表,报表类型按照难易程度分为简单模式、中等模式、困难模式。
当前系统运行效果数据如下:
当前系统运行效果
通过超融合架构对现有系统进行改造
超融合方案架构图
通过对原有系统分析了解到,由于 Cognos 所在虚拟机部署于传统架构存储上,而在从 Greenplum 数据库向 Cognos 主机导入数据的过程中,会有大量的顺序 IO 写入。传统存储采用 SAS 磁盘作为存储介质,存储的性能成为数据写入速度的瓶颈。
因此,我们通过部署一套三节点(最小部署规模)超融合一体机,搭建了 SmartX 超融合集群。将 Cognos 虚拟机在超融合平台进行部署。
单节点硬件配置(集群共 3 个节点)
CPU:2 x Intel Xeon E5-2670 v3(2.30 GHz,12Cores)
RAM:128GB
SSD: 2 x 400GB
SATA:4 x 1TB
同样的导出数据规模,以及报表模型,测试数据如下:
超融合改造后系统运行效果
效果对比分析
Job 1:数据导出速度由之前的 4.5hr,缩短至 0.5hr。性能提升了 8×。
Job 2:三种不同复杂程度的报表模型,有 1× – 3× 的性能提升。
对业务的提升
通过对用户现有平台的超融合改造,从两个重要 Job 阶段体验到超融合对业务系统带来的价值:
数据导出速度提升 8 倍,理论上用户可以在更早的时间内获取最新的业务数据,提升了报表数据源的新鲜度;同时随着业务数据的不断增长,原有传统架构很快就会突破业务部门所规定的时间限制窗口(1:00am – 6:00am),而部署在超融合架构上的报表系统还远远没有达到窗口限制。
报表生成速度的提升,进一步提升相关业务人员的效率以及客户的满意度,提升业务水平。
随着金融行业 IT 系统的迅速发展,业务系统的发展对 IT 系统的依赖程度与日俱增。按照金融科技服务金融业务的目标和宗旨,每一次 IT 基础架构的变革和创新都将以更好地服务业务为目标,只有能够提升业务效率的 IT 系统才能真正实现价值。
超融合基础架构(HCI)和传统基础架构相比,有什么优势?
一、架构和资源管理模式对比
如下以SmartX 超融合产品为例,分别给出了下超融合架构和传统架构的部署区别和资源管理模式区别。
图1 传统架构和超融合架构的部署区别图2 传统架构和超融合架构的部署与资源管理模式区别
相比传统FC SAN架构,超融合架构有了如下显著的变化:
1.不再使用专有的存储硬件和网络,而是使用标准和易于维护的 x86 服务器与万兆以太网交换机;
2.核心是分布式存储,每个服务器就是一个存储控制器,需要说明的是,其中每个节点都需要配置SSD盘作为缓存,缓存容量远大于传统存储的易失性内存,且多节点并发带来更强的聚合性能;
3.逻辑上看,存储不再是由RAID构成的不同存储空间,而是一个统一可弹性扩展的存储池,并且具备更强的扩展能力;
4.分布式存储带来的另一个好处就是在统一的资源池内性能和容量都可以按需配置,而且数据可以自动均衡;
5.计算虚拟化和存储部署于同一服务器节点。
二、分布式存储 + 虚拟化融合部署才是超融合架构本质
对于超融合架构,由于其独特的名称,让很多用户存在一种误解:超融合架构的核心在于融合,因此融合的功能越多越好。但通过以上架构的对比我们看到,超融合架构的变革首先是分布式存储对传统存储的替代,其他更多的优势(例如基于x86服务器构建、并发与易于扩展)都是基于这种替代而带来的。
当然,分布式存储和虚拟化这种独有的部署模式,进一步简化了用户的 IT 架构,降低了使用成本和运维难度,这些价值也大大的加速了用户对分布式存储模式的接受。
三、超融合架构会为 IT 基础架构带来哪些提升?为什么?
不同产品的局部升级,超融合架构对IT基础架构带来的提升是全面的,以下将逐一解释。
1、有效提升可靠性
很多企业客户对于软件定义数据中心架构的一个常见误解:x86服务器构建的系统可靠吗?虽然 x86 服务器本身存在单点故障,但超融合本身是以集群方式工作的,而且其核心-分布式存储系统首先要解决的问题就是利用多副本等技术构建具备更高可靠性的大规模系统,这些技术都是构建软件定义数据中心的核心。
不仅如此,分布式存储相对比传统集中式存储在可靠性方面还有以下诸多优势,以下给出对比:
除此以外,SmartX 、 Nutanix 、 VMware 等厂商都提供了从 data checksum 到机架感知、双活、异地备份等特性在内的企业级存储服务,以及和第三方产品整合的企业级高可用和数据保护解决方案。
2、并发性能大幅提升,IO延迟降低
以下依旧以SMTX OS介绍为什么超融合架构可以提升性能并降低访问延迟。
其中,分布式架构提升了系统整体的聚合性能;SSD缓存机制提升了单节点访问性能;I/O本地化机制是超融合部署模式下才具备的优势,可以进一步降低访问延迟。需要注意的是, I/O 本地化主要是 SmartX 、 Nutanix 支持,基于 Ceph 等开源产品构建的超融合是不能支持的。
举一个具体的实际例子,由于双控成为瓶颈,HP 3PAR 8440 在8块SSD基本已经到底最大性能,但该读写性能仅使用4个 SmartX 超融合节点即可达到。
3、扩展性大幅提升
如前所述,超融合架构的核心分布式存储相对于传统存储在可扩展性上有了本质的提升,包括如下特点:
其中,异构节点支持需要和厂商确认,类似SmartX可以支持,但很多厂商不提供此类支持。
4、运维难度大幅降低
针对运维难度,我们可以针对整个运维的周期进行两种架构的对比:
从上图可以看出,超融合架构在整个产品运维周期中,不仅大量操作被自动化,运维简单,而且时间短,效率高。可以有效降低人员要求,将 IT 人员解放出来进行更创新的活动。
5、采购成本和总拥有成本的降低
在客户最关注的成本方面,服务器+超融合软件(或超融合一体机)的采购成本,相比服务器加传统中高端存储,已有较大幅度的降低。但除了采购成本,超融合在总拥有成本上有更大的优势。
关于it运维架构图和it系统架构图的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。
it运维架构图的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于it系统架构图、it运维架构图的信息别忘了在本站进行查找喔。
暂时没有评论,来抢沙发吧~