睿象云智能告警平台的分派策略
1405
2023-01-11
本文目录一览:
什么是腾讯大数据处理套件TBDS?
TBDS是基于腾讯多年海量数据处理经验,集实时/离线场景高性能分析引擎、数据开发以及数据治理功能于一体的大数据平台,其核心包含TBDS大数据基础平台、多集群多租户管控平台,数据接入,数据开发,数据治理,机器学习,智能运营平台等。
TBDS产品结构分为四部分:
平台运维和管理能力:为大数据平台基础的配置、启停、监控、告警、诊断、审计、安全管控等基础能力;高性能数据分析引擎:基于分布式存储和资源调度能力,分析引擎覆盖了在线数据计算、离线数据分析、近线数据分析、流式数据分析等大数据分析场景;
数据开发微服务:提供包含实时/离线数据集成、数据自由探索、数据开发IDE以及可视化机器学习等大数据开发工具支持,使数据开发者能高效进行大数据开发;数据治理微服务:提供技术/业务层面的元数据管理、数据生命周期管理、数据血缘管理、数据地图、数据质量以及数据访问审计等能力,使业务数据能得到有效组织和管理。
腾讯大数据处理套件TBDS的创新和核心优势,TBDS通过乐高架构,融合多个组件系统,构建开箱即用的大数据平台,提供拖拽式的可视化数据开发IDE及机器学习平台,可支持用户自定义功能,具有非常好的产品扩展性。为客户的大数据集成、存储、计算环节提供完整而稳定的企业级解决方案。客户能借助于TBDS快速构建中台能力,聚焦于进行企业的业务创新。
大数据运维工程师需要负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化。下面是我为您精心整理的大数据运维工程师的具体职责描述。
大数据运维工程师的具体职责描述1
职责:
1、负责数据平台的运维管理工作(部署、监控、优化、故障处理);
2、负责Hadoop/Spark/Flink/Elasticsearch/Kafka等系统的架构审核、容量规划、成本优化;
3、负责大数据平台的用户管理、权限分配、资源分配;
4、参与数据挖掘、机器学习的平台的设计、并给出可执行的运维方案;
5、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等);
6、深入理解数据平台架构,发现并解决故障隐患及性能瓶颈;
7、ETL工具、调度工具、关系型数据库的运维。
任职资格:
1、本科以上学历,计算机软件相关专业;
2、1年以上大数据相关组件运维经验(hadoop/yarn/hbase/hive/spark/kafka等),1年以上的CDH或HDP维护经验,3年以上系统运维相关经验;
3、深入理解Linux系统,能独立部署开源软件,熟练掌握一门以上脚本语言(shell/perl/python等),熟悉python开发语言优先;
4、逻辑思维能力强,做事有条理,责任心强,工作积极主动,执行力强,有良好的团队协作意识。
大数据运维工程师的具体职责描述2
职责
1. 负责大数据ETL系统,运维及保障服务稳定可用;
2. 负责数据采集交换方案以及联调测试;
3. 负责采集交换任务的评审和上线;
4. 负责及时排除ETL流程故障,形成知识库,完善运维文档;
5. 负责监控和优化ETL的性能,持续性地提出改进自动化运维平台建议
技能要求
1. 计算机科学或相关专业本科及以上学历;
2. 熟悉Linux系统,熟练编写shell/perl/python一种或多种脚本语言;
3. 熟悉Hive、Hadoop、MapReduce集群原理,有hadoop大数据平台运维经验者优先;
4. 熟悉数据库的性能优化、SQL调优,有相应经验;
5. 抗压能力强,有强烈的责任心,良好的沟通能力、学习能力及团队合作能力。
大数据运维工程师的具体职责描述3
职责:
1、负责分布式大数据平台产品的运维和运维开发,保证其高可用和稳定性;
2、负责大数据系统架构的可运维性设计、容量规划、服务监控,持续优化服务架构、集群性能;
3、通过技术手段控制和优化成本,通过自动化工具及流程提升大数据平台运维效率;
4、为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;
任职资格:
1、三年以上大数据运维相关工作经验,有大型互联网公司工作经验者优先,全日制本科及以上学历;
2、熟练掌握至少一门开发语言,有Java或Python语言开发经验优先;
3、精通Hadoop生态及高性能缓存相关的各种工具并有实战经验,包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;
4、熟悉Mysql等常用关系数据库,熟练编写SQL语句,有分布式nosql数据库应用、性能调优经验优先;
5、熟悉Linux环境,能够熟悉使用shell脚本;
6、对大数据技术有强烈兴趣,有志于往大数据方向深层次发展;
7、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;
8、具备较好的沟通能力、主动性及责任感。
大数据运维工程师的具体职责描述4
职责:
1、负责大数据集群的日常维护、监控、异常处理等工作,保障集群稳定运行;
2、负责大数据批处理管理以及运维;
3、负责大数据集群的用户管理、权限管理、资源管理、性能优化等;
4、深入理解数据平台架构,发现并解决重大故障及性能瓶颈,打造一流的数据平台;
5、跟进大数据前沿技术,不断优化数据集群;
6、有华为大数据平台运维经验优先;
岗位要求:
1、1年以上大数据运维或开发经验;
2、有良好的计算机和网络基础,熟悉linux文件系统、内核、性能调优,TCP/IP、HTTP等协议;
3、熟悉大数据生态,有相关(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的运维及开发经验;
4、熟练使用shell、python等脚本语言开发相关运维管理工具;
5、良好的文档撰写习惯;
大数据运维工程师的具体职责描述5
职责:
1、负责公司内部及项目中大数据集群的构建,任务调度、监控预警,持续完善大数据平台,保证稳定性、安全性;
2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守,参与大数据基础环境的架构设计与改进;
3、深入研究大数据业务相关运维技术,探索新的运维技术及发展方向。
任职要求:
1、熟悉Linux基础命令操作,能够独立编写Shell脚本开展日常服务器的运维;
2、熟悉Hadoop生态圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安装与调优;
3、熟悉软硬件设备,网络原理,有丰富的大数据平台部署,性能优化和运维经验;
4、工作认真负责,有较强的学习能力,动手能力和分析解决问题的能力;
5、能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务;
6、熟悉JVM虚拟机调优;
为了有效减轻和抵御自然或其他突发灾难对企业生存和发展造成破坏大数据运维平台产品,业界曾经要求区分业务连贯性(Business Continuity)和灾难恢复(Disaster Recovery)大数据运维平台产品,但随着技术的发展和研究不断深入,这两个概念已经逐渐融合,相关措施一般统为业务连贯性计划(BCP,Business Continuity Plan),国内则习惯性称之为“灾备计划”。
灾备计划的实施中,核心是数据。当前,企业的发展和成功越来越依赖于对数据信息的掌握和管理,数据已经成为企业最重要的财富;灾备系统的部署也正是为了在发生灾难的时候实现数据的恢复并维持相关应用。然而,在目前的技术条件下,建立完善的灾备系统还需要解决数据处理和安全中的一些让人头疼的问题。
灾备系统的数据处理和安全问题
数据量急速增长
根据IDC 2008年3月的报告,2007年各种新增数据的总量(281 ExaByte)较上年增长了约75%,已经超过所有可用存储介质总容量(264 ExaByte)约6%,预计2011年数据总量将达到2006年的10倍。在企业中,除了一般应用的数据急速增长,各种新兴的信息化技术(如ERP、CRM、电子商务等等)在提高效率的同时,也同样会产生大量数据。
急速增长的数据量给灾备系统带来的最直观的问题是存储空间不足,需要购买更多的存储介质(磁带或磁盘)。随着系统总存储容量的增加,除了购买介质本身的支出外,设备部署空间、降温、电能消耗等等附带需求也随之迅速增长。
另一方面,数据量增长也给系统的处理能力带来了巨大压力。与存储介质不同,系统的处理能力(如CPU、I/O总线等)一般较难扩展,通常只能通过硬件整体升级完成,如果不能通过技术手段有效平抑数据量增长对系统处理能力的压力,系统可靠性将面临频繁硬件升级的严峻挑战。同时,对系统的投资也不能得到充分利用。
此外,灾备系统通常都需要异地部署。数据量的增加要求远程数据传输具有更高的带宽;由于传输带宽的限制,传输时间的延长可能会降低系统运行效率,甚至无法及时完成异地数据传输,造成灾备系统不能发挥功效。
保护敏感数据
完整的信息安全保护需要遵循AIC三原则,即对保护数据需要同时关注可用性(Availability)、完整性(Integrity)和机密性(Confidentiality)等三个关键特性。尽管不同的应用场景会有不同的要求,但在系统的设计时必须对这三个特性都予以足够的重视,而目前国内的灾备系统往往仅将视线主要集中在可用性上,对完整性和机密性都缺乏必要的关注。
部署灾备系统是为了能在灾难发生后及时恢复应用,保证相关业务的有效运行。因此数据有效性是系统设计中首要关注的内容,而与此同时,随着信息技术的应用越来越广泛,敏感数据被泄漏甚至篡改的风险也越来越大,一旦发生意外,企业将在激烈的市场竞争中受到沉重,甚至毁灭性的打击。
2. 现有解决方案及不足
为了应对上述问题,存储业界分别提出了相应的解决方案:数据缩减技术可以有效减少备份数据的总量;对敏感数据的严密保护可通过采用加密技术实现。
目前广泛应用的数据缩减技术主要有重复数据删除(Data De-duplication)和数据压缩(Data Compression)。重复数据删除技术通过删除存储过程中重复出现的数据块来降低数据总量,数据缩减比通常可达10:1到20:1,即应用重复数据删除技术后的总据量将减少到原始数据量的10%到5%;数据压缩技术通过对数据重新编码来降低其冗余度,从而实现数据量的减少,一般数据的压缩比约为2:1,即数据可被压缩到原大小的一半左右。这两种技术具有不同层面的针对性,并能够结合起来使用,从而实现更高的数据缩减比例。需要注意的是,如果同时应用重复数据删除和数据压缩技术,通常会先应用数据删除技术,然后再使用数据压缩技术,从而尽量减少对系统处理能力的占用。
为了对存储系统的数据进行有效保护,业界于今年初正式通过了IEEE 1619/1619.1存储安全标准。 IEEE1619采用一种新的加密算法模式XTS-AES,有效地解决了块导向存储设备(例如,磁盘驱动器)上的数据加密问题; IEEE 1619.1则主要是针对大的磁盘驱动器,可以采用CBC、GCM等多种AES加密和验证算法模式;其他如密钥管理等后续相关标准的制定也正在有序进行。
然而,尽管有这些方案能够分别应对灾备系统面临的大数据量和安全性问题,在实际的系统设计和部署中仍然存在一些麻烦,分散的技术实现会带来资源占用过多、系统运行效率低、复杂度太高、可靠性低等等各种问题,业界迫切地需要一种新的高集成度的总体解决方案,来全面解决所有的这些问题。
更为突出的问题是,数据保护所引入的加密处理将从根本上限制数据缩减技术的应用,这几种技术之间存在着根本的矛盾:重复数据删除和数据压缩技术的基础是大量数据中存在相似或相同的特性,而加密处理后数据中的相似或相同都将被完全破坏。
3. Hifn Express DR融合技术方案介绍
要想充分利用上述数据缩减和安全保护技术,构建完善的灾备系统,就必须仔细协调这几种处理。作为存储和网络创新的推动者,Hifn凭借对数据缩减和加密处理技术的深刻理解,以及对灾备系统存储应用的准确把握,提出了全新的Hifn Express DR解决方案,如图所示。
基于Hifn Express DR解决方案,数据将在被压缩后再提交进一步处理,以增加系统I/O带宽,从而使现有系统的硬件投资得到最大限度的利用和保护;在内部处理过程中,从I/O模块得到的源数据将首先被解压缩,然后使用特定的算法(一般使用SHA-1/2)计算出数据块的识别信息,以便进行重复数据删除处理;重复数据删除处理的元数据块将会被压缩,以进一步减少数据量。为了实现全面的数据保护,还可以对压缩后的数据块进行加密,加密算法和处理方式严格遵从IEEE 1619系列标准。整个处理过程都将由相关硬件处理单元自动完成,从而极大提高系统处理器和存储单元的工作效率。
通过对重复数据删除、数据压缩和加密技术的综合运用,基于该架构的新一代Hifn Express DR系列加速卡可以帮助客户将灾备系统的数据量减少到原始数据的5%以下,并实现数据的全面安全保护,其处理性能也将达到创纪录的1,600MB/s。
关于大数据运维平台产品和大数据运营平台的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 大数据运维平台产品的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于大数据运营平台、大数据运维平台产品的信息别忘了在本站进行查找喔。发表评论
暂时没有评论,来抢沙发吧~