睿象云智能告警平台的分派策略
952
2023-01-12
本文目录一览:
大数据运维工程师需要负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化。下面是我为您精心整理的大数据运维工程师的具体职责描述。
大数据运维工程师的具体职责描述1
职责:
1、负责数据平台的运维管理工作(部署、监控、优化、故障处理);
2、负责Hadoop/Spark/Flink/Elasticsearch/Kafka等系统的架构审核、容量规划、成本优化;
3、负责大数据平台的用户管理、权限分配、资源分配;
4、参与数据挖掘、机器学习的平台的设计、并给出可执行的运维方案;
5、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等);
6、深入理解数据平台架构,发现并解决故障隐患及性能瓶颈;
7、ETL工具、调度工具、关系型数据库的运维。
任职资格:
1、本科以上学历,计算机软件相关专业;
2、1年以上大数据相关组件运维经验(hadoop/yarn/hbase/hive/spark/kafka等),1年以上的CDH或HDP维护经验,3年以上系统运维相关经验;
3、深入理解Linux系统,能独立部署开源软件,熟练掌握一门以上脚本语言(shell/perl/python等),熟悉python开发语言优先;
4、逻辑思维能力强,做事有条理,责任心强,工作积极主动,执行力强,有良好的团队协作意识。
大数据运维工程师的具体职责描述2
职责
1. 负责大数据ETL系统,运维及保障服务稳定可用;
2. 负责数据采集交换方案以及联调测试;
3. 负责采集交换任务的评审和上线;
4. 负责及时排除ETL流程故障,形成知识库,完善运维文档;
5. 负责监控和优化ETL的性能,持续性地提出改进自动化运维平台建议
技能要求
1. 计算机科学或相关专业本科及以上学历;
2. 熟悉Linux系统,熟练编写shell/perl/python一种或多种脚本语言;
3. 熟悉Hive、Hadoop、MapReduce集群原理,有hadoop大数据平台运维经验者优先;
4. 熟悉数据库的性能优化、SQL调优,有相应经验;
5. 抗压能力强,有强烈的责任心,良好的沟通能力、学习能力及团队合作能力。
大数据运维工程师的具体职责描述3
职责:
1、负责分布式大数据平台产品的运维和运维开发,保证其高可用和稳定性;
2、负责大数据系统架构的可运维性设计、容量规划、服务监控,持续优化服务架构、集群性能;
3、通过技术手段控制和优化成本,通过自动化工具及流程提升大数据平台运维效率;
4、为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;
任职资格:
1、三年以上大数据运维相关工作经验,有大型互联网公司工作经验者优先,全日制本科及以上学历;
2、熟练掌握至少一门开发语言,有Java或Python语言开发经验优先;
3、精通Hadoop生态及高性能缓存相关的各种工具并有实战经验,包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;
4、熟悉Mysql等常用关系数据库,熟练编写SQL语句,有分布式nosql数据库应用、性能调优经验优先;
5、熟悉Linux环境,能够熟悉使用shell脚本;
6、对大数据技术有强烈兴趣,有志于往大数据方向深层次发展;
7、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;
8、具备较好的沟通能力、主动性及责任感。
大数据运维工程师的具体职责描述4
职责:
1、负责大数据集群的日常维护、监控、异常处理等工作,保障集群稳定运行;
2、负责大数据批处理管理以及运维;
3、负责大数据集群的用户管理、权限管理、资源管理、性能优化等;
4、深入理解数据平台架构,发现并解决重大故障及性能瓶颈,打造一流的数据平台;
5、跟进大数据前沿技术,不断优化数据集群;
6、有华为大数据平台运维经验优先;
岗位要求:
1、1年以上大数据运维或开发经验;
2、有良好的计算机和网络基础,熟悉linux文件系统、内核、性能调优,TCP/IP、HTTP等协议;
3、熟悉大数据生态,有相关(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的运维及开发经验;
4、熟练使用shell、python等脚本语言开发相关运维管理工具;
5、良好的文档撰写习惯;
大数据运维工程师的具体职责描述5
职责:
1、负责公司内部及项目中大数据集群的构建,任务调度、监控预警,持续完善大数据平台,保证稳定性、安全性;
2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守,参与大数据基础环境的架构设计与改进;
3、深入研究大数据业务相关运维技术,探索新的运维技术及发展方向。
任职要求:
1、熟悉Linux基础命令操作,能够独立编写Shell脚本开展日常服务器的运维;
2、熟悉Hadoop生态圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安装与调优;
3、熟悉软硬件设备,网络原理,有丰富的大数据平台部署,性能优化和运维经验;
4、工作认真负责,有较强的学习能力,动手能力和分析解决问题的能力;
5、能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务;
6、熟悉JVM虚拟机调优;
大数据运维工程师需要处理公司大数据平台各类异常和故障大数据网络运维平台,确保系统平台的稳定运行。下面是我为您精心整理的大数据运维工程师的基本职责。
大数据运维工程师的基本职责1
职责:
1、技术保障各底层支撑系统的可靠性与稳定性;
2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;
3、负责技术文档手册编写,更新,经验总结沉淀,培训分享;
4、负责对新技术和方案进行调研,评估和引进,用技术去提升运维生产效率
任职资格:
1、熟悉常见的应用服务部署和调优(Nginx、MySQL、Redis、MongoDB、ELK,Hadoop等),熟悉高可用集群、负载均衡集群的规划与搭建;
2、熟练使用Linux、TCP/IP网络协议栈,大数据网络运维平台了解常用的Troubleshooting手段和常见性能指标
3、具有车联网平台运维的经验,精于容量规划、架构设计、性能优化;
4、熟悉主流PaaS云产品的使用,具有运维平台开发经验者、参与过开源产品的开发者优先;
5、优秀的沟通能力,出色的学习与钻研能力,良好的问题分析与解决能力;
6、对行业技术敏感度高且细致,善于思考,乐于发现,对解决具有挑战性问题充满激情。
大数据运维工程师的基本职责2
职责:
1、负责维护服务器的运行,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;
2、负责服务器漏洞整改及补丁升级;
3、负责hadoop运维相关工作;
4、负责大数据平台的日常部署、升级、扩容、迁移;
5、负责高并发,大存储和实时流的Hadoop/spark大数据平台规划,运维,监控和优化工作。
任职资格:
1、2年左右服务器运维经验;
2、对linux基础运维命令熟悉,shell,python至少精通一种,如会scala语言可优先考虑;
3、熟悉Linux的维护和管理,熟悉bat及Shell脚本开发,能看懂Python/Scala优先;
4、做过大规模hadoop集群优先;
5、大数据项目:包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建,监控,运维,调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。
大数据运维工程师的基本职责3
职责:
1、负责Hadoop平台搭建,运维,管理,故障处理。
2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。
3、对平台的Hadoop,Hbase,Kafka,Hive等进行优化。
4、建立Hadoop集群管理和维护规范,包括版本管理和变更记录等。
岗位要求:
1、有丰富的Hadoop生态系统的运维经验,了解Hadoop、Storm、Spark、Kafka这些组件的原理,具备部署、实施、维护hadoop 及相关组件的能力;
2、至少精通 Perl/Python/Shell脚本语言中的一种;
3、掌握Linux操作系统的配置,管理、优化以及各种常用命令,能够独立排查及解决操作系统层的各类问题;
4、分析问题能力优秀,善于从各种系统、应用日志中寻找出问题的原因。
5、有独立分析问题和解决问题的能力,能出差。
大数据运维工程师的基本职责4
职责:
1.负责Hadoop、spark、hbase、oozie、hive等平台运营和优化工作,保障平台服务运行稳定、高效。
2.负责大数据方案架构及方案落地;
3.开发Hadoop大数据管理平台与监控建设;
3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;
4.负责集群网络架构、机器管理等。
任职资格:
1. 全日制本科以上学历,三年以上后台系统运营工作经验;
2. 熟悉hadoop原理,具有Hadoop平台应用及管理经验,熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;
3. 熟悉linux操作系统及调优;熟悉sql编程,熟悉Shell/Python/Java/Perl语言的一种或多种,有开发经验优先, 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;
4. 对大数据和自动化运维开发有浓厚兴趣,有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。
大数据运维工程师的基本职责5
职责:
1. 负责大数据平台的稳定性和性能优化;
2. 负责大数据项目的运维工作;
3. 针对业务需求制定统一的运维解决方案;
4. 完善自动监控报警系统,对业务层面关键指标进行监控与报警通知;
任职要求:
1、熟练掌握hadoop平台搭建、维护,有平台优化经验;
2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等组件的原理,有阅读源码能力者优先;
3、熟悉腾讯云产品,有腾讯云EMR使用经验者优先考虑;
Java :只要了解一些基础即可,做大数据不需要很深的Java 技术,学java SE 就相当于有学习大数据。基础
Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了,再说说还需要学习哪些大数据技术,可以按我写的顺序学下去。
Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。它一般用来存放一些相互协作的信息,这些信息比较小一般不会超过1M,都是使用它的软件对它有依赖,对于我们个人来讲只需要把它安装正确,让它正常的run起来就可以了。
Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么程度,你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。这里主要的是学习SQL的语法,因为hive的语法和这个非常相似。
Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个,直接把Mysql数据表导出成文件再放到HDFS上也是一样的,当然生产环境中使用要注意Mysql的压力。
Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变得很简单,不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapReduce、Spark脚本,还能检查你的程序是否执行正确,出错了给你发报警并能帮你重试程序,最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的,不然你看着那一大堆脚本,和密密麻麻的crond是不是有种想屎的感觉。
Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka:这是个比较好用的队列工具,队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理,这样与你协作的其它同学不会叫起来,你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来,你别怪他因为他不是搞大数据的,你可以跟他讲我把数据放在队列里你使用的时候一个个拿,这样他就不在抱怨了马上灰溜溜的去优化他的程序去了,因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS,这时你可以与一个叫Flume的工具配合使用,它是专门用来提供对数据进行简单处理,并写到各种数据接收方(比如Kafka)的。
Spark:它是用来弥补基于MapReduce处理数据速度上的缺点,它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算,所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它,因为它们都是用JVM的。
关于大数据网络运维平台和大数据平台运维管理的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 大数据网络运维平台的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于大数据平台运维管理、大数据网络运维平台的信息别忘了在本站进行查找喔。发表评论
暂时没有评论,来抢沙发吧~