大数据运维工程师岗位职责 大数据是运维工程师(20篇)

   日期:2024-11-07    作者:caijiyuan 移动:http://ljhr2012.riyuangf.com/mobile/quote/3356.html

无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。大家想知道怎么样才能写一篇比较优质的范文吗?下面是小编为大家收集的优秀范文,供大家参考借鉴,希望可以帮助到有需要的朋友。

大数据运维工程师岗位职责 大数据是运维工程师(20篇)

1、负责hadoop平台搭建,运维,管理,故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的hadoop,hbase,kafka,hive等进行优化。

4、建立hadoop集群管理和维护规范,包括版本管理和变更记录等。

岗位要求:

1、有丰富的hadoop生态系统的运维经验,了解hadoop、storm、spark、kafka这些组件的原理,具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 perl/python/shell脚本语言中的一种;

3、掌握linux操作系统的配置,管理、优化以及各种常用命令,能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀,善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力,能出差。

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写,更新,经验总结沉淀,培训分享;

4、负责对新技术和方案进行调研,评估和引进,用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(nginx、mysql、redis、mongodb、elk,hadoop等),熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用linux、tcp/ip网络协议栈,了解常用的troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验,精于容量规划、架构设计、性能优化;

4、熟悉主流paas云产品的使用,具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力,出色的学习与钻研能力,良好的问题分析与解决能力;

6、对行业技术敏感度高且细致,善于思考,乐于发现,对解决具有挑战性问题充满激情。

职责:

1.负责hadoop、spark、hbase、oozie、hive等平台运营和优化工作,保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格:

1. 全日制本科以上学历,三年以上后台系统运营工作经验;

2. 熟悉hadoop原理,具有hadoop平台应用及管理经验,熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程,熟悉shell/python/java/perl语言的一种或多种,有开发经验优先, 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣,有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

职责:

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统,对业务层面关键指标进行监控与报警通知;

任职要求:

1、熟练掌握hadoop平台搭建、维护,有平台优化经验;

2、熟悉hdfs、hive、spark、hbbase、kafka、flume等组件的原理,有阅读源码能力者优先;

3、熟悉腾讯云产品,有腾讯云emr使用经验者优先考虑;

4、熟练掌握java、python语言,熟练使用sql,并有一定的优化能力

职责:

1、负责维护服务器的运行,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发,大存储和实时流的hadoop/spark大数据平台规划,运维,监控和优化工作。

任职资格:

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉,shell,python至少精通一种,如会scala语言可优先考虑;

3、熟悉linux的维护和管理,熟悉bat及shell脚本开发,能看懂python/scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目:包括不限于hadoop、hive、kafka、hbase、spark、kudu、impala等大数据生态的平台搭建,监控,运维,调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

职责:

1. 负责公司自研产品上线,包括整体上线方案讨论与制定、各事项准备、产品实施与部署以及上线方案涉及工具的优化等;

2. 负责运维公司线上产品,7x24小时运维预警、监控,处理客户在产品使用过程中遇到的问题;

3. 负责公司自研产品的日常维护,包括版本发布、应用问题排查、系统部署与配置、网络端口策略、资源服务器管理;

4. 根据工作要求,输出运维相关的技术文案。

岗位要求:

1.统招全日制专科以上,计算机相关专业,5年以上同岗位工作经验,同时具备应用平台运维、系统实施运维、linux运维、网络管理运维等多种经验者优先考虑;

2.精通linux命令grep、sed、awk、xargs、scp、tar等,具有批量查找和修改文件内容操作经验;能熟练使用shell/ant/python脚本,具备编写脚本代码者优先;

3.熟悉apache、jboss、tomcat、oracle等中间件,熟悉apache、jboss/tomcat集群配置和管理,具备中间件故障排查、性能诊断与分析等能力;

4.精通jenkins、git、svn软件,对软件操作与命令熟悉有丰富经验;

5.对java面向对象编程产品有一定了解,熟悉java风格的log日志文件格式,能从日志中快速定位问题发生的位置,并开展问题排查;

6.熟悉网络原理,懂得划分子网与路由信息,熟悉f5等网络相关知识;

7.公司会定期组织行业知识、业务需求、平台架构、运维规范及运维内容相关培训,并进行考核。

8.良好文字功底及沟通协调能力,强烈的责任心和团队合作意识,稳定的心理素质,能承受高强度工作压力。

职责:

1、 运维平台开发/搭建/维护,包括cmdb、发布平台、监控平台、工具平台等;

2、 研发自动化运维工具;

3、 研发基础服务组件,减少重复开发与运维;

4、 服务器的规划、监控,数据备份,日志分析,故障排除,性能调优等工作;

任职要求:

1、3年以上互联网运维开发经验

2、熟悉python语言,django/flask等常用的web框架原理,javascript,并至少熟悉angularjs、reactjs、、boostrap等框架中的一种。

3、熟悉nginx、ansible、git、jenkins、openfalcon、gitlab等工具使用。

4、熟悉docker和常用编排框架 swarm和k8s并有生产系统实践经验优先。

5、熟练掌握常用关系型数据库使用和优化,如mysql

职责:

1、负责集团客户应用系统底层环境的搭建和运维(包括线下系统及云平台环境);

2、对操作系统、数据库以及相关应用系统的维护和优化;

3、参与客户系统平台升级,负责相关系统环境的搭建和测试;

4、负责客户数据库的备份、管理及监控,跟踪处理系统异常数据,及时发现潜在问题,保障系统正常运行。

岗位要求:

1、本科及以上学历(计算机、通信或相关专业),五年及以上相关工作经验;

2、精通windows,linux系统管理和维护;

3、熟悉vmware vsphere和esxi host的配置和管理;

4、熟悉oracle db,具备ocp认证者优先;

5、能独立完成oracle/sql server的备份恢复,了解相关的性能调整和故障诊断;

6、能适应江浙沪范围内的短途出差。

职责:

1. 业务平台的日常管理和维护。

2. 服务器的配置、维护、监控、调优,相关故障、疑难问题排查处理。

3. 应用系统性能优化。

4. 保障服务器与业务平台安全,检查并消除安全漏洞。

5. 设计业务平台和服务器可靠性保障方案、升级方案。

任职要求:

1. 3年以上在线系统运维工作经验,精通linux系统及常见服务的安装配置,熟悉常见的负载均衡实现方案并有实际实施经验。

2. 精通apache、nginx、mysql等常用服务的安装、配置和维护。

3. 精通和灵活运用一种以上的脚本语言,包括但不限于:shell、python等。

4. 能够熟练排查运维过程中出现的服务故障、系统故障、网络故障。

5. 高度的责任感,较强的故障分析及排除能力,善于在工作中学习,能够承受工作压力,能适应短期出差和加班。

6. 优先考虑:精通lamp架构,熟悉php,有相关大中型在线系统开发及维护经验。

职责:

1、负责日常公司已交付项目的管理维护,保障系统的稳定运行;

2、负责相关故障、疑难问题排查处理,编制汇总故障、问题,定期提交汇总报告;

3、依照项目实际情况进行简单的编程实现特殊业务需要 ;

4、对工作认真负责,并能承受一定的工作压力 。

任职资格:

1、具有2年以上相关工作经验,能熟练使用c#进行代码编写和调试;

2、具备优秀的计算机软、硬件知识,能够快速判断软、硬件故障并且提出解决方案;

3、熟悉常用的操作系统、数据库的安装、操作、配置、故障处理及部署的相关知识及解决问题的能力;

4、有使用主流大型数据库的实际开发、维护经验;

5、吃苦耐劳,踏实好学、有较强的责任心、团队协作能力及沟通能力;

6、适应频繁出差;

职责:

1、 负责操作系统、数据库的使用及常用软件的安装、配置和维护,保证系统稳定运行;

2、负责服务器相关硬件日常巡检、维护、故障分析及处理;

3、 负责it相关软件的安装及对公司用户提供相应的技术支持、客户培训等;

4、收集客户需求,处理客户协调工作;

5、编写技术支持相关文档和方案;

6、协助it经理完成相关运维工作。

任职要求:

1、大专及以上学历;年龄20-30岁;

2、计算机技术等相关专业; 了解数据库优先;

3、良好的沟通、表达和人际交往的能力;

4、具有较强的学习能力和强烈的学习愿望;

5、具备专业的it软硬件知识:服务器、网络、计算机设备、操作系统、数据库等;

6、有it行业智能交通、系统集成工作经验者优先;

7、团队合作能力强,能承受较大的工作压力。

职责:

1、负责计量自动化系统等基础架构(服务器、存储、fc交换机等设备)规划、安装、维护工作;

2、负责计量自动化系统等硬件故障处理、定检等;

3、负责计量自动化系统系统等加固、软件升级等;

4、负责计量自动化系统等运维文档编写;

5、根据需求对新项目的设计、规划、实施、维护等工作。

岗位要求:

1、计算机相关专业;

2、熟悉主流厂商服务器、存储、fc交换机等设备的产品线和设备基本安装;

3、熟悉市场主流操作系统linux、aix、hpux配置;

4、熟悉tcp/ip协议,掌握网络基础知识;

5、具备良好的团队合作精神,高度的责任感,善于沟通,有创新精神,能够承受压力;

6、有较好的文档编写能力,有标书、方案编写经验值优先;

7、具有rhce、ocp、ccnp、mcse、vcp等相关认证优先。

一、系统运维

1、负责系统发布,部署,编写集成方案和部署方案

2、负责系统故障、疑难问题排查处理,记录故障详情、解决过程

3、负责配合开发搭建测试平台,协助开发设计、推行、实施和持续改进

4、负责日常系统维护及监控,开发搭建系统日常维护、监控、分析、报警平台系统

5、负责信息系统在客户现场的安装、培训和维护工作

负责收集客户在使用系统过程中的原始需求,优化需求,传递给产品经理

二、网络运维

1、负责日常服务器、网络,邮箱,电话系统,视频会议系统的管理和维护

2、负责日常应用软件,公司桌面办公软件的维护

3、持续改进日常操作以及优化公司网络,跟踪网络互连技术发展,合理运用新技术

4、负责对服务器的健康状况,业务进行监控,并处理应急情况

日常服务器巡检,备案,安全等

职责:

1、负责项目功能技术支持和功能测试;

2、有1年以上运维、测试工作经验;

3、追踪解决项目相关 bug ;

4、具备良好的表达能力,包括语言及文字表达能,良好的团队合作精神和解决问题的能力;

5、与开发人员、运维人员沟通,找出并能够快速准确定位问题。

职位要求:

1、熟悉基本主机、数据库系统、网络知识 ;

2、至少1年以上的软件运维支持经验,有使用常用测试工具的经验者优先 ;

3、具有linux平台运维经验 ;

4、熟悉sql语言、熟悉基本数据库操作、有oracle经验者优先;

5、能够完成测试案例、测试计划编写;

职责:

1. 负责公司核心集群的运维工作,保证其高可用和稳定性。

2. 负责集群容量规划、扩容及集群性能优化。

3. 深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的hadoop运维技术及发展方向。

4. 设计实现分布式集群的运维、监控和管理平台。

职位要求:

1.2年以上中等规模集群环境下的hadoop/impala/hive/spark集群相关运维经验。

2.对各种hdfs/yarn/hive/impala/spark/hbase等相关参数调优, 性能优化等有实际经验。

3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。

4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。

4.熟悉kerberos安全认证系统,实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。

5.有cloudera的cm使用经验尤佳。

职责:

- 负责局点大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;

- 深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;

- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

- 负责hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求:

- 4年以上运维相关工作经验,有大数据平台运维相关工作经验优先;

- 具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉http/https、tcp/ip、smtp等协议;

- 熟悉linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务。熟练使用linux 命令和常用的ssh、ftp、git、maven等开发工具;

- 熟悉hadoop大数据生态圈,包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flink/impala/elasticsearch/kibana/mysql/kubernetes等;

- 熟悉hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;

- 熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉ssl、acl、kerberos等在大数据环境场景的使用;

- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;

- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和优化;

- 具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;

- 有大数据开发经验和阅读源码能力者优先

职责:

1、负责零售业务系统的运维工作;

2、及时解决用户的系统使用问题;

3、推进建设系统运维流程、制度的制定,包括运维制度、流程与相关系统的日常运营维护、异常监控,保证其高效、稳定运行;

4、每日例行检查及维护工作的监督及执行;

5、定期对用户进行系统培训;

6、直属上司交付的其他工作。

岗位要求

1、大专及以上学历,专业不限,接收优秀应届毕业生,有无经验均可;

2、性格外向开朗,反应敏捷,表达能力强,有良好的沟通技巧和服务意识;

3、工作积极主动,勤恳踏实,执行力强,能够全面配合公司管理工作;

4、有一定的抗压能力及对应各类客户的能力。

职责:

1、参与特定基础架构领域(网络/操作系统/数据库)的基础架构方案设计及实施;

2、负责网络/操作系统/数据库领域的系统运行趋势分析,定期提交相关的故障、运行、流量、数据等情况的分析报告;

3、负责业务系统的日常运维工作;

4、负责数据中心日常巡检、监控、故障处理;

5、确保各网络系统正常运行,分析汇总日常问题,优化流程、提升服务质量;

6、上级交办的其他工作。

岗位要求:

1、计算机相关专业,本科及以上学历,2年以上工作经验;

2、熟悉网络/操作系统/数据库的基本原理,有相关实际管理经验或接受过相关专业培训者优先;

3、熟悉主流网络构架设计,精通tcp/ip协议。熟练配置主流网络设备、了解服务器、存储、虚拟化、集群、负载均衡、监控和系统安全等产品相关技术;

职责:

1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作,保障系统7*24小时运营;

2. 为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张,发现并能解决重大故障及性能瓶颈;

3. 深入理解系统平台及大数据相关运维技术,持续优化集群服务架构;

4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求:

1. 至少3年以上大数据运维经验, 深入理解linux系统,运维体系结构;

2. 深度优化hadoop平台mr作业/计算框架/存储技术,提升集群吞吐并降低成本;

3. 具有cdh(或者hdp)/hdfs/yarn/hive/es/kylin/hbase/kafka/spark/storm/flume/impala/hue/kettle/flink等大数据系统的运维经验,有开发经验;

4. 熟悉hadoop生态,有数据安全相关工作经验, 并能对平台cpu/mem/io/网络/调度中一个或多个方面的性能调优;

5. 熟练掌握shell/python中的任意一门脚本语言;

6. 强烈责任感、缜密的逻辑思维能力,良好的团队协作能力,具备良好的项目管理及执行能力;

1、熟练掌握sql server的使用;

2、精通windows、linux、vmwares操作系统安装维护与故障排除,基础理论扎实,操作熟练;

3、对bs架构程序有所了解;

4、负责服务器日常维护、软硬件安装和配置、存储设备日常维护整理;

5、对服务器进行日常维护,确保各项服务连续正常运行,无重大事故;

6、负责服务器存储网络等基础平台的技术维护和问题处理 ;

7、熟悉pc服务器硬件安装与配置;


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号