分享好友 最新动态首页 最新动态分类 切换频道
大数据运维工程师岗位职责 大数据是运维工程师(20篇)
2024-11-07 23:14

无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。大家想知道怎么样才能写一篇比较优质的范文吗?下面是小编为大家收集的优秀范文,供大家参考借鉴,希望可以帮助到有需要的朋友。

大数据运维工程师岗位职责 大数据是运维工程师(20篇)

1、负责hadoop平台搭建,运维,管理,故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的hadoop,hbase,kafka,hive等进行优化。

4、建立hadoop集群管理和维护规范,包括版本管理和变更记录等。

岗位要求:

1、有丰富的hadoop生态系统的运维经验,了解hadoop、storm、spark、kafka这些组件的原理,具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 perl/python/shell脚本语言中的一种;

3、掌握linux操作系统的配置,管理、优化以及各种常用命令,能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀,善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力,能出差。

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写,更新,经验总结沉淀,培训分享;

4、负责对新技术和方案进行调研,评估和引进,用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(nginx、mysql、redis、mongodb、elk,hadoop等),熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用linux、tcp/ip网络协议栈,了解常用的troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验,精于容量规划、架构设计、性能优化;

4、熟悉主流paas云产品的使用,具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力,出色的学习与钻研能力,良好的问题分析与解决能力;

6、对行业技术敏感度高且细致,善于思考,乐于发现,对解决具有挑战性问题充满激情。

职责:

1.负责hadoop、spark、hbase、oozie、hive等平台运营和优化工作,保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格:

1. 全日制本科以上学历,三年以上后台系统运营工作经验;

2. 熟悉hadoop原理,具有hadoop平台应用及管理经验,熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程,熟悉shell/python/java/perl语言的一种或多种,有开发经验优先, 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣,有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

职责:

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统,对业务层面关键指标进行监控与报警通知;

任职要求:

1、熟练掌握hadoop平台搭建、维护,有平台优化经验;

2、熟悉hdfs、hive、spark、hbbase、kafka、flume等组件的原理,有阅读源码能力者优先;

3、熟悉腾讯云产品,有腾讯云emr使用经验者优先考虑;

4、熟练掌握java、python语言,熟练使用sql,并有一定的优化能力

职责:

1、负责维护服务器的运行,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发,大存储和实时流的hadoop/spark大数据平台规划,运维,监控和优化工作。

任职资格:

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉,shell,python至少精通一种,如会scala语言可优先考虑;

3、熟悉linux的维护和管理,熟悉bat及shell脚本开发,能看懂python/scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目:包括不限于hadoop、hive、kafka、hbase、spark、kudu、impala等大数据生态的平台搭建,监控,运维,调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

职责:

1. 负责公司自研产品上线,包括整体上线方案讨论与制定、各事项准备、产品实施与部署以及上线方案涉及工具的优化等;

2. 负责运维公司线上产品,7x24小时运维预警、监控,处理客户在产品使用过程中遇到的问题;

3. 负责公司自研产品的日常维护,包括版本发布、应用问题排查、系统部署与配置、网络端口策略、资源服务器管理;

4. 根据工作要求,输出运维相关的技术文案。

岗位要求:

1.统招全日制专科以上,计算机相关专业,5年以上同岗位工作经验,同时具备应用平台运维、系统实施运维、linux运维、网络管理运维等多种经验者优先考虑;

2.精通linux命令grep、sed、awk、xargs、scp、tar等,具有批量查找和修改文件内容操作经验;能熟练使用shell/ant/python脚本,具备编写脚本代码者优先;

3.熟悉apache、jboss、tomcat、oracle等中间件,熟悉apache、jboss/tomcat集群配置和管理,具备中间件故障排查、性能诊断与分析等能力;

4.精通jenkins、git、svn软件,对软件操作与命令熟悉有丰富经验;

5.对java面向对象编程产品有一定了解,熟悉java风格的log日志文件格式,能从日志中快速定位问题发生的位置,并开展问题排查;

6.熟悉网络原理,懂得划分子网与路由信息,熟悉f5等网络相关知识;

7.公司会定期组织行业知识、业务需求、平台架构、运维规范及运维内容相关培训,并进行考核。

8.良好文字功底及沟通协调能力,强烈的责任心和团队合作意识,稳定的心理素质,能承受高强度工作压力。

职责:

1、 运维平台开发/搭建/维护,包括cmdb、发布平台、监控平台、工具平台等;

2、 研发自动化运维工具;

3、 研发基础服务组件,减少重复开发与运维;

4、 服务器的规划、监控,数据备份,日志分析,故障排除,性能调优等工作;

任职要求:

1、3年以上互联网运维开发经验

2、熟悉python语言,django/flask等常用的web框架原理,javascript,并至少熟悉angularjs、reactjs、、boostrap等框架中的一种。

3、熟悉nginx、ansible、git、jenkins、openfalcon、gitlab等工具使用。

4、熟悉docker和常用编排框架 swarm和k8s并有生产系统实践经验优先。

5、熟练掌握常用关系型数据库使用和优化,如mysql

职责:

1、负责集团客户应用系统底层环境的搭建和运维(包括线下系统及云平台环境);

2、对操作系统、数据库以及相关应用系统的维护和优化;

3、参与客户系统平台升级,负责相关系统环境的搭建和测试;

4、负责客户数据库的备份、管理及监控,跟踪处理系统异常数据,及时发现潜在问题,保障系统正常运行。

岗位要求:

1、本科及以上学历(计算机、通信或相关专业),五年及以上相关工作经验;

2、精通windows,linux系统管理和维护;

3、熟悉vmware vsphere和esxi host的配置和管理;

4、熟悉oracle db,具备ocp认证者优先;

5、能独立完成oracle/sql server的备份恢复,了解相关的性能调整和故障诊断;

6、能适应江浙沪范围内的短途出差。

职责:

1. 业务平台的日常管理和维护。

2. 服务器的配置、维护、监控、调优,相关故障、疑难问题排查处理。

3. 应用系统性能优化。

4. 保障服务器与业务平台安全,检查并消除安全漏洞。

5. 设计业务平台和服务器可靠性保障方案、升级方案。

任职要求:

1. 3年以上在线系统运维工作经验,精通linux系统及常见服务的安装配置,熟悉常见的负载均衡实现方案并有实际实施经验。

2. 精通apache、nginx、mysql等常用服务的安装、配置和维护。

3. 精通和灵活运用一种以上的脚本语言,包括但不限于:shell、python等。

4. 能够熟练排查运维过程中出现的服务故障、系统故障、网络故障。

5. 高度的责任感,较强的故障分析及排除能力,善于在工作中学习,能够承受工作压力,能适应短期出差和加班。

6. 优先考虑:精通lamp架构,熟悉php,有相关大中型在线系统开发及维护经验。

职责:

1、负责日常公司已交付项目的管理维护,保障系统的稳定运行;

2、负责相关故障、疑难问题排查处理,编制汇总故障、问题,定期提交汇总报告;

3、依照项目实际情况进行简单的编程实现特殊业务需要 ;

4、对工作认真负责,并能承受一定的工作压力 。

任职资格:

1、具有2年以上相关工作经验,能熟练使用c#进行代码编写和调试;

2、具备优秀的计算机软、硬件知识,能够快速判断软、硬件故障并且提出解决方案;

3、熟悉常用的操作系统、数据库的安装、操作、配置、故障处理及部署的相关知识及解决问题的能力;

4、有使用主流大型数据库的实际开发、维护经验;

5、吃苦耐劳,踏实好学、有较强的责任心、团队协作能力及沟通能力;

6、适应频繁出差;

职责:

1、 负责操作系统、数据库的使用及常用软件的安装、配置和维护,保证系统稳定运行;

2、负责服务器相关硬件日常巡检、维护、故障分析及处理;

3、 负责it相关软件的安装及对公司用户提供相应的技术支持、客户培训等;

4、收集客户需求,处理客户协调工作;

5、编写技术支持相关文档和方案;

6、协助it经理完成相关运维工作。

任职要求:

1、大专及以上学历;年龄20-30岁;

2、计算机技术等相关专业; 了解数据库优先;

3、良好的沟通、表达和人际交往的能力;

4、具有较强的学习能力和强烈的学习愿望;

5、具备专业的it软硬件知识:服务器、网络、计算机设备、操作系统、数据库等;

6、有it行业智能交通、系统集成工作经验者优先;

7、团队合作能力强,能承受较大的工作压力。

职责:

1、负责计量自动化系统等基础架构(服务器、存储、fc交换机等设备)规划、安装、维护工作;

2、负责计量自动化系统等硬件故障处理、定检等;

3、负责计量自动化系统系统等加固、软件升级等;

4、负责计量自动化系统等运维文档编写;

5、根据需求对新项目的设计、规划、实施、维护等工作。

岗位要求:

1、计算机相关专业;

2、熟悉主流厂商服务器、存储、fc交换机等设备的产品线和设备基本安装;

3、熟悉市场主流操作系统linux、aix、hpux配置;

4、熟悉tcp/ip协议,掌握网络基础知识;

5、具备良好的团队合作精神,高度的责任感,善于沟通,有创新精神,能够承受压力;

6、有较好的文档编写能力,有标书、方案编写经验值优先;

7、具有rhce、ocp、ccnp、mcse、vcp等相关认证优先。

一、系统运维

1、负责系统发布,部署,编写集成方案和部署方案

2、负责系统故障、疑难问题排查处理,记录故障详情、解决过程

3、负责配合开发搭建测试平台,协助开发设计、推行、实施和持续改进

4、负责日常系统维护及监控,开发搭建系统日常维护、监控、分析、报警平台系统

5、负责信息系统在客户现场的安装、培训和维护工作

负责收集客户在使用系统过程中的原始需求,优化需求,传递给产品经理

二、网络运维

1、负责日常服务器、网络,邮箱,电话系统,视频会议系统的管理和维护

2、负责日常应用软件,公司桌面办公软件的维护

3、持续改进日常操作以及优化公司网络,跟踪网络互连技术发展,合理运用新技术

4、负责对服务器的健康状况,业务进行监控,并处理应急情况

日常服务器巡检,备案,安全等

职责:

1、负责项目功能技术支持和功能测试;

2、有1年以上运维、测试工作经验;

3、追踪解决项目相关 bug ;

4、具备良好的表达能力,包括语言及文字表达能,良好的团队合作精神和解决问题的能力;

5、与开发人员、运维人员沟通,找出并能够快速准确定位问题。

职位要求:

1、熟悉基本主机、数据库系统、网络知识 ;

2、至少1年以上的软件运维支持经验,有使用常用测试工具的经验者优先 ;

3、具有linux平台运维经验 ;

4、熟悉sql语言、熟悉基本数据库操作、有oracle经验者优先;

5、能够完成测试案例、测试计划编写;

职责:

1. 负责公司核心集群的运维工作,保证其高可用和稳定性。

2. 负责集群容量规划、扩容及集群性能优化。

3. 深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的hadoop运维技术及发展方向。

4. 设计实现分布式集群的运维、监控和管理平台。

职位要求:

1.2年以上中等规模集群环境下的hadoop/impala/hive/spark集群相关运维经验。

2.对各种hdfs/yarn/hive/impala/spark/hbase等相关参数调优, 性能优化等有实际经验。

3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。

4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。

4.熟悉kerberos安全认证系统,实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。

5.有cloudera的cm使用经验尤佳。

职责:

- 负责局点大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;

- 深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;

- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

- 负责hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求:

- 4年以上运维相关工作经验,有大数据平台运维相关工作经验优先;

- 具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉http/https、tcp/ip、smtp等协议;

- 熟悉linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务。熟练使用linux 命令和常用的ssh、ftp、git、maven等开发工具;

- 熟悉hadoop大数据生态圈,包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flink/impala/elasticsearch/kibana/mysql/kubernetes等;

- 熟悉hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;

- 熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉ssl、acl、kerberos等在大数据环境场景的使用;

- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;

- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和优化;

- 具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;

- 有大数据开发经验和阅读源码能力者优先

职责:

1、负责零售业务系统的运维工作;

2、及时解决用户的系统使用问题;

3、推进建设系统运维流程、制度的制定,包括运维制度、流程与相关系统的日常运营维护、异常监控,保证其高效、稳定运行;

4、每日例行检查及维护工作的监督及执行;

5、定期对用户进行系统培训;

6、直属上司交付的其他工作。

岗位要求

1、大专及以上学历,专业不限,接收优秀应届毕业生,有无经验均可;

2、性格外向开朗,反应敏捷,表达能力强,有良好的沟通技巧和服务意识;

3、工作积极主动,勤恳踏实,执行力强,能够全面配合公司管理工作;

4、有一定的抗压能力及对应各类客户的能力。

职责:

1、参与特定基础架构领域(网络/操作系统/数据库)的基础架构方案设计及实施;

2、负责网络/操作系统/数据库领域的系统运行趋势分析,定期提交相关的故障、运行、流量、数据等情况的分析报告;

3、负责业务系统的日常运维工作;

4、负责数据中心日常巡检、监控、故障处理;

5、确保各网络系统正常运行,分析汇总日常问题,优化流程、提升服务质量;

6、上级交办的其他工作。

岗位要求:

1、计算机相关专业,本科及以上学历,2年以上工作经验;

2、熟悉网络/操作系统/数据库的基本原理,有相关实际管理经验或接受过相关专业培训者优先;

3、熟悉主流网络构架设计,精通tcp/ip协议。熟练配置主流网络设备、了解服务器、存储、虚拟化、集群、负载均衡、监控和系统安全等产品相关技术;

职责:

1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作,保障系统7*24小时运营;

2. 为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张,发现并能解决重大故障及性能瓶颈;

3. 深入理解系统平台及大数据相关运维技术,持续优化集群服务架构;

4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求:

1. 至少3年以上大数据运维经验, 深入理解linux系统,运维体系结构;

2. 深度优化hadoop平台mr作业/计算框架/存储技术,提升集群吞吐并降低成本;

3. 具有cdh(或者hdp)/hdfs/yarn/hive/es/kylin/hbase/kafka/spark/storm/flume/impala/hue/kettle/flink等大数据系统的运维经验,有开发经验;

4. 熟悉hadoop生态,有数据安全相关工作经验, 并能对平台cpu/mem/io/网络/调度中一个或多个方面的性能调优;

5. 熟练掌握shell/python中的任意一门脚本语言;

6. 强烈责任感、缜密的逻辑思维能力,良好的团队协作能力,具备良好的项目管理及执行能力;

1、熟练掌握sql server的使用;

2、精通windows、linux、vmwares操作系统安装维护与故障排除,基础理论扎实,操作熟练;

3、对bs架构程序有所了解;

4、负责服务器日常维护、软硬件安装和配置、存储设备日常维护整理;

5、对服务器进行日常维护,确保各项服务连续正常运行,无重大事故;

6、负责服务器存储网络等基础平台的技术维护和问题处理 ;

7、熟悉pc服务器硬件安装与配置;

最新文章
无需谷歌搜索,教你11个高级搜索技巧!
我是汤老师一个放纵不羁爱自由的人在这里我希望你们不受约束尽情嗨众所周知,谷歌搜索在中国无法使用,鉴于国内的搜索引擎搜索命中率的问题,很多用户在怀念谷歌,也有很多用户仍然在通过各种方式使用谷歌,在大多数情况下用户都是通过基本
101种获取优质链接的方法
1.搞一个XXX的101个方法。这种文件经常被引用,经常会成为权威文件。人们没法不链接向这种表列。2.写一篇“帮你XXX的10个窍门”文章。非常容易得到链接。3.针对某个话题总结一个完整的参考资料列表。4.
什么是思维导图,在线思维导图对SEO有用吗?
在我多年的SEO优化与项目管理经历中,我发现,无论是策划内容框架还是梳理复杂信息,思维导图都是一个不可或缺的工具。它不仅帮助我更清晰地思考,还无形中促进了创意的碰撞。今天,我们就来聊聊什么是思维导图,以及在线思维导图在SEO优化
揭秘 SEO 按天扣费模式的猫腻,你知道多少?
关键词每日扣费一定靠谱吗?近年来,SEO行业形势不断发生变化,各种新的SEO计费方式和营销模式不断涌现。如今,大多数SEO公司都采用每日扣费的模式来吸引客户。事实上,每日抵扣模式还有很多技巧。今天,就带大家了解一下一家公司的日常扣
专业SEO关键词优化:提升网站排名,打造互联网流量利器
为了让您的网站在激烈的市场竞争中占据有利位置,进行精准的关键词优化是必不可少的。如何才能进行高效且专业的SEO关键词优化呢?我们将为您介绍几个关键的优化步骤。关键词研究是SEO优化的第一步,也是最为基础和重要的一步。通过关键词研
Copilot插件:时时陪伴的AI助手 | Obsidian实践
这段时间,有点儿沉迷于AIGC实践不可自拔,也因此懈怠了Obsidian实践。回过头来猛然发觉,其实Obsidian也“上架”了很多与ChatGPT有关的插件。赶紧体验下,看看有没有什么,是一下子就能用起来的。不得不说,自从我安装了Copilot插件,就再
seo优化推广如何 SEO优化推广效果与策略解析
SEO优化推广如何:掌握数字时代的营销利器在当今数字化迅猛发展的时代,企业的在线可见性和品牌影响力变得至关重要SEO(搜索引擎优化)作为一种有效的数字营销策略,不仅能够帮助企业在竞争激烈的市场中脱颖而出,还能带来持续、稳定的流量
宁波SEO服务热线汇总,助力网站快速提升排名抢占市场优势
宁波SEO厂商电话一览,为您提供专业SEO服务,助您快速提升网站排名,抢占市场先机。涵盖多家知名SEO公司,详尽联系方式,让您轻松选择,高效优化网站,助力企业发展。随着互联网的快速发展,企业对网络营销的需求日益增长,SEO(搜索引擎优
Python开发QQ聊天机器人——Yes酱的部署与调教
Yes酱是一个会发s图的群管理机器人,基于 go-cqhttp,使用OneBot标准的插件开发的一个机器人,支持以下功能:发送setu/猫猫图返回一张涩图/猫猫图检测关键字禁言私聊调教对话本文主要参考了其官方博客,结合Yes酱的github和go-cqhttp的gith
2024 (图文)Yoast SEO插件使用教程,详细设置步骤
  Yoast SEO是著排名第一的。插件有Yoast SEO(免费)和Yoast SEO Premium(付费)有两个版本  Yoast SEO可以完美地在所有类型的网站或上实现SEO相关的设置。可帮助您编写更好的且经过优化的内容让搜索引擎收录。该插件的免费版本还具
相关文章
推荐文章
发表评论
0评