分享好友 最新动态首页 最新动态分类 切换频道
大数据运维工程师岗位职责 大数据是运维工程师(20篇)
2024-11-07 23:14

无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。大家想知道怎么样才能写一篇比较优质的范文吗?下面是小编为大家收集的优秀范文,供大家参考借鉴,希望可以帮助到有需要的朋友。

大数据运维工程师岗位职责 大数据是运维工程师(20篇)

1、负责hadoop平台搭建,运维,管理,故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的hadoop,hbase,kafka,hive等进行优化。

4、建立hadoop集群管理和维护规范,包括版本管理和变更记录等。

岗位要求:

1、有丰富的hadoop生态系统的运维经验,了解hadoop、storm、spark、kafka这些组件的原理,具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 perl/python/shell脚本语言中的一种;

3、掌握linux操作系统的配置,管理、优化以及各种常用命令,能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀,善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力,能出差。

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写,更新,经验总结沉淀,培训分享;

4、负责对新技术和方案进行调研,评估和引进,用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(nginx、mysql、redis、mongodb、elk,hadoop等),熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用linux、tcp/ip网络协议栈,了解常用的troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验,精于容量规划、架构设计、性能优化;

4、熟悉主流paas云产品的使用,具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力,出色的学习与钻研能力,良好的问题分析与解决能力;

6、对行业技术敏感度高且细致,善于思考,乐于发现,对解决具有挑战性问题充满激情。

职责:

1.负责hadoop、spark、hbase、oozie、hive等平台运营和优化工作,保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格:

1. 全日制本科以上学历,三年以上后台系统运营工作经验;

2. 熟悉hadoop原理,具有hadoop平台应用及管理经验,熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程,熟悉shell/python/java/perl语言的一种或多种,有开发经验优先, 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣,有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

职责:

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统,对业务层面关键指标进行监控与报警通知;

任职要求:

1、熟练掌握hadoop平台搭建、维护,有平台优化经验;

2、熟悉hdfs、hive、spark、hbbase、kafka、flume等组件的原理,有阅读源码能力者优先;

3、熟悉腾讯云产品,有腾讯云emr使用经验者优先考虑;

4、熟练掌握java、python语言,熟练使用sql,并有一定的优化能力

职责:

1、负责维护服务器的运行,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发,大存储和实时流的hadoop/spark大数据平台规划,运维,监控和优化工作。

任职资格:

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉,shell,python至少精通一种,如会scala语言可优先考虑;

3、熟悉linux的维护和管理,熟悉bat及shell脚本开发,能看懂python/scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目:包括不限于hadoop、hive、kafka、hbase、spark、kudu、impala等大数据生态的平台搭建,监控,运维,调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

职责:

1. 负责公司自研产品上线,包括整体上线方案讨论与制定、各事项准备、产品实施与部署以及上线方案涉及工具的优化等;

2. 负责运维公司线上产品,7x24小时运维预警、监控,处理客户在产品使用过程中遇到的问题;

3. 负责公司自研产品的日常维护,包括版本发布、应用问题排查、系统部署与配置、网络端口策略、资源服务器管理;

4. 根据工作要求,输出运维相关的技术文案。

岗位要求:

1.统招全日制专科以上,计算机相关专业,5年以上同岗位工作经验,同时具备应用平台运维、系统实施运维、linux运维、网络管理运维等多种经验者优先考虑;

2.精通linux命令grep、sed、awk、xargs、scp、tar等,具有批量查找和修改文件内容操作经验;能熟练使用shell/ant/python脚本,具备编写脚本代码者优先;

3.熟悉apache、jboss、tomcat、oracle等中间件,熟悉apache、jboss/tomcat集群配置和管理,具备中间件故障排查、性能诊断与分析等能力;

4.精通jenkins、git、svn软件,对软件操作与命令熟悉有丰富经验;

5.对java面向对象编程产品有一定了解,熟悉java风格的log日志文件格式,能从日志中快速定位问题发生的位置,并开展问题排查;

6.熟悉网络原理,懂得划分子网与路由信息,熟悉f5等网络相关知识;

7.公司会定期组织行业知识、业务需求、平台架构、运维规范及运维内容相关培训,并进行考核。

8.良好文字功底及沟通协调能力,强烈的责任心和团队合作意识,稳定的心理素质,能承受高强度工作压力。

职责:

1、 运维平台开发/搭建/维护,包括cmdb、发布平台、监控平台、工具平台等;

2、 研发自动化运维工具;

3、 研发基础服务组件,减少重复开发与运维;

4、 服务器的规划、监控,数据备份,日志分析,故障排除,性能调优等工作;

任职要求:

1、3年以上互联网运维开发经验

2、熟悉python语言,django/flask等常用的web框架原理,javascript,并至少熟悉angularjs、reactjs、、boostrap等框架中的一种。

3、熟悉nginx、ansible、git、jenkins、openfalcon、gitlab等工具使用。

4、熟悉docker和常用编排框架 swarm和k8s并有生产系统实践经验优先。

5、熟练掌握常用关系型数据库使用和优化,如mysql

职责:

1、负责集团客户应用系统底层环境的搭建和运维(包括线下系统及云平台环境);

2、对操作系统、数据库以及相关应用系统的维护和优化;

3、参与客户系统平台升级,负责相关系统环境的搭建和测试;

4、负责客户数据库的备份、管理及监控,跟踪处理系统异常数据,及时发现潜在问题,保障系统正常运行。

岗位要求:

1、本科及以上学历(计算机、通信或相关专业),五年及以上相关工作经验;

2、精通windows,linux系统管理和维护;

3、熟悉vmware vsphere和esxi host的配置和管理;

4、熟悉oracle db,具备ocp认证者优先;

5、能独立完成oracle/sql server的备份恢复,了解相关的性能调整和故障诊断;

6、能适应江浙沪范围内的短途出差。

职责:

1. 业务平台的日常管理和维护。

2. 服务器的配置、维护、监控、调优,相关故障、疑难问题排查处理。

3. 应用系统性能优化。

4. 保障服务器与业务平台安全,检查并消除安全漏洞。

5. 设计业务平台和服务器可靠性保障方案、升级方案。

任职要求:

1. 3年以上在线系统运维工作经验,精通linux系统及常见服务的安装配置,熟悉常见的负载均衡实现方案并有实际实施经验。

2. 精通apache、nginx、mysql等常用服务的安装、配置和维护。

3. 精通和灵活运用一种以上的脚本语言,包括但不限于:shell、python等。

4. 能够熟练排查运维过程中出现的服务故障、系统故障、网络故障。

5. 高度的责任感,较强的故障分析及排除能力,善于在工作中学习,能够承受工作压力,能适应短期出差和加班。

6. 优先考虑:精通lamp架构,熟悉php,有相关大中型在线系统开发及维护经验。

职责:

1、负责日常公司已交付项目的管理维护,保障系统的稳定运行;

2、负责相关故障、疑难问题排查处理,编制汇总故障、问题,定期提交汇总报告;

3、依照项目实际情况进行简单的编程实现特殊业务需要 ;

4、对工作认真负责,并能承受一定的工作压力 。

任职资格:

1、具有2年以上相关工作经验,能熟练使用c#进行代码编写和调试;

2、具备优秀的计算机软、硬件知识,能够快速判断软、硬件故障并且提出解决方案;

3、熟悉常用的操作系统、数据库的安装、操作、配置、故障处理及部署的相关知识及解决问题的能力;

4、有使用主流大型数据库的实际开发、维护经验;

5、吃苦耐劳,踏实好学、有较强的责任心、团队协作能力及沟通能力;

6、适应频繁出差;

职责:

1、 负责操作系统、数据库的使用及常用软件的安装、配置和维护,保证系统稳定运行;

2、负责服务器相关硬件日常巡检、维护、故障分析及处理;

3、 负责it相关软件的安装及对公司用户提供相应的技术支持、客户培训等;

4、收集客户需求,处理客户协调工作;

5、编写技术支持相关文档和方案;

6、协助it经理完成相关运维工作。

任职要求:

1、大专及以上学历;年龄20-30岁;

2、计算机技术等相关专业; 了解数据库优先;

3、良好的沟通、表达和人际交往的能力;

4、具有较强的学习能力和强烈的学习愿望;

5、具备专业的it软硬件知识:服务器、网络、计算机设备、操作系统、数据库等;

6、有it行业智能交通、系统集成工作经验者优先;

7、团队合作能力强,能承受较大的工作压力。

职责:

1、负责计量自动化系统等基础架构(服务器、存储、fc交换机等设备)规划、安装、维护工作;

2、负责计量自动化系统等硬件故障处理、定检等;

3、负责计量自动化系统系统等加固、软件升级等;

4、负责计量自动化系统等运维文档编写;

5、根据需求对新项目的设计、规划、实施、维护等工作。

岗位要求:

1、计算机相关专业;

2、熟悉主流厂商服务器、存储、fc交换机等设备的产品线和设备基本安装;

3、熟悉市场主流操作系统linux、aix、hpux配置;

4、熟悉tcp/ip协议,掌握网络基础知识;

5、具备良好的团队合作精神,高度的责任感,善于沟通,有创新精神,能够承受压力;

6、有较好的文档编写能力,有标书、方案编写经验值优先;

7、具有rhce、ocp、ccnp、mcse、vcp等相关认证优先。

一、系统运维

1、负责系统发布,部署,编写集成方案和部署方案

2、负责系统故障、疑难问题排查处理,记录故障详情、解决过程

3、负责配合开发搭建测试平台,协助开发设计、推行、实施和持续改进

4、负责日常系统维护及监控,开发搭建系统日常维护、监控、分析、报警平台系统

5、负责信息系统在客户现场的安装、培训和维护工作

负责收集客户在使用系统过程中的原始需求,优化需求,传递给产品经理

二、网络运维

1、负责日常服务器、网络,邮箱,电话系统,视频会议系统的管理和维护

2、负责日常应用软件,公司桌面办公软件的维护

3、持续改进日常操作以及优化公司网络,跟踪网络互连技术发展,合理运用新技术

4、负责对服务器的健康状况,业务进行监控,并处理应急情况

日常服务器巡检,备案,安全等

职责:

1、负责项目功能技术支持和功能测试;

2、有1年以上运维、测试工作经验;

3、追踪解决项目相关 bug ;

4、具备良好的表达能力,包括语言及文字表达能,良好的团队合作精神和解决问题的能力;

5、与开发人员、运维人员沟通,找出并能够快速准确定位问题。

职位要求:

1、熟悉基本主机、数据库系统、网络知识 ;

2、至少1年以上的软件运维支持经验,有使用常用测试工具的经验者优先 ;

3、具有linux平台运维经验 ;

4、熟悉sql语言、熟悉基本数据库操作、有oracle经验者优先;

5、能够完成测试案例、测试计划编写;

职责:

1. 负责公司核心集群的运维工作,保证其高可用和稳定性。

2. 负责集群容量规划、扩容及集群性能优化。

3. 深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的hadoop运维技术及发展方向。

4. 设计实现分布式集群的运维、监控和管理平台。

职位要求:

1.2年以上中等规模集群环境下的hadoop/impala/hive/spark集群相关运维经验。

2.对各种hdfs/yarn/hive/impala/spark/hbase等相关参数调优, 性能优化等有实际经验。

3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。

4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。

4.熟悉kerberos安全认证系统,实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。

5.有cloudera的cm使用经验尤佳。

职责:

- 负责局点大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;

- 深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;

- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

- 负责hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求:

- 4年以上运维相关工作经验,有大数据平台运维相关工作经验优先;

- 具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉http/https、tcp/ip、smtp等协议;

- 熟悉linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务。熟练使用linux 命令和常用的ssh、ftp、git、maven等开发工具;

- 熟悉hadoop大数据生态圈,包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flink/impala/elasticsearch/kibana/mysql/kubernetes等;

- 熟悉hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;

- 熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉ssl、acl、kerberos等在大数据环境场景的使用;

- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;

- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和优化;

- 具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;

- 有大数据开发经验和阅读源码能力者优先

职责:

1、负责零售业务系统的运维工作;

2、及时解决用户的系统使用问题;

3、推进建设系统运维流程、制度的制定,包括运维制度、流程与相关系统的日常运营维护、异常监控,保证其高效、稳定运行;

4、每日例行检查及维护工作的监督及执行;

5、定期对用户进行系统培训;

6、直属上司交付的其他工作。

岗位要求

1、大专及以上学历,专业不限,接收优秀应届毕业生,有无经验均可;

2、性格外向开朗,反应敏捷,表达能力强,有良好的沟通技巧和服务意识;

3、工作积极主动,勤恳踏实,执行力强,能够全面配合公司管理工作;

4、有一定的抗压能力及对应各类客户的能力。

职责:

1、参与特定基础架构领域(网络/操作系统/数据库)的基础架构方案设计及实施;

2、负责网络/操作系统/数据库领域的系统运行趋势分析,定期提交相关的故障、运行、流量、数据等情况的分析报告;

3、负责业务系统的日常运维工作;

4、负责数据中心日常巡检、监控、故障处理;

5、确保各网络系统正常运行,分析汇总日常问题,优化流程、提升服务质量;

6、上级交办的其他工作。

岗位要求:

1、计算机相关专业,本科及以上学历,2年以上工作经验;

2、熟悉网络/操作系统/数据库的基本原理,有相关实际管理经验或接受过相关专业培训者优先;

3、熟悉主流网络构架设计,精通tcp/ip协议。熟练配置主流网络设备、了解服务器、存储、虚拟化、集群、负载均衡、监控和系统安全等产品相关技术;

职责:

1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作,保障系统7*24小时运营;

2. 为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张,发现并能解决重大故障及性能瓶颈;

3. 深入理解系统平台及大数据相关运维技术,持续优化集群服务架构;

4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求:

1. 至少3年以上大数据运维经验, 深入理解linux系统,运维体系结构;

2. 深度优化hadoop平台mr作业/计算框架/存储技术,提升集群吞吐并降低成本;

3. 具有cdh(或者hdp)/hdfs/yarn/hive/es/kylin/hbase/kafka/spark/storm/flume/impala/hue/kettle/flink等大数据系统的运维经验,有开发经验;

4. 熟悉hadoop生态,有数据安全相关工作经验, 并能对平台cpu/mem/io/网络/调度中一个或多个方面的性能调优;

5. 熟练掌握shell/python中的任意一门脚本语言;

6. 强烈责任感、缜密的逻辑思维能力,良好的团队协作能力,具备良好的项目管理及执行能力;

1、熟练掌握sql server的使用;

2、精通windows、linux、vmwares操作系统安装维护与故障排除,基础理论扎实,操作熟练;

3、对bs架构程序有所了解;

4、负责服务器日常维护、软硬件安装和配置、存储设备日常维护整理;

5、对服务器进行日常维护,确保各项服务连续正常运行,无重大事故;

6、负责服务器存储网络等基础平台的技术维护和问题处理 ;

7、熟悉pc服务器硬件安装与配置;

    以上就是本篇文章【大数据运维工程师岗位职责 大数据是运维工程师(20篇)】的全部内容了,欢迎阅览 ! 文章地址:http://yy520w.xhstdz.com/quote/3356.html 
     行业      资讯      企业新闻      行情      企业黄页      同类资讯      网站地图      返回首页 物流网资讯 http://gzhdwind.xhstdz.com/ , 查看更多   
最新新闻
2023-2029年中国脂肪醇行业市场竞争态势及发展趋向分析报告
脂肪醇是合成醇系表面活性剂的主要原料,按原料来源不同又分为合成醇和天然醇。由石油为原料制备合成醇的路线很多,但目前已在工业上形成大吨位生产的路线主要有三条:1.几基合成醇,该法在羰基化催化剂接触下,将烯烃和一氧化碳、氢气反应,
seo综合查询是啥意思(seo综合查询工具可以查看哪些数据)
SEO中有一个很重要的知识点就是要在页面中布局关键词,那么在布局关键词时,往往给出的要求是“查找用户爱搜索的词”,并进行布局。那么如何查找用户爱搜索的关键词呢?1.搜索引擎下拉框我们在搜索框中输入相应关键词时,系统往往会在下拉
AI智能脱口秀文案生成工具:一键打造爆笑子与幽默桥,全面满足创作需求
AI智能脱口秀文案生成工具:一键打造爆笑子与幽默桥,全面满足创作需求在信息时代飞速发展的今天人工智能已经渗透到咱们生活的方方面面甚至连幽默与创意也不例外。你是不是曾经为创作脱口秀子而头痛不已绞尽脑汁却依然无法捕捉到那些让人捧
1000个箭头(ai源文件,可编辑)在此,绘图必备!
免费资源:一、国自然类:1 2023历年国自然标书全文3国自然项目答辩PPT5标书写作模板7 国自然项目造假清单22018-24年国自然清单4 基金插图素材(可编辑)6 ‍近10年国自然标书全文‍二、SCI生信+实验类:1 160套SCI实验操作视频3Meta分析范
交通银行:启动新一代集团信息系统智慧化转型工程
  中国网财经8月16日讯 交通银行16日在银行业例行新闻发布会上介绍了该行加速推进信息技术智慧化转型的相关情况。交通银行副行长沈如军表示,日前,交通银行正式启动新一代集团信息系统智慧化转型工程(“新531”工程),目的是以打造数字
抖音短视频什么时间段发布最多人看?抖音流量时间段分析
三、注意事项其实,选择视频发布的时间对流量的影响虽然很重要,但是我们也不可忽视视频的内容质量,一个优质的视频可以轻松帮助我们登上热门。那如何产生优质的内容呢,我们可以从以下两点出发:1)素材来源 内容是重中之重。但是创造优质
11个帮助站长提升网站搜索引擎自然流量的SEO技巧
怎样提高你的百度搜索引擎提升专业技能?能够小范畴的试着一下这一明细里边的SEO专业技能,她们全是行得通并便于了解的百度搜索引擎提升专业技能。绝大多数的SEO专业技能明细都很模糊不清:对的…点“回到”按键。在本文中,大家将清除模棱
9月20日,百万美国人打算解救51区的外星Homie
美国最热话题是,一群哥们儿要抱团冲进美国神秘的军事基地51区,活捉外星人。什么叫51区,杰个话题都快被他吗说烂了,简单带你复习一下:美国政府储藏1947年罗斯威尔不明飞行物坠毁残骸和地外生物尸体的仓库,以及和外星人签订研究外星科技
2024流行的1一4多人游戏有哪些 好玩的多人游戏排行榜
多人游戏随着发展目前已经成为了众多游戏玩家们的圣地,这种游戏类型不仅仅只是注重玩家的个人技术,更是对玩家们的心理素质以及团队协作的终极挑战,2024流行的1一4多人游戏有哪些,介绍的游戏将会给玩家带来阵阵令人心跳加速的快感,同时
2005年以来国内成品油历次调价一览表
三次成品油定价机制改革自1998年迄今,中国已经历了三次成品油定价机制改革。1998年6月3日,原国家计委出台《原油成品油价格改革方案》,规定中石油和中石化两个集团公司之间原油交易结算价格由双方协商确定,价格由原油基准价和贴水两部分
本企业新闻
推荐企业新闻
发表评论
0评