2024年hadoop崗位職責18篇

2024年hadoop崗位職責18篇

目錄

第1篇hadoop研發(fā)工程師職位描述與崗位職責任職要求

第2篇hadoop運維工程師職位描述與崗位職責任職要求

第3篇hadoopsre工程師職位描述與崗位職責任職要求

第4篇高級hadoop開發(fā)工程師職位描述與崗位職責任職要求

第5篇hadoop運維崗位職責

第6篇seniorconsultant,hadoopengineer職位描述與崗位職責任職要求

第7篇hadoop開發(fā)工程師職位描述與崗位職責任職要求

第8篇hadoop運維崗位職責hadoop運維職責任職要求

第9篇hadoop工程師職位描述與崗位職責任職要求

第10篇大數(shù)據(jù)基礎架構工程師（hadoop）職位描述與崗位職責任職要求

第11篇hadoop開發(fā)工程師b02職位描述與崗位職責任職要求

第12篇hadoop高級工程師職位描述與崗位職責任職要求

第13篇架構師（java&hadoop）職位描述與崗位職責任職要求

第14篇hadoop架構師崗位職責hadoop架構師職責任職要求

第15篇hadoop高級開發(fā)工程師職位描述與崗位職責任職要求

第16篇hadoop架構師崗位職責

第17篇高級系統(tǒng)架構師（hadoop/spark)職位描述與崗位職責任職要求

第18篇hadoop程序員崗位職責

seniorconsultant,hadoopengineer職位描述與崗位職責任職要求

職位描述：

incorporatedin2017，kpmgtechnologyr&dcentrecombinesfourfunctions:r&d，in-houseservices，outsourcedservicesandoperationalservices.itiskpmg’sfirstr&dcentreandseconddeliverycentreinchina.

askpmg’sfirstr&dcentreinchina，ourbusinessactivitiescurrentlyinclude:

1.development，design，productionofcomputersoftwareandcomputersystemintegration;

2.ai，r&danddeliveryoftechnologies

3.bigdata-relatedservicesandtechnicalsupport，includingdatadevelopment，dataprocessing，dataminingetc.

drivenbyincreasingmarketdemand，wewillexpandther&dcentre’sscopeofbusinessonanongoingbasistoenabletechnologiestoprovidequalityservicesforourclients.

responsibilities

workaspartofateamsupportingthefollowingbusinessplatforms:

-enterprisedatawarehouse

-provideguidanceondesigningbigdataplatformarchitecture

-conductresearchonlatestbigdataplatformproducts

-takeresponsibilityfordesigningthecorecomponentsofbigdataplatformsuchas:hdfs、mapreduce、hiva、hbase

skillsandexperience

-familiarwithlinuxjavadevelopmentenvironmentandjavaeespecifications

-familiarwithbasicdatastructuresandcommonalgorithm

-familiarwithshelland/orjavaand/orscala

-familiarwithbasiclinuxoperations

-abilitytomulti-task，strongsenseofresponsibility，andverystrongcommunicationskills

-deepknowledgeofhadoop，spark，hive，nosql，hbase，mapreduceisaplus

hadoop架構師崗位職責hadoop架構師職責任職要求

hadoop架構師崗位職責

工作職責:

1、負責全行大數(shù)據(jù)在各類業(yè)務場景中的應用規(guī)劃及設計方案的制定;

2、負責對全行大數(shù)據(jù)的標準化進行梳理并制定相應方案;

3、負責制定全行的元數(shù)據(jù)集，并對元數(shù)據(jù)管理的流程、技術方案進行設計;

4、面向數(shù)據(jù)價值服務為數(shù)據(jù)應用場景進行方案設計并指導落實實施;

5、負責對大數(shù)據(jù)相關領域的創(chuàng)新性研究和知識產(chǎn)權保護工作;

6、領導交辦的其他工作內容。

任職要求:

1、全日制本科及以上學歷，計算機、通信工程、數(shù)學等相關專業(yè);

2、具備3年以上大數(shù)據(jù)相關開發(fā)經(jīng)驗，2年以上大數(shù)據(jù)系統(tǒng)相關設計經(jīng)驗;

3、熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數(shù)據(jù)相關技術，并具備相關開發(fā)經(jīng)驗;

4、在金融行業(yè)或互聯(lián)網(wǎng)金融領域有過相關工作經(jīng)驗者優(yōu)先考慮;

5、具備良好的溝通能力、團隊合作精神，能接受高強度工作。大數(shù)據(jù)架構師:

工作職責:

1、負責全行大數(shù)據(jù)在各類業(yè)務場景中的應用規(guī)劃及設計方案的制定;

2、負責對全行大數(shù)據(jù)的標準化進行梳理并制定相應方案;

3、負責制定全行的元數(shù)據(jù)集，并對元數(shù)據(jù)管理的流程、技術方案進行設計;

4、面向數(shù)據(jù)價值服務為數(shù)據(jù)應用場景進行方案設計并指導落實實施;

5、負責對大數(shù)據(jù)相關領域的創(chuàng)新性研究和知識產(chǎn)權保護工作;

6、領導交辦的其他工作內容。

任職要求:

1、全日制本科及以上學歷，計算機、通信工程、數(shù)學等相關專業(yè);

2、具備3年以上大數(shù)據(jù)相關開發(fā)經(jīng)驗，2年以上大數(shù)據(jù)系統(tǒng)相關設計經(jīng)驗;

3、熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數(shù)據(jù)相關技術，并具備相關開發(fā)經(jīng)驗;

4、在金融行業(yè)或互聯(lián)網(wǎng)金融領域有過相關工作經(jīng)驗者優(yōu)先考慮;

5、具備良好的溝通能力、團隊合作精神，能接受高強度工作。

架構師（java&hadoop）職位描述與崗位職責任職要求

職位描述：

職責描述：

職責描述：

1.負責設計和搭建軟件系統(tǒng)架構（平臺、數(shù)據(jù)庫、接口和應用架構等），解決開發(fā)中各種系統(tǒng)架構問題。

2.優(yōu)化現(xiàn)有系統(tǒng)的性能，解決軟件系統(tǒng)平臺關鍵技術問題攻關、核心功能模塊設計。

3.在項目需求不斷細化的工程中校正整體的架構設計，以及詳細模塊拆分設計。

4.營造技術學習氛圍，帶領團隊不斷完善開發(fā)方法及流程，提升開發(fā)效率與質量，加強技術標準及規(guī)范。

5.帶領團隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術難關。

6.參與討論公司產(chǎn)品發(fā)展方向，完整的規(guī)劃和把握產(chǎn)品研發(fā)架構。

任職要求：

五年以上java開發(fā)經(jīng)驗，有獨立完成項目經(jīng)驗和能力；

1.精通springmvc+mybatis或ssh等框架的搭建和開發(fā)；

2.精通tomcat，apache，nginx等web服務器的管理和調優(yōu)；

3.精通mysql/mariadb或postgres數(shù)據(jù)庫的開發(fā)，管理和調優(yōu)；

4.熟練使用redis，rabbitmq，mongodb等相關或類似技術；

5.懂得node.js，jquery，h5，websocket，長鏈接，nio等技術；

6.熟練使用linux（centos/ubuntu)操作和管理；

7.擅長系統(tǒng)性能調優(yōu)和疑難問題調試；

8.熟悉oracle、hbase、hive等數(shù)據(jù)庫的開發(fā)優(yōu)化；

9.熟悉hadoop、spark等大數(shù)據(jù)平臺；

10.懂得構建高性能高并發(fā)分布式服務架構體系優(yōu)先；

11.懂的數(shù)據(jù)安全、應用安全和系統(tǒng)安全可以加分；

12.具有團隊合作精神、能帶隊和懂項目管理可以加分。

hadoopsre工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、參與打造業(yè)界領先的存儲、計算、消息隊列等分布式系統(tǒng)

2、為海量數(shù)據(jù)及其上的大規(guī)模數(shù)據(jù)挖掘、數(shù)據(jù)分析、機器學習業(yè)務系統(tǒng)提供可靠、高效的支持

3、深入了解業(yè)務需求，利用存儲技術支持關鍵業(yè)務場景

任職要求：

1、掌握分布式系統(tǒng)原理，對存儲、計算、消息隊列的一項或多項有深入的理解和認識

2、樂于挑戰(zhàn)沒有明顯答案的問題，能快速理解業(yè)務場景，從具體問題中抽象出通用的解決方案

3、有較好的溝通能力；有良好的團隊合作精神

hadoop工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

1.負責公司大數(shù)據(jù)平臺的hadoop技術棧研究，形成技術解決方案和整體的大數(shù)據(jù)架構。

2.負責hadoop平臺（分布式存儲、分布式資源管理和調度、分布式計算等）的架構研究、測試、優(yōu)化搭建工作；

3.負責探索，

研究新的

hadoop

生態(tài)中技術引擎，不斷擴充平臺能力。

4.制定hadoop整體集群使用規(guī)范，規(guī)范的hadoop日常維護、異常處理等工作，保障集群穩(wěn)定、運行規(guī)范解決方案

5.負責公司定制項目的大數(shù)據(jù)架構的整體解決方案

6.負責各種行業(yè)大數(shù)據(jù)在不同應用場景的最佳開發(fā)實踐，提供流計算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術解決方案

任職資格：

1.三年以上hadoop集群架構開發(fā)或架構經(jīng)驗。

2.精通hadoop架構的設計以及生態(tài)，hadoop的集群的搭建、部署、開發(fā)和運維

3.精通hadoop各個模塊的能力定位和配置，對hdfs、hbase、mr、spark等基本組件熟知

4.熟悉linux系統(tǒng)及調錯經(jīng)驗，熟悉

jvm

運行機制，有

shell、python開發(fā)經(jīng)驗。

5.有鉆研新技術的熱情和能力，善于交流和表達，富有團隊精神

6.有企業(yè)級大數(shù)據(jù)系統(tǒng)設計經(jīng)驗者優(yōu)先。

7.有一定的代碼經(jīng)驗，python/java/c++/ruby均可。

hadoop開發(fā)工程師b02職位描述與崗位職責任職要求

職位描述：

崗位職責：

1.參與人工智能開源開放平臺核心系統(tǒng)的構建；

2.人工智能開源開放平臺相關前沿技術、運用調研及落地；

3.負責人工智能開源開放平臺性能的優(yōu)化。

任職要求：

1.國內學歷：統(tǒng)招全日制985/211碩士及以上學歷，取得學位證和畢業(yè)證；

2.國外學歷：海外全日制碩士及以上學歷；qs世界大學排名前300高等院校；海外留學時長不少于1.5年；

3.有大型互聯(lián)網(wǎng)公司大數(shù)據(jù)平臺及數(shù)據(jù)開發(fā)經(jīng)驗者優(yōu)先；

4.扎實的java、python基礎，掌握常用數(shù)據(jù)結構（鏈表、哈希、樹）等；

5.精通linux/unix環(huán)境，熟悉linux性能調優(yōu)，熟練掌握shell，有良好的計算機網(wǎng)絡基礎；

6.有較強的產(chǎn)品理解，能從技術角度推動產(chǎn)品優(yōu)化；

7.有如下技能者優(yōu)先，spark/sparkstreaming/hadoop/hdfs/kafka/elasticsearch；

8.英語6級，能讀懂相關外文技術文獻。

高級hadoop開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1，基于hadoop進行mapreduce、hive和hbase的應用開發(fā)；

2，維護和管理大規(guī)模hadoop集群，解決不斷增長的海量數(shù)據(jù)帶來的存儲和計算挑戰(zhàn)；

3，大數(shù)據(jù)平臺數(shù)據(jù)清洗、轉換和建模的開發(fā)。

任職要求：

1，熟悉hadoop/hbase/spark/hive生態(tài)環(huán)境體系的搭建和管理，掌握hadoop、hbase、mapreduce、hdfs、hive、kylin、zookeeper等開源項目的原理和使用方法，具有實際集群搭建和調優(yōu)經(jīng)驗；

2，熟悉并有java開發(fā)經(jīng)驗，有大平臺架構開發(fā)經(jīng)驗；

3，掌握至少一種nosql數(shù)據(jù)庫，具有真正項目使用經(jīng)驗；

4，掌握數(shù)據(jù)分析的基本流程，擅長數(shù)據(jù)采集、清洗、分析等環(huán)節(jié)；

5，熟悉后端服務（restfulapi服務實現(xiàn)）優(yōu)先；

6，熟悉使用sqlserver、oracle、mysql一種；

7，良好團隊協(xié)作和溝通能力；

8，大專及以上學歷，3-5年及以上工作經(jīng)驗。

hadoop程序員崗位職責

職責

搭建和維護hadoop數(shù)據(jù)分析平臺

協(xié)助研究r與hadoop結合實施大數(shù)據(jù)挖掘

依據(jù)分析挖掘方案,建立模型、生成分析結果、統(tǒng)計表、圖和列表等的程序代碼。

協(xié)助項目團隊負責人履行項目職責。

能力和技能

熟悉linux操作系統(tǒng)、java、hadoop的運營及算法。

具備基本的統(tǒng)計編程知識,例如r、basesas、sas/stat、sas宏語言、sql。

具備一定的溝通能力。

具備有效處理多任務的能力。

具備一定的計算能力及發(fā)現(xiàn)細節(jié)的能力。

具備團隊合作能力。

學歷和經(jīng)驗要求:

計算機、數(shù)學專業(yè)學士學歷及以上,或同等教育背景并具有統(tǒng)計編程經(jīng)驗;有hadoop運營經(jīng)驗、hadoop算法經(jīng)驗者優(yōu)先。

hadoop運維崗位職責

hadoop運維工程師杭州麥歌算法科技有限公司杭州麥歌算法科技有限公司,麥歌算法,麥歌算法

任職要求:職位描述:

1.根據(jù)業(yè)務需求和落地環(huán)境確定大數(shù)據(jù)平臺的方案和具體搭建

2.負責大數(shù)據(jù)平臺及相關業(yè)務系統(tǒng)的(hadoop/spark/elasticsearch/zeppelin/jupyter等)的運維工作

3.對大數(shù)據(jù)基礎平臺系統(tǒng)穩(wěn)定性負責,負責故障應急響應及指揮,做好故障發(fā)現(xiàn)和預防,為其持續(xù)優(yōu)化提供建設性意見

4.與數(shù)據(jù)組合作,幫助處理優(yōu)化項目中數(shù)據(jù)處理工作(數(shù)據(jù)采集、清洗、匯總、集成等),保證數(shù)據(jù)的準確性和穩(wěn)定性

崗位要求:

1.精通scala或python至少一門編程語言,兩種都熟悉優(yōu)先

2.精通shell腳本編程

3.熟悉hadoop/hive/hbase/spark等分布式計算環(huán)境進行海量數(shù)據(jù)分析與計算;

4.做過數(shù)據(jù)倉庫,對數(shù)據(jù)治理、數(shù)據(jù)標準及元數(shù)據(jù)有很好理念及實施經(jīng)驗的優(yōu)先;

5.熟悉devops等自動化運維工具;

6.有過10臺以上集群運維的經(jīng)驗

7.良好的溝通能力和團隊精神,具備創(chuàng)新意識;

8.以結果為導向,具有強烈的責任心、鉆研精神和良好的團隊溝通能力。

關鍵詞:hadoopspark

大數(shù)據(jù)基礎架構工程師（hadoop）職位描述與崗位職責任職要求

職位描述：

工作職責：

1、打造業(yè)界領先的大數(shù)據(jù)基礎設施，包括數(shù)據(jù)接入，同步，存儲、計算，查詢等環(huán)節(jié)的分布式系統(tǒng)，為海量數(shù)據(jù)和大規(guī)模業(yè)務系統(tǒng)提供可靠的基礎設施；

2、與開源社區(qū)保持交流，發(fā)現(xiàn)對業(yè)務場景有幫助的特性并引入生產(chǎn)環(huán)境，或將經(jīng)內部驗證的特性貢獻到社區(qū)；

3、承擔千臺規(guī)模集群的管理工作，與業(yè)務一起解決性能優(yōu)化、容量規(guī)劃、預算審計等問題，保障集群高效穩(wěn)定經(jīng)濟運行；

任職資格：

1、計算機基礎扎實，熟悉常用數(shù)據(jù)結構和算法，具備較強的邏輯思維能力和編碼能力；

2、掌握分布式系統(tǒng)原理，對存儲、計算、消息隊列、資源管理，數(shù)據(jù)同步等中的一項或多項有深入的理解和認識；

3、樂于挑戰(zhàn)沒有明顯答案的問題，能快速理解業(yè)務場景，從具體問題中抽象出通用的解決方案；

4，熟悉hadoop，hbase，zookeeper，flume，k8s等基礎服務中的一項或多項；

5、有kafka或者同類型技術設計開發(fā)及集群管理經(jīng)驗者優(yōu)先。

高級系統(tǒng)架構師（hadoop/spark)職位描述與崗位職責任職要求

職位描述：

1.計算機及計算機相關專業(yè)本科或本科以上學歷；

2.十年以上開發(fā)工作經(jīng)驗；

3.精通java編程，熟練掌握springcloud、springboot、springframework、springsecurity、springmvc、springdata、mybatis、hibernate、zookeeper等主流的開發(fā)框架，有良好的編程習慣。

4.精通大數(shù)據(jù)hadoop、spark、hbase、hive、kafka等產(chǎn)品技術及應用開發(fā)。

5.精通多線程編程、分布式事務、存儲系統(tǒng)（如oracle、mongodb、redis等）的性能調優(yōu)和應用開發(fā)；

6.具備優(yōu)秀的邏輯思維能力，對解決挑戰(zhàn)性問題充滿熱情，善于解決問題和分析問題；

7.有強烈的上進心和求知欲，善于學習新事物，良好的團隊合作精神，較強的溝通能力和學習能力。

hadoop高級開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

1、負責hadoop平臺上的數(shù)據(jù)存儲，數(shù)據(jù)維護和優(yōu)化；

2、編寫一些pig，hive等分析腳本；

3、負責把一些分析結果導入到數(shù)據(jù)庫中，為bi提供基礎數(shù)據(jù)分析；

4、hadoop集群問題排查，并提出解決方案；

5、job報錯問題排查；

6、根據(jù)集群的問題，開發(fā)一些監(jiān)控程序，解決隱患；

7、平臺工具開發(fā)或者提供第三方開源工具。

任職要求：

1、深入了解hadoop運行機制，包括hdfs/mapreduce/zookeeper/yarn等工作原理。

2、了解分布式系統(tǒng)的原理。

3、負責hadoop平臺上的數(shù)據(jù)存儲，數(shù)據(jù)維護和優(yōu)化；

4、hadoop集群問題排查，并提出解決方案；

5、開發(fā)監(jiān)控程序，解決存在的隱患；

6、有hadoop平臺運維經(jīng)驗優(yōu)先。

7、有大數(shù)據(jù)平臺工具開發(fā)經(jīng)驗。

hadoop研發(fā)工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

1.負責公司大數(shù)據(jù)平臺的hadoop技術棧研究，形成技術解決方案和整體的大數(shù)據(jù)架構。

2.負責hadoop平臺（分布式存儲、分布式資源管理和調度、分布式計算等）的架構研究、測試、優(yōu)化搭建工作；

3.負責探索，

研究新的

hadoop

生態(tài)中技術引擎，不斷擴充平臺能力。

4.制定hadoop整體集群使用規(guī)范，規(guī)范的hadoop日常維護、異常處理等工作，保障集群穩(wěn)定、運行規(guī)范解決方案

5.負責公司定制項目的大數(shù)據(jù)架構的整體解決方案

6.負責各種行業(yè)大數(shù)據(jù)在不同應用場景的最佳開發(fā)實踐，提供流計算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術解決方案

任職資格：

1.三年以上hadoop集群架構開發(fā)或架構經(jīng)驗。

2.精通hadoop架構的設計以及生態(tài)，hadoop的集群的搭建、部署、開發(fā)和運維

3.精通hadoop各個模塊的能力定位和配置，對hdfs、hbase、mr、spark等基本組件熟知

4.熟悉linux系統(tǒng)及調錯經(jīng)驗，熟悉

jvm

運行機制，有

shell、python開發(fā)經(jīng)驗。

5.有鉆研新技術的熱情和能力，善于交流和表達，富有團隊精神

6.有企業(yè)級大數(shù)據(jù)系統(tǒng)設計經(jīng)驗者優(yōu)先。

7.有一定的代碼經(jīng)驗，python/java/c++/ruby均可。

hadoop架構師崗位職責

hadoop架構師泰康在線財產(chǎn)保險股份有限公司泰康在線財產(chǎn)保險股份有限公司,泰康在線,泰康工作職責:

1.負責搭建數(shù)據(jù)平臺、數(shù)據(jù)倉庫平臺、物聯(lián)網(wǎng)數(shù)據(jù)平臺、ai數(shù)據(jù)平臺,負責數(shù)據(jù)平臺架構的整合、優(yōu)化、開發(fā)、部署實施、運維相關工作,確保數(shù)據(jù)平臺穩(wěn)定運行

2.主導搭建數(shù)據(jù)平臺(dw/ai/hadoop平臺等),提供數(shù)據(jù)接口對接、存儲、提取、處理、清洗、邏輯解析、規(guī)范化、iot設備互聯(lián)互通能力

3.具備java,sql開發(fā)經(jīng)驗,性能調測,開源代碼商業(yè)化,底層基礎架構搭建

4.參與公司數(shù)據(jù)處理方向的技術拓展,保障公司業(yè)務的數(shù)據(jù)需求

5.負責數(shù)據(jù)平臺實時計算/分布式并行計算的架構設計代碼編寫,及開源技術組件的二次開發(fā)

6.運用hadoop/sparksql與sparkstreaming或者其它數(shù)據(jù)分析技術,進行包括需求分析,平臺選擇,技術構架涉及等技術支持工作,確保能夠保障公司業(yè)務的數(shù)據(jù)需求

任職要求:

1.熟悉傳統(tǒng)數(shù)據(jù)倉庫,至少三年以上數(shù)據(jù)倉庫開發(fā)、構建、運維經(jīng)驗

2.熟悉hadoop技術體系,有hadoop/spark架構經(jīng)驗,有hadoop計算集群在實際項目上的開發(fā)和維護經(jīng)驗

3.兩年以上基于hadoop/spark/hbase/hive等分布式數(shù)據(jù)計算應用開發(fā)經(jīng)驗

4.熟悉數(shù)據(jù)平臺數(shù)據(jù)同步技術,如:ogg,cdc,sqoop等,并有實際經(jīng)驗

5.熟悉大數(shù)據(jù)大數(shù)據(jù)性能優(yōu)化,并有實際項目經(jīng)驗

6.熟悉apachemahout/sparkmlib的各種算法

7.精通java,熟練掌握mapreduce原理以及數(shù)據(jù)分析相關的二次開發(fā)

8.熟悉linux/unix,熟悉perl/python/shell等腳本開發(fā)語言

9.了解敏捷開發(fā)流程,有敏捷開發(fā)經(jīng)驗者優(yōu)先

10.良好的數(shù)據(jù)結構和算法基礎,有較強的算法設計和實現(xiàn)能力

11.本科以上學歷,計算機及相關專業(yè)

hadoop高級工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

職位描述：

1、hadoop產(chǎn)品功能設計、開發(fā)與測試、性能優(yōu)化，根據(jù)項目具體要求，承擔開發(fā)任務，按計劃完成任務目標

2、負責編制與項目相關的技術文檔。

任職要求：

1、計算機相關專業(yè)，本科及以上學歷，2年以上hadoop開發(fā)工作經(jīng)驗；

2、熟練使用linux系統(tǒng)，熟悉內核和shell腳本編寫，能夠在linux環(huán)境下進行開發(fā)工作；

3、熟練使用java語言進行開發(fā)；

4、熟悉分布式文件系的設計和使用，調試優(yōu)化過hdfs文件系統(tǒng)者優(yōu)先；

5、良好的代碼開發(fā)風格及開發(fā)習慣，學習能力、溝通能力，英文資料閱讀和理解能力；

6、參與過hadoop社區(qū)貢獻者優(yōu)先；

以下要求至少滿足其中1項：

7、熟悉hadoop的架構和原理，以及參數(shù)調優(yōu)和性能優(yōu)化，了解partition，shuffle，sort等機制。

8、有設計，調試或者優(yōu)化類似hdfs文件系統(tǒng)經(jīng)驗；

工作地點：南京

hadoop運維工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1.kafka集群、spark、hive、hbase、hadoop平臺運維；

2.獨立完成運維過程中問題定位、問題解決、并進行總結文檔編寫；

3.參與大數(shù)據(jù)平臺etl處理，合理規(guī)劃大數(shù)據(jù)資源，提高大數(shù)據(jù)平臺資源利用率，負責基于大數(shù)據(jù)平臺的開發(fā)和基礎建設；

4.負責大數(shù)據(jù)平臺相關系統(tǒng)的運維工作；

5.跟蹤大數(shù)據(jù)論壇社區(qū)新技術發(fā)展，持續(xù)更新技術資源，挖掘更多應用場景。

任職要求：

1.統(tǒng)招本科以上學歷，3年以上大數(shù)據(jù)開發(fā)經(jīng)驗；

2.熟悉hadoop、spark、kafka等技術，對底層架構有深入了解，有基于底層架構進行開發(fā)者優(yōu)先考慮，精通linux腳本，熟悉linux腳本開發(fā)；

3.掌握flink/kylin/presto/elasticsearch/redis等一種或多種技術優(yōu)先；精通hive、hbase數(shù)據(jù)庫開發(fā)，對其底層架構有深入研究者優(yōu)先考慮；

4.熟悉數(shù)據(jù)架構，對數(shù)據(jù)處理有深入理解。熟悉掌握java/python/scala開發(fā)語言；

5.性格樂觀，積極主動，能夠主動承擔責任和解決實際問題。

hadoop運維