大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選范文

1、大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)該領(lǐng)域所屬模塊的代碼開發(fā)、調(diào)試與維護(hù)工作，并進(jìn)行技術(shù)沉淀和文檔輸出。下面是筆者整理的大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選。大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選1職責(zé)：1、負(fù)責(zé)公司項目應(yīng)用監(jiān)測數(shù)據(jù)，分析軟件大數(shù)據(jù)平臺的代碼開發(fā);2、負(fù)責(zé)大數(shù)據(jù)體系架構(gòu)設(shè)計和應(yīng)用產(chǎn)品的研究;3、負(fù)責(zé)大數(shù)據(jù)平臺及應(yīng)用場景的構(gòu)建、部署、測試;4、編寫軟件研發(fā)相關(guān)技術(shù)文檔;5、編寫產(chǎn)品研發(fā)相關(guān)任務(wù)單計劃，階段性代碼、技術(shù)方案和軟件產(chǎn)品及時提交至配置管理理庫;6、Spark程序的研發(fā)，sqoop腳本開發(fā)和商家用戶行為等離線分析數(shù)據(jù);7、kudu，kylin等技術(shù)調(diào)研，編寫軟件研發(fā)相關(guān)技

2、術(shù)文檔;8、SUNMI數(shù)倉設(shè)計架構(gòu)以及ETL流程開發(fā);9、建立多維度，多體系的用戶標(biāo)簽體系以及用戶行為數(shù)據(jù)庫。崗位要求 ：1、本科以上學(xué)歷，4年以上?工作經(jīng)驗(yàn)，2年以上Hadoop平臺的相關(guān)研發(fā)經(jīng)驗(yàn)，具有良好的需求分析，方案設(shè)計，架構(gòu)設(shè)計，程序編寫、測試能力;2、熟悉J2EE或Python平臺開發(fā)，有良好的Java或Python語言功底;3、了解Linu_/Uni_操作系統(tǒng)，了解腳本編程(Shell/Python其中一種);4、具備數(shù)據(jù)中心資源管理(YARN)、監(jiān)控(ClouderaManage)、調(diào)度(Azkaban)等系統(tǒng)研發(fā)經(jīng)驗(yàn)者優(yōu)先，具備分布式系統(tǒng)研發(fā)經(jīng)驗(yàn)者優(yōu)先;5、熟悉hadoop以

3、及其?生態(tài)圈系統(tǒng)上的hive、hbase、sqoop、spark、spark-streaming等技術(shù)，懂hadoop源碼者優(yōu)先;6、熟悉Kylin有OLAP平臺設(shè)計和開發(fā)經(jīng)驗(yàn)優(yōu)先;7、具有應(yīng)用大數(shù)據(jù)技術(shù)處理TB級以上數(shù)據(jù)的項目開發(fā)經(jīng)驗(yàn)者優(yōu)先;8、有較清晰的代碼編寫規(guī)范，邏輯性強(qiáng)，工作態(tài)度認(rèn)真，良好溝通能力和團(tuán)隊合作精神。大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選2職責(zé)：1、 負(fù)責(zé)基于Hadoop/Spark平臺架構(gòu)的開發(fā)、設(shè)計和布局 ;2、 完成系統(tǒng)框架的設(shè)計和核心代碼的編寫;3、 針對海量的用戶行為數(shù)據(jù)進(jìn)行統(tǒng)計、分析與挖掘，不斷提高系統(tǒng)運(yùn)行效率;4、 負(fù)責(zé)對數(shù)據(jù)進(jìn)行分析，為項目組提供大數(shù)據(jù)技術(shù)指導(dǎo)及分

4、析手段支撐;5、 負(fù)責(zé)大數(shù)據(jù)平臺的性能監(jiān)控和持續(xù)優(yōu)化;針對需求提供大數(shù)據(jù)分析技術(shù)解決方案 ;6、 大數(shù)據(jù)平臺的運(yùn)維工作，持續(xù)完善大數(shù)據(jù)平臺，保證穩(wěn)定性、安全性;7、 熟練使用大數(shù)據(jù)ETL數(shù)據(jù)抽取工具;8、領(lǐng)導(dǎo)安排的其他工作。任職資格：1、 3年互聯(lián)網(wǎng)行業(yè)開發(fā)經(jīng)驗(yàn)，計算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷;2、 精通Hadoop大數(shù)據(jù)平臺架構(gòu)，具有扎實(shí)的Java/Python等開發(fā)語言;并可以開發(fā)高效可靠的代碼;3、 具有較強(qiáng)的數(shù)據(jù)分析、數(shù)據(jù)挖掘的能力;4、 熟悉spark、Hive、storm等計算框架者優(yōu)先，對分布式存儲和計算原理有較深的理解;5、 嚴(yán)密的數(shù)學(xué)思維、突出的分析和歸納能力、優(yōu)秀的溝通表達(dá)能

5、;6、 個性開朗，對技術(shù)鉆研好學(xué)、邏輯思維能力強(qiáng)，溝通能力優(yōu)秀，有團(tuán)隊合作精神。大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選3職責(zé):1. 負(fù)責(zé)機(jī)票酒店大數(shù)據(jù)項目的評估、設(shè)計及關(guān)鍵模塊研發(fā);2. 參與公司大數(shù)據(jù)平臺及聯(lián)機(jī)分析系統(tǒng)的建設(shè);3. 機(jī)器學(xué)習(xí)算法討論、評估及算法的最終編碼實(shí)現(xiàn);4. 數(shù)據(jù)平臺開發(fā)規(guī)范制定，數(shù)據(jù)建模及核心框架研發(fā);任職要求:1. 本科及以上學(xué)歷，計算機(jī)或數(shù)學(xué)相關(guān)專業(yè)，三年以上相關(guān)工作經(jīng)驗(yàn);2. 掌握J(rèn)ava、Python、Scala等 中的一到兩種語言;3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL數(shù)據(jù)庫開發(fā)和調(diào)優(yōu);4. 熟悉數(shù)據(jù)相關(guān)開源框架和工具，如ZooKee

6、per、Spark、Flink、Impala、Kylin 等;5. 對數(shù)據(jù)結(jié)構(gòu)和機(jī)器學(xué)習(xí)算法有一定的了解;6. 具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項目的工作經(jīng)驗(yàn)者優(yōu)先;7. 有機(jī)票酒店等旅游行業(yè)數(shù)據(jù)開發(fā)經(jīng)驗(yàn)者優(yōu)先。大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選4職責(zé)：1.負(fù)責(zé)公司環(huán)保大數(shù)據(jù)平臺的架構(gòu)與搭建;2.負(fù)責(zé)需求分析，根據(jù)客戶應(yīng)用需求規(guī)劃大數(shù)據(jù)平臺架構(gòu);3.負(fù)責(zé)將大數(shù)據(jù)平臺部署至私有服務(wù)器群、私有云或公有云;4.負(fù)責(zé)在企業(yè)內(nèi)部進(jìn)行數(shù)據(jù)平臺原型開發(fā)與數(shù)據(jù)實(shí)時交互、存儲性能測試;5.負(fù)責(zé)與數(shù)據(jù)挖掘算法交互的架構(gòu)設(shè)計與開發(fā)。任職要求：1.計算機(jī)相關(guān)專業(yè)，全日制本科以上學(xué)歷;2.具有3年以上大數(shù)據(jù)相關(guān)應(yīng)用

7、開發(fā)經(jīng)驗(yàn)，有Java開發(fā)經(jīng)驗(yàn)更佳;3.至少熟悉一種流行的大數(shù)據(jù)編程框架，如Spark，Storm，F(xiàn)link等;4.熟悉大數(shù)據(jù)生態(tài)圈常用技術(shù)如RocketMQ，Kafka，F(xiàn)lume，Zookeeper等;5.熟悉Hadoop安裝、調(diào)試、發(fā)布配置應(yīng)用，熟悉Linu_操作系統(tǒng)更佳;6.至少熟悉TIDB，MySQL，SQLServer其中一種數(shù)據(jù)庫;7.學(xué)習(xí)能力強(qiáng)，對技術(shù)有熱情，關(guān)注技術(shù)發(fā)展方向;8.具有工業(yè)物聯(lián)網(wǎng)、智慧型環(huán)保項目背景者優(yōu)先。大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選5職責(zé)：1、負(fù)責(zé)公司大數(shù)據(jù)平臺建設(shè);2、根據(jù)業(yè)務(wù)需求，制定數(shù)據(jù)倉庫和數(shù)據(jù)分析平臺的實(shí)施和持續(xù)更新;3、攻克技術(shù)難關(guān)，保證大數(shù)據(jù)系統(tǒng)的穩(wěn)定運(yùn)行;4、完成大數(shù)據(jù)產(chǎn)品的開發(fā)。職位要求：1、計算機(jī)相關(guān)專業(yè)全日制專科及以上學(xué)歷，大數(shù)據(jù)相關(guān)經(jīng)驗(yàn);2、熟悉Java或Scala語言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeep