大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板

1、大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)數(shù)據(jù)倉庫的體系建設(shè)及落地實(shí)現(xiàn)。下面是小編整理的大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板。大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板1職責(zé)：1、獨(dú)立負(fù)責(zé)工作小組，并對(duì)下級(jí)成員進(jìn)行監(jiān)督;2、具備資源整合以及對(duì)軟件項(xiàng)目全局把控的能力;3、負(fù)責(zé)軟件項(xiàng)目的系統(tǒng)設(shè)計(jì)和需求分析;4、制定軟件項(xiàng)目開發(fā)計(jì)劃，并按時(shí)完成功能模塊的設(shè)計(jì)、開發(fā)以及編程任務(wù);5、積極配合并完成主管下達(dá)的任務(wù)，并能夠?qū)浖块T的發(fā)展規(guī)劃提出意見;任職條件1、大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn)3 年以上，至少具備2 年以上java 開發(fā)經(jīng)驗(yàn);2、有基于hadoop 的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的開發(fā)相關(guān)經(jīng)驗(yàn) ;3 、 熟 練 掌 握

2、 hadoop 生 態(tài) 的 相 關(guān) 知 識(shí) ， 如 hive,hbase,flume.kafka,storm,spark ， mapreduce 等 ;4、熟悉Linux 操作系統(tǒng)。熟悉linux 各項(xiàng)基本操作，至少掌握一門腳本語言;5、熟練數(shù)據(jù)倉庫，對(duì)多維數(shù)據(jù)建模有深入理解;6、有BI 數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉庫、日志采集、多維數(shù)據(jù)倉庫設(shè)計(jì)、開發(fā)、架構(gòu)經(jīng)驗(yàn)者優(yōu)先7、思維敏捷，有較強(qiáng)的鉆研學(xué)習(xí)能力，較好的溝通能力、團(tuán)隊(duì)合作;大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板21、負(fù)責(zé)數(shù)據(jù)倉庫和大數(shù)據(jù)處理模塊的架構(gòu)設(shè)計(jì)和開發(fā);2、負(fù)責(zé)實(shí)現(xiàn)基于Spark 框架的分布式計(jì)算框架的設(shè)計(jì)和開發(fā)工作;3、負(fù)責(zé)Spark 技術(shù)研究和通

3、用數(shù)據(jù)平臺(tái)的性能調(diào)優(yōu);4、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目中，基于kafka 、 flume 、 sparkstreaming、Spark SQL等相關(guān)技術(shù)的海量數(shù)據(jù)的處理、 分析、 統(tǒng)計(jì)、挖掘工作。5、熟悉Scala/Java 語言，對(duì)Scala/Java 原理、底層技術(shù)有深入研究者優(yōu)先;6、有過海量數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗(yàn)者優(yōu)先;7、熟悉Hadoop/Spark 生態(tài)系統(tǒng)組件的使用，至少有2年以上的Spark 開發(fā)經(jīng)驗(yàn);8、寫過推薦系統(tǒng)的優(yōu)先考慮大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板3職責(zé)1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)建設(shè)工作，完成Hdaoop/Spark搭建部署，根據(jù)業(yè)務(wù)需要進(jìn)行開發(fā);2、開發(fā)實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲并爬取所需數(shù)據(jù)，有效存儲(chǔ)

4、到大 數(shù)據(jù)平臺(tái);3、對(duì)平臺(tái)數(shù)據(jù)做預(yù)處理，滿足數(shù)據(jù)展現(xiàn)及后續(xù)機(jī)器學(xué)習(xí)等系統(tǒng)使用;4、根據(jù)業(yè)務(wù)需要，應(yīng)用大數(shù)據(jù)實(shí)時(shí)分析技術(shù)、可視化 技術(shù)等，并對(duì)平臺(tái)發(fā)展規(guī)劃進(jìn)行設(shè)計(jì)。任職資格1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè) 2、熟悉數(shù)據(jù)倉庫和數(shù)據(jù)建模相關(guān)技術(shù)細(xì)節(jié)，有編程經(jīng)驗(yàn)，熟悉SQL/Hadoop/Hive/Hbase/Spark 等大數(shù)據(jù)工具;3、具備海量數(shù)據(jù)處理經(jīng)驗(yàn)，或有互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)挖掘工作經(jīng)驗(yàn);4、 1 年以上崗位經(jīng)驗(yàn)優(yōu)先，本科應(yīng)屆有意向的，可優(yōu)先 培養(yǎng)。大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板4職責(zé)：1. 負(fù)責(zé)金融銀行大數(shù)據(jù)系統(tǒng)相關(guān)模塊的數(shù)據(jù)架構(gòu)及研 發(fā)實(shí)施工作2. 依據(jù)業(yè)務(wù)場(chǎng)景、分析需求提供技術(shù)解決方案并加

5、以實(shí) 現(xiàn);3. 與客戶業(yè)務(wù)部門對(duì)接，解決數(shù)據(jù)建模、報(bào)表和報(bào)告在系統(tǒng)開發(fā)遇到的問題;任職資格：1. 具備3年以上DW原統(tǒng)建設(shè)經(jīng)當(dāng)了解 BI系統(tǒng)，有數(shù) 據(jù)管理經(jīng)驗(yàn)，有維度建模相關(guān)經(jīng)驗(yàn)，了解數(shù)據(jù)倉庫建設(shè)過程 中的挑戰(zhàn)與問題2. 精通多系統(tǒng)數(shù)據(jù)融合、清洗、轉(zhuǎn)換、整合，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn)3. 熟悉業(yè)界數(shù)據(jù)倉庫建模方法、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量體系管理4. 掌握大型數(shù)據(jù)庫開發(fā)技術(shù)（ORACLE/DB涔），有豐富的數(shù)據(jù)庫模型設(shè)計(jì)和優(yōu)化經(jīng)驗(yàn)5. 熟練掌握Unix/Linux 常規(guī)命令、工具及Shell 編程6. 掌握一門或多門編程語言優(yōu)先，如Java、 Python 、scala 等7. 熟悉Hadoo

6、p、 spark 、 kafka 等大數(shù)據(jù)生態(tài)相關(guān)技術(shù)，有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先8. 良好的語言溝通與表達(dá)能力和自我驅(qū)動(dòng)動(dòng)力9. 具備銀行項(xiàng)目設(shè)計(jì)、開發(fā)、 優(yōu)化等經(jīng)驗(yàn)者加分大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板5職責(zé)：1、參與ODS系統(tǒng)或Hadoop系統(tǒng)數(shù)據(jù)庫相關(guān)開發(fā)，包括 數(shù)據(jù)倉庫的數(shù)據(jù)模型設(shè)計(jì)（ODS層設(shè)計(jì)、基礎(chǔ)數(shù)據(jù)層設(shè)計(jì)、 匯 總層設(shè)計(jì)等）;2、 參與 ETL Mapping 設(shè)計(jì)及開發(fā)工作;3、 參與客戶/用戶畫像、經(jīng)營(yíng)管理、產(chǎn)品畫像、營(yíng)銷活動(dòng)等主題域建設(shè)工作。資質(zhì)要求：1 . 計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，優(yōu)秀者放寬至大 專;2 .有大型數(shù)據(jù)庫（ORALCE/MSSQL SERVER）開發(fā)經(jīng)驗(yàn)， 有 Sybase IQHIVESpark SQL 開發(fā)經(jīng)驗(yàn)者優(yōu)先;3、有較強(qiáng)的SQL編程能力，熟練編寫存儲(chǔ)過程，能設(shè)計(jì)各種復(fù)雜的業(yè)務(wù)處理、