大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)

1、大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)該領(lǐng)域的業(yè)務(wù)需求討論，完成技術(shù)方案及數(shù)據(jù)開發(fā)。下面是小編整理的大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)。大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)1職責(zé):1、負(fù)責(zé)所分管團(tuán)隊(duì)的團(tuán)隊(duì)建設(shè)和日常管理工作;2、負(fù)責(zé)核心技術(shù)問題攻關(guān)和性能優(yōu)化，持續(xù)維護(hù)和引進(jìn)最新的大數(shù)據(jù)技術(shù)到城市大數(shù)據(jù)平臺(tái)中，支撐城市級(jí)大數(shù)據(jù)平臺(tái)業(yè)務(wù);3、承擔(dān)城市數(shù)據(jù)標(biāo)準(zhǔn)編制和數(shù)據(jù)模型的設(shè)計(jì);4、承擔(dān)項(xiàng)目中數(shù)據(jù)相關(guān)方案設(shè)計(jì)及數(shù)據(jù)團(tuán)隊(duì)管理;5、參與城市大數(shù)據(jù)項(xiàng)目中數(shù)據(jù)采集、加工過程、分析挖掘模型算法的實(shí)施工作。任職資格:1、1年以上數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn)，熟練使用SQL查詢引擎;2、熟悉Hadoop、Mpp、Oracle等至少一

2、種數(shù)據(jù)倉庫工具3、具備良好的編程語言基礎(chǔ)如：java/python/scala/c+/shell等4、二本以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)或者有相關(guān)培訓(xùn)經(jīng)歷者優(yōu)先5、 個(gè)人素質(zhì)要求：目光長遠(yuǎn)、態(tài)度誠懇、崗位有穩(wěn)定性，能夠長期培養(yǎng)、具備很強(qiáng)的自學(xué)能力、承壓能力強(qiáng)、接受出差支援項(xiàng)目等工作。對(duì)數(shù)據(jù)工作具備濃厚的興趣并有明確職業(yè)規(guī)劃，優(yōu)秀的學(xué)習(xí)能力和團(tuán)隊(duì)溝通協(xié)作能力，對(duì)新技術(shù)有濃厚興趣并有鉆研精神。大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)2職責(zé)：1、依據(jù)客戶需求完成大數(shù)據(jù)項(xiàng)目的數(shù)據(jù)分析及建模;2、進(jìn)行大數(shù)據(jù)核心算法的編寫;3、參與項(xiàng)目的需求分析、系統(tǒng)設(shè)計(jì)、編碼工作;4、參與開發(fā)過程中相關(guān)新技術(shù)的研究和驗(yàn)證。5.協(xié)助承擔(dān)架構(gòu)

3、性的體系設(shè)計(jì)和改造工作，配合制定技術(shù)實(shí)施方案，按照總體設(shè)計(jì)組織子系統(tǒng)的設(shè)計(jì)和開發(fā)。任職要求：1、精通數(shù)據(jù)建模、數(shù)據(jù)體系建設(shè)，具備數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)和處理性能調(diào)優(yōu)等相關(guān)經(jīng)驗(yàn);2、具有豐富的基于hadoop體系的數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉庫建設(shè)經(jīng)驗(yàn)，精通基于hadoop源碼的開發(fā)、優(yōu)化改造及成功應(yīng)用案例;3、精通hadoop生態(tài)體系各項(xiàng)技術(shù)，如kafka、flume、hive、impala、hbase、spark等，具有100+節(jié)點(diǎn)hadoop集群的開發(fā)、運(yùn)維經(jīng)驗(yàn);4、具有對(duì)大型hadoop集群的硬件規(guī)劃能力;大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)3職責(zé)1、負(fù)責(zé)基于hadoop/spark生態(tài)系統(tǒng)、億級(jí)別數(shù)據(jù)的

4、全文檢索，搜索引擎的產(chǎn)品研發(fā);2、基于海量用戶行為數(shù)據(jù)和其他數(shù)據(jù)，分析和研究數(shù)據(jù)與實(shí)際業(yè)務(wù)的關(guān)聯(lián)關(guān)系，并與實(shí)際業(yè)務(wù)應(yīng)用相結(jié)合開發(fā);3、負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計(jì)和開發(fā)，承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā)。任職要求：1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術(shù)及其生態(tài)圈，具備相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)，有數(shù)據(jù)實(shí)時(shí)計(jì)算項(xiàng)目經(jīng)驗(yàn)優(yōu)先;2、有搜索引擎全文檢索開發(fā)經(jīng)驗(yàn) ，如：elasticsearch、solr;3、熟悉python、R任意一門開發(fā)語言;4、有SAAS，PAAS企業(yè)級(jí)應(yīng)用平臺(tái)或者互聯(lián)網(wǎng)，金融等大型應(yīng)用平臺(tái)開發(fā)經(jīng)驗(yàn)優(yōu)先考慮;5、 本科及以

5、上學(xué)歷，計(jì)算機(jī)/軟件工程/統(tǒng)計(jì)學(xué)/數(shù)學(xué)等相關(guān)專業(yè)，互聯(lián)網(wǎng)/金融等行業(yè)3年以上工作經(jīng)驗(yàn);6、擁有良好的代碼習(xí)慣，要求結(jié)構(gòu)清晰、命名規(guī)范、邏輯性強(qiáng)、代碼冗余率低，代碼注釋清晰;7、熟悉使用svn，禪道等項(xiàng)目管理工具，有良好的團(tuán)隊(duì)協(xié)作開發(fā)經(jīng)驗(yàn).大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)4職責(zé)：1、從事Hadoop、Spark、Hbase、hive等分布式大數(shù)據(jù)產(chǎn)品的設(shè)計(jì)和開發(fā);2、針對(duì)部門大數(shù)據(jù)業(yè)務(wù)進(jìn)行大數(shù)據(jù)分析、挖掘等產(chǎn)品應(yīng)用的開發(fā);3、大數(shù)據(jù)平臺(tái)各類數(shù)據(jù)業(yè)務(wù)抽象及模型化;4、參與大數(shù)據(jù)管理平臺(tái)的開發(fā)及維護(hù);5、負(fù)責(zé)大數(shù)據(jù)平臺(tái)數(shù)據(jù)及相關(guān)的應(yīng)用開發(fā)，調(diào)優(yōu)及維護(hù);6、為項(xiàng)目相關(guān)開發(fā)人員提供大數(shù)據(jù)技術(shù)指導(dǎo)及解決大數(shù)據(jù)平

6、臺(tái)應(yīng)用中遇到的技術(shù)難題;7、良好的團(tuán)隊(duì)合作與溝通能力。任職要求：1、本科及以上學(xué)歷，2年以上大數(shù)據(jù)應(yīng)用開發(fā)經(jīng)驗(yàn);2、具備Java、Python、Scala其中兩種語言的開發(fā)經(jīng)驗(yàn);3、了解泛Hadoop大數(shù)據(jù)生態(tài)圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術(shù)，并有實(shí)際的項(xiàng)目開發(fā)經(jīng)驗(yàn)，有相關(guān)源碼研究者優(yōu)先;4、具備ETL開發(fā)與運(yùn)維能力，有Flume、kettle經(jīng)驗(yàn)優(yōu)先;5、熟悉大數(shù)據(jù)平臺(tái)的搭建過程，熟悉數(shù)據(jù)處理流程，有TB級(jí)以上數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先，有實(shí)時(shí)數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先;6、熟悉離線和實(shí)時(shí)數(shù)據(jù)處理流程，熟練使用Spark，F(xiàn)link處理TB級(jí)數(shù)據(jù)優(yōu)先;

7、7、熟悉Linux系統(tǒng)環(huán)境，有shell等腳本編寫經(jīng)驗(yàn)，熟悉Mysql、PostgreSql、Oracle等常用關(guān)系數(shù)據(jù)庫，熟練編寫SQL語句;8、熟悉Yarn,Kubernetes,Azkaban等資源調(diào)度框架者優(yōu)先;9、熟悉Datax的二次開發(fā)，并有實(shí)際開發(fā)經(jīng)驗(yàn)優(yōu)先。大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)5職責(zé)：1、負(fù)責(zé)數(shù)據(jù)分析、加工、清理，相關(guān)處理腳本和程序的開發(fā);2、負(fù)責(zé)開發(fā)大數(shù)據(jù)工具，如報(bào)表平臺(tái)、多維度分析工具、ETL平臺(tái)、調(diào)度平臺(tái)的研發(fā);3、負(fù)責(zé)分布式大數(shù)據(jù)平臺(tái)應(yīng)用開發(fā)(Hadoop/Spark/Hive/HBase等);4、負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺(tái)的維護(hù)、優(yōu)化。任職要求：1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，具有5年及以上的大數(shù)據(jù)ETL或數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，熟悉大數(shù)據(jù)組件的維護(hù)以及調(diào)優(yōu);2、熟練掌握J(rèn)ava或Python編程語言，熟悉大數(shù)據(jù)架構(gòu)體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術(shù)中的一個(gè)或者多個(gè)，熟悉Sqoop、DataX等數(shù)據(jù)導(dǎo)入工具;3、能熟練使用Hive、HBase、Spark等加工和處理數(shù)據(jù)，有海量數(shù)據(jù)處理經(jīng)驗(yàn);4、有數(shù)據(jù)倉庫開發(fā)經(jīng)驗(yàn)/BI系統(tǒng)開發(fā)經(jīng)驗(yàn)優(yōu)先;5、有電