大數(shù)據(jù)開發(fā)工程師的具體職責(zé)

1、大數(shù)據(jù)開發(fā)工程師的具體職責(zé)職責(zé) : 1 年，負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理工具 ETL、流處理平臺(tái)等的建設(shè)。、功能規(guī)劃、平臺(tái)演進(jìn)、維護(hù)和優(yōu)化；2 ，結(jié)合公司的業(yè)務(wù)特點(diǎn)， 負(fù)責(zé)公司的數(shù)據(jù)倉庫規(guī)劃、 數(shù)據(jù)倉庫建設(shè)、倉庫管理等。；3 ，負(fù)責(zé)大數(shù)據(jù)處理技術(shù)的研究和新技術(shù)的引進(jìn)，參與超大規(guī)模實(shí)時(shí)離線數(shù)據(jù)計(jì)算框架、存儲(chǔ)、查詢和可視化解決方案的設(shè)計(jì)、研究和開發(fā)；，負(fù)責(zé)建立公司的業(yè)務(wù)數(shù)據(jù)倉庫模型，開拓整個(gè)業(yè)務(wù)數(shù)據(jù)領(lǐng)域；，負(fù)責(zé)商業(yè)智能報(bào)告和可視化項(xiàng)目，與客戶深入溝通，了解客戶的業(yè)務(wù)挑戰(zhàn)，提供解決方案， 制定發(fā)展計(jì)劃并實(shí)施，支持各單位的日常數(shù)據(jù)需求和任務(wù)；:1 。精通關(guān)系數(shù)據(jù)庫，如甲骨文、Mysql 、Vertica

2、等。熟悉NoSql數(shù)據(jù)庫，如 HBase、Redis 、MongodDB等。具有豐富的數(shù)據(jù)庫管理和運(yùn)維優(yōu)化經(jīng)驗(yàn)；2 ，熟悉數(shù)據(jù)倉庫領(lǐng)域的知識(shí)和技能優(yōu)先，包括但不限于: 元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)和測(cè)試工具和方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、數(shù)據(jù)訪問等。；3 。有分布式數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn)，熟悉Hadoop 生態(tài)相關(guān)技術(shù)及相關(guān)實(shí)踐經(jīng)驗(yàn)者優(yōu)先，如 Hdfs、Mapreduce、Hive 、Hbase、Spark、Storm、精通數(shù)據(jù)預(yù)處理、檢驗(yàn)、清理、分析方法，精通各種常用的統(tǒng)計(jì)檢驗(yàn)方法；精通一種或多種編程語言，有大型項(xiàng)目建設(shè)經(jīng)驗(yàn)者優(yōu)先，如 Java、Python、Shell 和 scala 。，精

3、通 Linux ，熟悉日常操作和維護(hù)，能夠構(gòu)建通用服務(wù)器，定位和解決日常問題，有 ETL開發(fā)經(jīng)驗(yàn)者優(yōu)先；，良好的語言溝通和表達(dá)能力， 豐富的數(shù)據(jù)開發(fā)經(jīng)驗(yàn)， 較強(qiáng)的數(shù)據(jù)、平臺(tái)、技術(shù)理解能力；，數(shù)學(xué)、計(jì)算機(jī)等相關(guān)學(xué)科本科以上學(xué)歷， 3 年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，有互聯(lián)網(wǎng)行業(yè)背景者優(yōu)先大數(shù)據(jù)開發(fā)工程師的具體職責(zé) 2職責(zé) :1 、在 hadoop 平臺(tái)上進(jìn)行 hive/hbase/spark開發(fā)；、處理公司大數(shù)據(jù)平臺(tái)產(chǎn)品的技術(shù)工作，包括存儲(chǔ)、處理、分析、挖掘、架構(gòu)設(shè)計(jì)、研發(fā)工作；，熟悉基于 hadoop/Hbase 的存儲(chǔ)平臺(tái)架構(gòu)的設(shè)計(jì)、構(gòu)建和優(yōu)化；，熟悉從整體上提高 hadoop/Hbase/Storm

4、/Spark 集群的高可用性、高性能和高可擴(kuò)展性；、部門相關(guān)工作199 崗位要求 :1 ，計(jì)算機(jī)及相關(guān)專業(yè)大專以上學(xué)歷；2 ，3 年以上軟件開發(fā)經(jīng)驗(yàn)，精通Java 開發(fā)，至少 2 年 Hadoop相關(guān)開發(fā)經(jīng)驗(yàn)；3 ，熟悉分布式系統(tǒng)和分布式計(jì)算系統(tǒng)的工作機(jī)制，具有大規(guī)模數(shù)據(jù)平臺(tái)、高并發(fā)大規(guī)模系統(tǒng)、大數(shù)據(jù)等的架構(gòu)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn)。4 ，熟悉 sqoop、Hive 、hbase、spark 等大型數(shù)據(jù)生態(tài)組件；5 ，精通 linux shell和 sql 腳本；6 ，有 java web 開發(fā)經(jīng)驗(yàn)者優(yōu)先；、良好的團(tuán)隊(duì)精神和溝通能力，較強(qiáng)的邏輯思維能力和學(xué)習(xí)能力大數(shù)據(jù)開發(fā)工程師的職責(zé) 3職責(zé)。負(fù)責(zé)大數(shù)據(jù)

5、分析需求的設(shè)計(jì)和開發(fā)，包括數(shù)據(jù)存儲(chǔ)、預(yù)處理、查詢、統(tǒng)計(jì)、實(shí)時(shí)分析、數(shù)據(jù)優(yōu)化和配置等。跟蹤和定位大數(shù)據(jù)分析系統(tǒng)中存在的問題，并及時(shí)解決；。負(fù)責(zé)上級(jí)交辦的其他相關(guān)工作職位要求:1 。本科以上學(xué)歷，至少2 年工作經(jīng)驗(yàn)；2 。Java 基礎(chǔ)扎實(shí)，擅長使用Java IDE 進(jìn)行代碼編寫和調(diào)試，熟悉JUnit 單元測(cè)試框架。3 。熟悉 Linux 操作系統(tǒng)，能在Linux 上完成開發(fā)和調(diào)試工作；4 。熟悉網(wǎng)絡(luò)IO、多線程并發(fā)編程、集合等基本框架，精通數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)算法；5 。參與分布式高性能服務(wù)的設(shè)計(jì)和開發(fā)過程，在大規(guī)模分布式系統(tǒng)方面有實(shí)踐經(jīng)驗(yàn)；。熟悉數(shù)據(jù)庫操作和使用的基本技能，熟悉關(guān)系數(shù)據(jù)庫的使用；。能

6、夠獨(dú)立撰寫詳細(xì)的設(shè)計(jì)文件；。有使用和開發(fā)大數(shù)據(jù)分析工具 Hadoop和 spark 的經(jīng)驗(yàn)者優(yōu)先；。具有團(tuán)隊(duì)精神和敬業(yè)精神，較強(qiáng)的學(xué)習(xí)和研究能力，良好的協(xié)調(diào)和溝通能力大數(shù)據(jù)開發(fā)工程師具體職責(zé) 4職責(zé) :、大數(shù)據(jù)分布式采集和環(huán)境構(gòu)建與測(cè)試；、大數(shù)據(jù)存儲(chǔ)、處理和分析；、大數(shù)據(jù)相關(guān)產(chǎn)品線的改進(jìn)及相關(guān)核心開發(fā)工作；、其他大數(shù)據(jù)相關(guān)工作要求:，本科以上學(xué)歷，計(jì)算機(jī)科學(xué)專業(yè)；，2 年以上 java 開發(fā)和大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn)， Java 基礎(chǔ)扎實(shí)，熟練掌握多線程、聚合、緩存、序列化、 nio 等技術(shù)；3 ，熟悉 Linux 環(huán)境和任何 Linux shell/python/perl腳本；4 ，熟悉 Hado

7、op、 Spark、ZooKeeper 等主流大數(shù)據(jù)處理架構(gòu)，具有1 年以上 Hadoop相關(guān)的實(shí)際開發(fā)、架構(gòu)和調(diào)優(yōu)經(jīng)驗(yàn)；，用過阿里云；、熟悉建筑；，具有良好的學(xué)習(xí)能力、溝通表達(dá)能力和團(tuán)隊(duì)合作能力大數(shù)據(jù)開發(fā)工程師 5職責(zé) :。該職位的培訓(xùn)方向是證券基金行業(yè)的數(shù)據(jù)架構(gòu)師。協(xié)助大數(shù)據(jù)架構(gòu)師制定項(xiàng)目開發(fā)程序和規(guī)范， 并協(xié)助數(shù)據(jù)模型設(shè)計(jì)人員進(jìn)行模型設(shè)計(jì)；。協(xié)助技術(shù)架構(gòu)師調(diào)整大數(shù)據(jù)平臺(tái) ( 業(yè)務(wù)邏輯視角 ) ；，負(fù)責(zé)大數(shù)據(jù)平臺(tái)開發(fā)，包括數(shù)據(jù)提取、轉(zhuǎn)換和加載；，負(fù)責(zé)控制數(shù)據(jù)需求，管理項(xiàng)目開發(fā)進(jìn)度，并與質(zhì)量保證部合作完成項(xiàng)目質(zhì)量管理；職位要求 :，至少 2 年證券或基金行業(yè)數(shù)據(jù)中心和大數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn)；，學(xué)習(xí)能力強(qiáng)，對(duì)數(shù)據(jù)模