新職業(yè)-大數(shù)據(jù)工程技術(shù)人員就業(yè)景氣現(xiàn)狀分析報告

職業(yè)——大數(shù)據(jù)工程技術(shù)人員就業(yè)景氣現(xiàn)狀分析報告一、產(chǎn)生背景大數(shù)據(jù)產(chǎn)業(yè)指以數(shù)據(jù)生產(chǎn)、采集、存儲、加工、分析、效勞為主的相關(guān)經(jīng)濟活動，包括才智醫(yī)療、才智城市、精準扶貧以及其他相關(guān)高技術(shù)產(chǎn)業(yè)都離不開大數(shù)據(jù)的支撐，大數(shù)據(jù)技術(shù)在我國得到了較為廣泛的應用?！惨弧硣覍嵤┐髷?shù)據(jù)戰(zhàn)略，構(gòu)建數(shù)字中國212023年大數(shù)據(jù)首次寫入政府工作報告；2023年8月國務院公布《促進大數(shù)據(jù)進展行動綱要城市大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、交通旅游效勞大數(shù)據(jù)等多層次下游應用市場，加快實施國家大數(shù)據(jù)戰(zhàn)略。同時，伴隨大數(shù)據(jù)政策出臺，各地政府相繼成立了大數(shù)據(jù)治理機構(gòu)，促進大數(shù)據(jù)產(chǎn)業(yè)進展222001各省大數(shù)據(jù)治理機構(gòu)設(shè)置數(shù)量〔單位：個〕〔二〕大數(shù)據(jù)行業(yè)進展迅猛，產(chǎn)業(yè)規(guī)模巨大2023年，工信部印發(fā)了《大數(shù)據(jù)產(chǎn)業(yè)進展規(guī)劃〔2023-2023年掀起熱潮，目前已形成八大大數(shù)據(jù)綜合試驗區(qū)，建成100多個大數(shù)據(jù)產(chǎn)業(yè)園。伴隨一代信息技術(shù)、才智城市、數(shù)字中國等進展戰(zhàn)略逐步推動社會經(jīng)濟數(shù)字化轉(zhuǎn)型，大數(shù)據(jù)的產(chǎn)業(yè)支撐得到強化，應用范圍加速拓展，產(chǎn)業(yè)規(guī)模實現(xiàn)快速增長。1572家企業(yè)的調(diào)查結(jié)果顯示，企業(yè)對數(shù)據(jù)分析的重視程度進一步提高，65.2%的企業(yè)已成立數(shù)據(jù)分析部門，24.4%的企業(yè)正在打算成立相關(guān)數(shù)據(jù)部門。近四成的企業(yè)已經(jīng)應用了大數(shù)據(jù)。在承受調(diào)查的企業(yè)中，已經(jīng)應用大數(shù)據(jù)的企業(yè)有623家，占比為39.6%，垂直行業(yè)中如金融等領(lǐng)域大數(shù)據(jù)應用增加趨勢較為明顯。此外，24.3%的企業(yè)表示將來一年內(nèi)將應用大數(shù)據(jù)。對數(shù)據(jù)分析方式選擇狀況的調(diào)查顯示40.332.3%和25.5%。不久的將來，隨著人工智能技術(shù)的進展和應用普及，選擇機器學習進展關(guān)心決策的企業(yè)占比有望進一步提升。202356〔2023年2023年我國大數(shù)據(jù)產(chǎn)業(yè)增速約15540520234384.523.52023800022023-2023〔單位：億元〕從企業(yè)業(yè)務布局來看，大數(shù)據(jù)產(chǎn)業(yè)主要集中在華北、華東及中南地區(qū)。12023〔三〕數(shù)據(jù)資源資產(chǎn)化步伐穩(wěn)步推動20238化進程。202310據(jù)治理和應用工作，提升國內(nèi)數(shù)據(jù)治理和應用力量。2023年10月，在中國共產(chǎn)黨第十九屆中心委員會第四次全體會議上，中心首次公開指出“健全勞動、資本、土地、學問、技術(shù)、治理和數(shù)據(jù)等生產(chǎn)要素按奉獻參與安排的機制產(chǎn)要素按奉獻參與安排，反映了隨著經(jīng)濟活動數(shù)字化轉(zhuǎn)型加快，數(shù)據(jù)對提高生產(chǎn)效率的乘數(shù)作用凸顯，成為最具時代特征生產(chǎn)要素的重要變化?！菜摹臣夹g(shù)融合成為大數(shù)據(jù)進展主流當前，大數(shù)據(jù)相關(guān)技術(shù)已根本成熟，逐步成為支撐型的根底設(shè)施，其進展方向也開頭向提升效率轉(zhuǎn)變，向共性化的上層應用聚焦。隨著5G通信標準的落地，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、大數(shù)據(jù)、傳統(tǒng)行業(yè)將深度融合，算力、流批、TA、模塊、云數(shù)、數(shù)智等技術(shù)融合的趨勢愈發(fā)明顯，大量既懂大數(shù)據(jù)技術(shù)又懂其他相關(guān)行業(yè)技術(shù)的人才在大數(shù)據(jù)應用領(lǐng)域發(fā)揮著越來越多的作用?！参濉硵?shù)據(jù)安全受到業(yè)界普遍關(guān)注202396臺杭州魔蝎數(shù)據(jù)科技被警方掌握，高管被帶走，相關(guān)效勞臨時癱瘓。同日，另一家供給大數(shù)據(jù)風控效勞的顏科技人工智能科技高管被帶走幫助調(diào)查。大數(shù)據(jù)安全合規(guī)的問題，特別是對于個人信息保護的問題，當前已成為整個社會和行業(yè)關(guān)注熱點。在全球不斷收緊數(shù)據(jù)合規(guī)政策的大環(huán)境下，我國在數(shù)據(jù)法律監(jiān)管方面也日趨嚴格標準。2023年以來，數(shù)據(jù)安全方面的立法進程明顯加快。中心網(wǎng)信辦針對網(wǎng)絡(luò)安全審查、數(shù)據(jù)安全治理、兒童個人信息網(wǎng)絡(luò)保護、個人信息出境安全評估等四項關(guān)于數(shù)據(jù)安全的治理方法相繼公布征求意見稿。這些我國數(shù)據(jù)安全法律法規(guī)重點關(guān)注個人信息的保護，大數(shù)據(jù)行業(yè)整體合規(guī)也必定將以此作為核心。二、職業(yè)定義和工作任務近年來，隨著經(jīng)濟社會進展、科學技術(shù)進步和產(chǎn)業(yè)構(gòu)造調(diào)整，產(chǎn)業(yè)、業(yè)態(tài)、模式滋生孕育出很多職業(yè)。大數(shù)據(jù)技術(shù)應用在各行各業(yè)的全面開放，我國社會需要越來越多的大數(shù)據(jù)工程技術(shù)人員。其職業(yè)定義和工作任務如下：并加以利用、治理、維護和效勞的工程技術(shù)人員。大數(shù)據(jù)工程技術(shù)人員主要工作任務：爭論和開發(fā)大數(shù)據(jù)采集、清洗、存儲及治理、分析及挖掘、呈現(xiàn)及應用等有關(guān)技術(shù)；爭論、應用大數(shù)據(jù)平臺體系架構(gòu)、技術(shù)和標準；設(shè)計、開發(fā)、集成、測試大數(shù)據(jù)軟硬件系統(tǒng)；大數(shù)據(jù)采集、清洗、建模與分析；治理、維護并保障大數(shù)據(jù)系統(tǒng)穩(wěn)定運行；監(jiān)控、治理和保障大數(shù)據(jù)安全；供給大數(shù)據(jù)的技術(shù)詢問和技術(shù)效勞。三、當前就業(yè)人群分析2023427得?！惨弧硨W歷層次4個大類，分別是碩士及以上、本科、?？?、?？埔韵隆?大數(shù)據(jù)人才學歷構(gòu)造〔單位：人〕可以看出，本科占比最高，其次是碩士及以上，?？普急戎挥?2.22%。大數(shù)據(jù)行業(yè)是興行業(yè)，目前學歷要求比較高?！捕硨I(yè)來源專業(yè)來源分為4個大類，分別是數(shù)理類、經(jīng)濟治理類、計算機類及其他專業(yè)。計算機類占比最高，其次是數(shù)理類。工程組調(diào)研企業(yè)大數(shù)據(jù)人才的各專業(yè)人數(shù)和占比見以下圖。4大數(shù)據(jù)人才專業(yè)來源〔單位：人〕〔三〕渠道來源4個大類，分別是校招、社招、內(nèi)部培育和推舉、培訓機構(gòu)聘請。企業(yè)大數(shù)據(jù)人才各渠道來源的人數(shù)和占比見以下圖。5大數(shù)據(jù)人才渠道來源〔單位：人〕其中社招占比最大，比校招、內(nèi)培和內(nèi)推以及培訓機構(gòu)聘請的總和還要高。大數(shù)據(jù)人才目前主要依靠社招，說明學校教育與社會需求脫節(jié)，內(nèi)培和培訓也不能滿足崗位要求?！菜摹承劫Y水平分布當前，大數(shù)據(jù)人才的薪資處于相對較高水平。薪資在1萬元以下，占總?cè)藬?shù)的34.6%；1萬元-235.64%；229.77%。6大數(shù)據(jù)人才薪資水平分布〔單位：人〕〔五〕崗位類型及數(shù)量目前企業(yè)供給的大數(shù)據(jù)崗位依據(jù)工作內(nèi)容要求，可以分為以下幾類：①初級分析類，包括業(yè)務數(shù)據(jù)分析師、商務數(shù)據(jù)分析師等。②挖掘算法類，包括數(shù)據(jù)挖AI工程師、數(shù)據(jù)科學家等。③開發(fā)運維類，包括大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)架構(gòu)工程師、大數(shù)據(jù)運維工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)庫治理員等。④產(chǎn)品運營類，包括數(shù)據(jù)運營經(jīng)理、數(shù)據(jù)產(chǎn)品經(jīng)理、數(shù)據(jù)工程經(jīng)理、大數(shù)據(jù)銷售等。四類崗位的數(shù)量和占比見以下圖。7大數(shù)據(jù)崗位類型構(gòu)造〔單位：人〕四、行業(yè)人才需求狀況〔一〕整體需求當前信息化對人類經(jīng)濟活動產(chǎn)生深刻影響，正滲透到生產(chǎn)生活方方面面，數(shù)據(jù)已經(jīng)成為的生產(chǎn)要素，大數(shù)據(jù)行業(yè)已成為人們按需使用信息處理、信息存儲、信息交互資源的重要模式，也是進展大數(shù)據(jù)處理和深度挖掘的重要平臺，大數(shù)據(jù)工程技術(shù)人員在我國現(xiàn)階段及將來發(fā)揮的作用將日益凸顯?！洞髷?shù)據(jù)產(chǎn)業(yè)進展規(guī)劃〔2023-2023年》指出，目前大數(shù)據(jù)人才隊伍建設(shè)亟需加強，大數(shù)據(jù)根底爭論、產(chǎn)品研發(fā)和業(yè)務應用等各類人才短缺，難以滿足進展需要。要建設(shè)多層次人企業(yè)、社會資源，推動建立創(chuàng)人才培育模式，建立健全多層次、多類型的大數(shù)據(jù)人才培育體系。依據(jù)天府大數(shù)據(jù)國際戰(zhàn)略與技術(shù)爭論院〔簡稱“天府大數(shù)據(jù)爭論院《2023全球大數(shù)據(jù)20230.23179.4萬人。獵聘《2023年中國AIamp;大數(shù)據(jù)人才大數(shù)據(jù)人才就業(yè)趨勢報告》指出，2023年中國大數(shù)據(jù)人才缺口高達150萬。另據(jù)中國商業(yè)聯(lián)合會數(shù)據(jù)分析專業(yè)委員會統(tǒng)計，將來中國根底性14008大數(shù)據(jù)人才規(guī)模及增速5G等技術(shù)應用的不斷進展，社會對該職業(yè)從業(yè)人員的需求日益增2023210，202530%-402023〔二〕行業(yè)進展對大數(shù)據(jù)相關(guān)崗位產(chǎn)生的影響機器學習和自然語言處理等多方面學問綜合把握的人才。從技術(shù)變化的角度看，深度神經(jīng)網(wǎng)絡(luò)等興技術(shù)的進展，彌補了傳統(tǒng)分析挖掘技術(shù)在大數(shù)據(jù)時代的短板，這就需要大數(shù)據(jù)技能人才把握深度學習方面的相關(guān)學問，適應大數(shù)據(jù)的分析挖掘需要。從運營方式的角度看，運營方式的變化要求運營人員提升運營前預備、運營中把握、運營后反響、修正，提升預見力量和掌控力量。目前企業(yè)對中高職層次的大數(shù)據(jù)人才相關(guān)崗位主要有：數(shù)據(jù)分析師、挖掘工程師、深度學習/算法/機器學習工程師、大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)架構(gòu)工程師、大數(shù)據(jù)運維工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)庫治理員、數(shù)據(jù)運營經(jīng)理、數(shù)據(jù)產(chǎn)品經(jīng)理、數(shù)據(jù)工程經(jīng)理、大數(shù)據(jù)銷售工程師?？梢钥闯?，行業(yè)進展引發(fā)技術(shù)革命，相對應的崗位及要求也有所變化。技術(shù)層面逐步由“萬花筒”向“中國特色業(yè)界標準，中國證書漸漸成為業(yè)界證書。尖專才需求，又有中等層次的廣博復合型人才需求?！踩硩徫宦氊熂凹寄芤笠罁?jù)調(diào)研狀況整理，大數(shù)據(jù)工程技術(shù)人員相關(guān)崗位的職責以及對大專以上學歷人才的職業(yè)技能要求如下表。2大數(shù)據(jù)相關(guān)崗位的職責以及崗位技能要求崗位崗位職責崗位技能數(shù)據(jù)分析師負責行業(yè)數(shù)據(jù)搜集、整理、分析，并依據(jù)數(shù)據(jù)做出行業(yè)爭論、評估和推測數(shù)理統(tǒng)計根本學問，Excel，SQL，Python/R。挖掘工程師負責行業(yè)數(shù)據(jù)整理、挖掘，并依據(jù)數(shù)據(jù)做出行業(yè)爭論、評估和推測常用數(shù)據(jù)挖掘算法，SQL，Python/R/Java。深度學習/算法/機器學習工程師負責利用各種神經(jīng)網(wǎng)絡(luò)模型及其算法并處理具體事務。各種神經(jīng)網(wǎng)絡(luò)模型，Python/C++/Java，TensorFlow、Caffe等深度學習系統(tǒng)。大數(shù)據(jù)開發(fā)工程師使用編程語言開發(fā)大數(shù)據(jù)相關(guān)軟件和應用系統(tǒng)Java/Python/C++/Scala，Linux/Unix大數(shù)據(jù)架構(gòu)工程師負責大數(shù)據(jù)架構(gòu)的設(shè)計與實施。分布式系統(tǒng)原理，Linux/Unix系統(tǒng)及其腳本shellHadoop、Spark其組件Yarn，HBase、Hive、Pig大數(shù)據(jù)運維工程師負責大數(shù)據(jù)系統(tǒng)的運行和維護Linux/Unix系統(tǒng)及其腳本shellJava。數(shù)據(jù)可視化工程師負責大數(shù)據(jù)可視化應用開發(fā)，對數(shù)據(jù)分析結(jié)果多維度生動地表達。前端框架及工具如jQueryVue.jsWebpack等，Web前端相關(guān)技術(shù)包括HTML/CSS/Javascript，數(shù)據(jù)可視化框架如Echars、Highcahrts、D3.js數(shù)據(jù)采集工程師負責數(shù)據(jù)采集、預處理、標注等。Linux/UnixMysql，redis，mongdbScrapyweb根底學問如HTML/JavaScript/CSS/xpath/url/Ajax/xmlClientjsoup、WebDriver、phantomjs數(shù)據(jù)庫治理員負責數(shù)據(jù)庫的運行