國(guó)家職業(yè)技能-大數(shù)據(jù)工程技術(shù)人員

1、國(guó)家職業(yè)技術(shù)技能職業(yè)編碼：2-02-10-11大數(shù)據(jù)工程技術(shù)人員（2021 年）為貫徹落實(shí)關(guān)于深化人才發(fā)展體制機(jī)制改革的意見(jiàn)，推動(dòng)實(shí)施人才強(qiáng)國(guó) 戰(zhàn)略，促進(jìn)專業(yè)技術(shù)人員提升職業(yè)素養(yǎng)、補(bǔ)充新知識(shí)新技能，實(shí)現(xiàn)人力資源深度 開(kāi)發(fā)，推動(dòng)經(jīng)濟(jì)社會(huì)全面發(fā)展，根據(jù)中華人民共和國(guó)勞動(dòng)法有關(guān)規(guī)定，人力 資源社會(huì)保障部聯(lián)合工業(yè)和信息化部組織有關(guān)專家，制定了大數(shù)據(jù)工程技術(shù)人員 國(guó)家職業(yè)技術(shù)技能標(biāo)準(zhǔn)（以下簡(jiǎn)稱標(biāo)準(zhǔn)）。一、本標(biāo)準(zhǔn)以人力資源社會(huì)保障部辦公廳市場(chǎng)監(jiān)管總局辦公廳統(tǒng)計(jì)局 辦公室關(guān)于發(fā)布人工智能工程技術(shù)人員等職業(yè)信息的通知隊(duì)社廳發(fā)201948號(hào)）為依據(jù)，按照國(guó)家職業(yè)技術(shù)技能標(biāo)準(zhǔn)編制技術(shù)規(guī)程有關(guān)要求，堅(jiān)持 “以職業(yè)活

2、動(dòng)為導(dǎo)向、以專業(yè)能力為核心”的指導(dǎo)思想，在充分考慮科技進(jìn)步、 社會(huì)經(jīng)濟(jì)發(fā)展和產(chǎn)業(yè)結(jié)構(gòu)變化對(duì)大數(shù)據(jù)工程技術(shù)人員專業(yè)要求的基礎(chǔ)上，以客觀 反映大數(shù)據(jù)技術(shù)發(fā)展水平及其對(duì)從業(yè)人員的專業(yè)能力要求為目標(biāo)，對(duì)大數(shù)據(jù)工程 技術(shù)從業(yè)人員的專業(yè)活動(dòng)內(nèi)容進(jìn)行規(guī)范細(xì)致描述，明確了各等級(jí)專業(yè)技術(shù)人員的工 作領(lǐng)域、工作內(nèi)容以及知識(shí)水平、專業(yè)能力和實(shí)踐要求。二、本標(biāo)準(zhǔn)為首次制定，依據(jù)有關(guān)規(guī)定將本職業(yè)分為初級(jí)、中級(jí)、高級(jí)三 個(gè)等級(jí)，包括職業(yè)概況、基本要求、工作要求、權(quán)重表和附錄等五個(gè)方面內(nèi)容。三、本標(biāo)準(zhǔn)的編制工作在人力資源社會(huì)保障部專業(yè)技術(shù)人員管理司、工 業(yè)和信息化部人事教育司、中國(guó)就業(yè)培訓(xùn)技術(shù)指導(dǎo)中心的指導(dǎo)下，由工業(yè)和信息

3、化 部教育與考試中心具體組織實(shí)施。大數(shù)據(jù)工程技術(shù)人員國(guó)家職業(yè)技術(shù)技能（2021年版）1職業(yè)概況1.1職業(yè)名稱大數(shù)據(jù)工程技術(shù)人員1.2職業(yè)編碼2-02-10-111.3職業(yè)定義從事大數(shù)據(jù)采集、清洗、分析、治理、挖掘等技術(shù)研究，并加以利用、管理、維 護(hù)和服務(wù)的工程技術(shù)人員。1.4專業(yè)技術(shù)等級(jí)本職業(yè)共設(shè)三個(gè)等級(jí)，分別為初級(jí)、中級(jí)、高級(jí)。初級(jí)、中級(jí)分為三個(gè)職業(yè)方向：大數(shù)據(jù)處理、大數(shù)據(jù)分析、大數(shù)據(jù)管理。高級(jí)不分職業(yè)方向。1.5職業(yè)環(huán)境條件室內(nèi)，常溫。1.6職業(yè)能力特征具有較強(qiáng)的學(xué)習(xí)能力、計(jì)算能力、表達(dá)能力及分析、推理和判斷能力。1.7普通受教育程度大學(xué)?？茖W(xué)歷（或高等職業(yè)學(xué)校畢業(yè)）。1.8職業(yè)培訓(xùn)要求1

4、.8.1培訓(xùn)期限大數(shù)據(jù)工程技術(shù)人員需按照本標(biāo)準(zhǔn)的職業(yè)要求參加有關(guān)課程培訓(xùn)，完成 規(guī)定學(xué)時(shí)，取得學(xué)時(shí)證明。初級(jí)128標(biāo)準(zhǔn)學(xué)時(shí)，中級(jí)128標(biāo)準(zhǔn)學(xué)時(shí)，高級(jí)160 標(biāo)準(zhǔn)學(xué)時(shí)。1.8.2培訓(xùn)教師承擔(dān)初級(jí)、中級(jí)理論知識(shí)或?qū)I(yè)能力培訓(xùn)任務(wù)的人員，應(yīng)具有相關(guān)職業(yè)中級(jí) 及以上專業(yè)技術(shù)等級(jí)或相關(guān)專業(yè)中級(jí)及以上職稱。承擔(dān)高級(jí)理論知識(shí)或?qū)I(yè)能力培訓(xùn)任務(wù)的人員，應(yīng)具有相關(guān)職業(yè)高級(jí)專業(yè)技 術(shù)等級(jí)或相關(guān)專業(yè)高級(jí)職稱。1.8.3培訓(xùn)場(chǎng)所設(shè)備理論知識(shí)培訓(xùn)在標(biāo)準(zhǔn)教室或線上平臺(tái)進(jìn)行；專業(yè)能力培訓(xùn)在具有相應(yīng)軟、硬 件條件的培訓(xùn)場(chǎng)所進(jìn)行。1.9專業(yè)技術(shù)考核要求1.9.1申報(bào)條件取得初級(jí)培訓(xùn)學(xué)時(shí)證明，并具備以下條件之一者，可申報(bào)初級(jí)專業(yè)

5、技術(shù) 等級(jí)：（1）取得技術(shù)員職稱。（2）具備相關(guān)專業(yè)大學(xué)本科及以上學(xué)歷（含在讀的應(yīng)屆畢業(yè)生）。（3）具備相關(guān)專業(yè)大學(xué)專科學(xué)歷，從事本職業(yè)技術(shù)工作滿1年。（4）技工院校畢業(yè)生按國(guó)家有關(guān)規(guī)定申報(bào)。取得中級(jí)培訓(xùn)學(xué)時(shí)證明，并具備以下條件之一者，可申報(bào)中級(jí)專業(yè)技術(shù) 等級(jí)：（1）取得助理工程師職稱后，從事本職業(yè)技術(shù)工作滿2年。（2）具備大學(xué)本科學(xué)歷，或?qū)W士學(xué)位，或大學(xué)?？茖W(xué)歷，取得初級(jí)專業(yè)技 術(shù)等級(jí)后，從事本職業(yè)技術(shù)工作滿3年。（3）具備碩士學(xué)位或第二學(xué)士學(xué)位，取得初級(jí)專業(yè)技術(shù)等級(jí)后，從事本職 業(yè)技術(shù)工作滿1年。（4）具備相關(guān)專業(yè)博士學(xué)位。（5）技工院校畢業(yè)生按國(guó)家有關(guān)規(guī)定申報(bào)。取得高級(jí)培訓(xùn)學(xué)時(shí)證明，并具

6、備以下條件之一者，可申報(bào)高級(jí)專業(yè)技術(shù) 等級(jí)：（1）取得工程師職稱后，從事本職業(yè)技術(shù)工作滿3年。（2）具備碩士學(xué)位，或第二學(xué)士學(xué)位，或大學(xué)本科學(xué)歷，或?qū)W士學(xué)位，取 得中級(jí)專業(yè)技術(shù)等級(jí)后，從事本職業(yè)技術(shù)工作滿4年。（3）具備博士學(xué)位，取得中級(jí)專業(yè)技術(shù)等級(jí)后，從事本職業(yè)技術(shù)工作滿1 年。（4）技工院校畢業(yè)生按國(guó)家有關(guān)規(guī)定申報(bào)。1.9.2考核方式分為理論知識(shí)考試以及專業(yè)能力考核。理論知識(shí)考試、專業(yè)能力考核均實(shí)行 百分制，成績(jī)皆達(dá)60分（含）以上者為合格，考核合格者獲得相應(yīng)專業(yè)技術(shù)等 級(jí)證書(shū)。理論知識(shí)考試以閉卷筆試、機(jī)考等方式為主，主要考核從業(yè)人員從事本職業(yè) 應(yīng)掌握的基本要求和相關(guān)知識(shí)要求；專業(yè)能力考核

7、以開(kāi)卷實(shí)操考試、上機(jī)實(shí)踐等方 式為主，主要考核從業(yè)人員從事本職業(yè)應(yīng)具備的技術(shù)水平。1.9.3監(jiān)考人員、考評(píng)人員與考生配比理論知識(shí)考試中的監(jiān)考人員與考生配比不低于1:15，且每個(gè)考場(chǎng)不少于2 名監(jiān)考人員；專業(yè)能力考核中的考評(píng)人員與考生配比不低于1:5,且考評(píng)人員為 3人（含）以上單數(shù)。1.9.4考核時(shí)間理論知識(shí)考試時(shí)間不少于90min，專業(yè)能力考核時(shí)間不少于150min。1.9.5考核場(chǎng)所設(shè)備理論知識(shí)考試在標(biāo)準(zhǔn)教室進(jìn)行；專業(yè)能力考核在具有相應(yīng)軟、硬件條件的考 核場(chǎng)所進(jìn)行。2基本要求2.1職業(yè)道德2.1.1職業(yè)道德基本知識(shí)2.1.2職業(yè)守則（1）遵紀(jì)守法，愛(ài)崗敬業(yè)。（2）精益求精，勇于創(chuàng)新。（3）

8、愛(ài)護(hù)設(shè)備，安全操作。（4）遵守規(guī)程，執(zhí)行工藝。（5）認(rèn)真嚴(yán)謹(jǐn)，忠于職守。2.2基礎(chǔ)知識(shí)2.2.1基礎(chǔ)理論知識(shí)（1）操作系統(tǒng)知識(shí)（2）計(jì)算機(jī)網(wǎng)絡(luò)知識(shí)（3）編程基礎(chǔ)知識(shí)（4）數(shù)據(jù)結(jié)構(gòu)與算法知識(shí)（5）數(shù)據(jù)庫(kù)知識(shí)（6）軟件工程知識(shí)（7）云計(jì)算知識(shí)（8）大數(shù)據(jù)知識(shí)2.2.2技術(shù)基礎(chǔ)知識(shí)（1）大數(shù)據(jù)系統(tǒng)環(huán)境安裝、配置和調(diào)試知識(shí)（2）大數(shù)據(jù)平臺(tái)架構(gòu)知識(shí)（3）軟件應(yīng)用開(kāi)發(fā)知識(shí)（4）接口開(kāi)發(fā)與功能模塊設(shè)計(jì)知識(shí)（5）數(shù)據(jù)采集與數(shù)據(jù)預(yù)處理知識(shí)（6）數(shù)據(jù)計(jì)算與數(shù)據(jù)指標(biāo)知識(shí)（7）常用數(shù)據(jù)分析與挖掘方法（8）常用數(shù)據(jù)報(bào)表與可視化技術(shù)方法（9）數(shù)據(jù)管理知識(shí)（10）數(shù)據(jù)運(yùn)營(yíng)及技術(shù)指導(dǎo)知識(shí)2.2.3安全知識(shí)（1）大數(shù)據(jù)應(yīng)用、設(shè)

9、備與外部服務(wù)組件安全管理知識(shí)（2）大數(shù)據(jù)服務(wù)用戶身份鑒別與訪問(wèn)控制管理相關(guān)知識(shí)（3）大數(shù)據(jù)服務(wù)數(shù)據(jù)活動(dòng)安全管理知識(shí)（4）大數(shù)據(jù)服務(wù)基礎(chǔ)設(shè)施安全管理知識(shí)（5）大數(shù)據(jù)系統(tǒng)應(yīng)急響應(yīng)管理知識(shí)2.2.4其他相關(guān)知識(shí)（1）環(huán)境保護(hù)知識(shí)（2）文明生產(chǎn)知識(shí)（3）勞動(dòng)保護(hù)知識(shí)（4）資料保管保密知識(shí)2.2.5相關(guān)法律、法規(guī)知識(shí)（1）中華人民共和國(guó)勞動(dòng)法相關(guān)知識(shí)（2）中華人民共和國(guó)安全生產(chǎn)法相關(guān)知識(shí)（3）中華人民共和國(guó)網(wǎng)絡(luò)安全法相關(guān)知識(shí)（4）關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定相關(guān)知識(shí)（5）關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)條例相關(guān)知識(shí)（6）網(wǎng)絡(luò)安全等級(jí)保護(hù)條例相關(guān)知識(shí)（7）數(shù)據(jù)安全管理辦法相關(guān)知識(shí)（8）電信和互聯(lián)網(wǎng)用戶個(gè)人信息保護(hù)規(guī)

10、定相關(guān)知識(shí)3工作要求本標(biāo)準(zhǔn)對(duì)初級(jí)、中級(jí)、高級(jí)的專業(yè)能力要求和相關(guān)知識(shí)要求依次遞進(jìn)，高級(jí) 別涵蓋低級(jí)別的要求。3.1初級(jí)大數(shù)據(jù)處理方向的職業(yè)功能包括大數(shù)據(jù)系統(tǒng)搭建、大數(shù)據(jù)平臺(tái)管理與運(yùn)維、大數(shù)據(jù)技術(shù)服務(wù)、大數(shù)據(jù)處理與應(yīng)用，大數(shù)據(jù)分析方向的職業(yè)功能包括大數(shù)據(jù)系統(tǒng) 搭建、大數(shù)據(jù)平臺(tái)管理與運(yùn)維、大數(shù)據(jù)技術(shù)服務(wù)、大數(shù)據(jù)分析與挖掘，大數(shù)據(jù)管理方 向的職業(yè)功能包括大數(shù)據(jù)平臺(tái)管理與運(yùn)維、大數(shù)據(jù)技術(shù)服務(wù)、大數(shù)據(jù)管理。職業(yè)功能工作內(nèi)容專業(yè)能力要求相關(guān)知識(shí)要求1.1硬件系 統(tǒng)搭建1.1.1能根據(jù)施工方案，進(jìn)彳丁需求 溝通并確認(rèn)設(shè)備參數(shù)1.1.2能參照施工方案，對(duì)大數(shù)據(jù) 機(jī)架及大型設(shè)備進(jìn)行機(jī)房空間規(guī)劃并部 署服務(wù)器1.

11、1.3能根據(jù)組網(wǎng)規(guī)劃方案，對(duì)各 服務(wù)器或需聯(lián)通網(wǎng)絡(luò)設(shè)備進(jìn)行組網(wǎng)瘴1.1.4能根據(jù)現(xiàn)場(chǎng)設(shè)施及電力系 統(tǒng)，對(duì)設(shè)備進(jìn)行上電測(cè)試及點(diǎn)亮測(cè) 試:1.1.1硬件設(shè)備功能知 識(shí)1.1.2服務(wù)器組網(wǎng)知識(shí)1.1.3服務(wù)器配置知識(shí)1.大數(shù)據(jù) 系統(tǒng)搭建1.2軟件系 統(tǒng)部署1.2.1能根據(jù)系統(tǒng)部署方案，安裝 集群環(huán)境、硬件環(huán)境、虛擬化環(huán)境所需 的各類系統(tǒng)1.2.2能根據(jù)軟件部署方案使用腳 本部署產(chǎn)品或用原生方法安裝各類大數(shù) 據(jù)功能組件1.2.3能根據(jù)節(jié)點(diǎn)連接信息配置大 數(shù)據(jù)集群1.2.4能根據(jù)集群功能對(duì)組件進(jìn)行 啟動(dòng)調(diào)試1.2.1操作系統(tǒng)安裝及 操作知識(shí)1.2.2云計(jì)算及虛擬化 部署知識(shí):1.2.3大數(shù)據(jù)組件安裝 知

12、識(shí)1.2.4大數(shù)據(jù)集群配置 知識(shí)1.2.5大數(shù)據(jù)組件基礎(chǔ) 操作知識(shí)2.1平臺(tái)管理2.1.1能對(duì)現(xiàn)有大數(shù)據(jù)集群的各類 組件進(jìn)行應(yīng)用變更或版本更迭2.1.2能根據(jù)上線計(jì)劃，按時(shí)完成 功能上線2.1.3能對(duì)提交代碼的版本進(jìn)行管 理2.1.1應(yīng)用變更管理知 識(shí)2.1.2代碼倉(cāng)庫(kù)托管知 識(shí)2.1.3功能持續(xù)集成知 識(shí)2.1.4代碼版本控制知 識(shí)2.大數(shù)據(jù) 平臺(tái)管理 與運(yùn)維2.2系統(tǒng)運(yùn) 維2.2.1能使用工具對(duì)集群的軟硬件 運(yùn)行狀態(tài)進(jìn)行監(jiān)控管理2.2.2能使用工具對(duì)大數(shù)據(jù)集群的 各類組件、服務(wù)的運(yùn)行狀態(tài)進(jìn)行監(jiān)控管 理2.2.3能使用工具對(duì)作業(yè)運(yùn)行情況 和資源占用情況進(jìn)行監(jiān)控管理2.2.4能根據(jù)故障報(bào)告，參

13、與故障 排查，處理故障問(wèn)題2.2.5能根據(jù)容災(zāi)計(jì)劃，定期備份 和遷移關(guān)鍵數(shù)據(jù)2.2.1管理平臺(tái)操作知 識(shí)2.2.2系統(tǒng)環(huán)境監(jiān)控知 識(shí)2.2.3常見(jiàn)故障排查知 識(shí)2.2.4容災(zāi)備份知識(shí)2.3安全維 護(hù)2.3.1能根據(jù)權(quán)限規(guī)范，使用工具 配置和管理用戶權(quán)限2.3.2能針對(duì)各類突發(fā)的外部攻擊 或異常事件進(jìn)行應(yīng)急處理2.3.3能對(duì)安全系統(tǒng)進(jìn)行升級(jí)和維 護(hù)2.3.1權(quán)限管理知識(shí)2.3.2常見(jiàn)異常處理知 識(shí)2.3.3網(wǎng)絡(luò)攻防知識(shí)3.1技術(shù)咨 詢3.1.1能根據(jù)團(tuán)隊(duì)既定計(jì)劃，收集 市場(chǎng)目標(biāo)信息3.1.2能配合銷售團(tuán)隊(duì)制作宣講材 料及解決方案展示材料3.1.3能配合工程師解決客戶技術(shù) 咨詢問(wèn)題并提供參考信息3

14、.1.1大數(shù)據(jù)行業(yè)應(yīng)用 知識(shí)3.1.2大數(shù)據(jù)技術(shù)體系 知識(shí)3.2解決方 案設(shè)計(jì)3.2.1能根據(jù)已有的產(chǎn)品解決方案 調(diào)整輸出具體的項(xiàng)目解決方案3.2.2能進(jìn)行產(chǎn)品演示和講解產(chǎn)品 特性3.2.3能根據(jù)客戶溝通反饋整理需 求文檔3.2.4能根據(jù)客戶需求提供產(chǎn)品咨 詢及軟件架構(gòu)3.2.1大數(shù)據(jù)基礎(chǔ)理論 知識(shí)3.2.2大數(shù)據(jù)行業(yè)發(fā)展 知識(shí)3.2.3大數(shù)據(jù)軟件架構(gòu) 知識(shí)3.大數(shù)據(jù)技術(shù)服務(wù)4.人數(shù)據(jù)處理與 應(yīng)用4.1數(shù)據(jù)采 集4.1.1能根據(jù)業(yè)務(wù)需求進(jìn)行在線、 離線數(shù)據(jù)采集4.1.2能根據(jù)調(diào)度策略使用框架設(shè) 置調(diào)度作業(yè)4.1.3能根據(jù)存儲(chǔ)策略進(jìn)行數(shù)據(jù)存 儲(chǔ)4.1.1網(wǎng)絡(luò)爬蟲(chóng)知識(shí)4.1.2離線數(shù)據(jù)采集知 識(shí)4

15、.1.3實(shí)時(shí)數(shù)據(jù)采集知 識(shí)4.1.4作業(yè)調(diào)度知識(shí)4.1.5文件系統(tǒng)數(shù)據(jù)存 儲(chǔ)知識(shí)4.1.6關(guān)系型數(shù)據(jù)庫(kù)知 識(shí)4.1.7非關(guān)系型數(shù)據(jù)庫(kù) 知識(shí)4.2數(shù)據(jù)預(yù) 處理4.2.1能根據(jù)業(yè)務(wù)需求對(duì)遺漏數(shù) 據(jù)、噪音數(shù)據(jù)、不一致數(shù)據(jù)等進(jìn)行洗4.2.2能根據(jù)業(yè)務(wù)需求對(duì)多源數(shù)據(jù)進(jìn)行整合4.2.3能根據(jù)業(yè)務(wù)規(guī)則對(duì)數(shù)據(jù)格式 進(jìn)行轉(zhuǎn)換4.2.4能根據(jù)數(shù)據(jù)歸一性原則對(duì)數(shù) 據(jù)進(jìn)行單位、數(shù)值規(guī)約4.2.1數(shù)據(jù)清洗知識(shí)4.2.2數(shù)據(jù)ETL知識(shí)4.2.3數(shù)據(jù)庫(kù)基礎(chǔ)操作 知識(shí)4.2.4 SQL函數(shù)知識(shí)4.2.5結(jié)構(gòu)化、半結(jié)構(gòu) 化與非結(jié)構(gòu)化知識(shí)4.3數(shù)據(jù)計(jì) 算4.3.1能根據(jù)業(yè)務(wù)需求編寫(xiě)批量、 實(shí)時(shí)數(shù)據(jù)計(jì)算作業(yè)4.3.2能根據(jù)數(shù)據(jù)特征

16、計(jì)算數(shù)據(jù)標(biāo) 簽并進(jìn)行匯總4.3.3能根據(jù)數(shù)據(jù)指標(biāo)規(guī)則計(jì)算關(guān) 鍵業(yè)務(wù)指標(biāo)4.3.1分布式計(jì)算知識(shí)4.3.2內(nèi)存計(jì)算知識(shí)4.3.3數(shù)據(jù)結(jié)構(gòu)封裝知 識(shí)4.3.4關(guān)鍵業(yè)務(wù)指標(biāo)知 識(shí)4.4數(shù)據(jù)查 詢4.4.1能根據(jù)數(shù)據(jù)平臺(tái)構(gòu)建聯(lián)機(jī)事 務(wù)分析系統(tǒng)并進(jìn)行即席查詢4.4.2能根據(jù)檢索引擎創(chuàng)建索引庫(kù) 并進(jìn)行數(shù)據(jù)檢索4.4.3能使用交互式查詢工具創(chuàng)建 數(shù)據(jù)接口并提供對(duì)外服務(wù)接口4.4.4能使用交互式查詢平臺(tái)制作 報(bào)表及展示圖表4.4.1 OLAP系統(tǒng)應(yīng)用知 識(shí)4.4.2數(shù)據(jù)檢索知識(shí)4.4.3交互式計(jì)算知識(shí)4.4.4報(bào)表制作知識(shí)5.大數(shù)據(jù)分析與挖掘5.1數(shù)據(jù)預(yù) 處理5.1.1能根據(jù)業(yè)務(wù)需求對(duì)遺漏數(shù) 據(jù)、噪音數(shù)據(jù)、不

17、一致數(shù)據(jù)等進(jìn)行洗5.1.2能根據(jù)業(yè)務(wù)需求對(duì)多源數(shù)據(jù) 進(jìn)行整合5.1.3能根據(jù)業(yè)務(wù)規(guī)則對(duì)數(shù)據(jù)格式 進(jìn)行轉(zhuǎn)換5.1.4能根據(jù)數(shù)據(jù)歸一性原則對(duì)數(shù) 據(jù)進(jìn)行單位、數(shù)值規(guī)約5.1.5能根據(jù)數(shù)據(jù)特征及規(guī)律，選擇 合適方法對(duì)數(shù)據(jù)進(jìn)行采樣5.1.1數(shù)據(jù)清洗知識(shí)5.1.2數(shù)據(jù)ETL知識(shí)5.1.3數(shù)據(jù)庫(kù)基礎(chǔ)操作 知識(shí)5.1.4 SQL函數(shù)知識(shí)5.1.5結(jié)構(gòu)化、半結(jié)構(gòu)化 與非結(jié)構(gòu)化知識(shí)5.2數(shù)據(jù)分 析5.2.1能結(jié)合業(yè)務(wù)場(chǎng)景使用工具對(duì) 數(shù)據(jù)集進(jìn)行概要、描述性統(tǒng)計(jì)分析5.2.2能在描述結(jié)果基礎(chǔ)上，對(duì)數(shù) 據(jù)進(jìn)行特征和規(guī)律的分析與推測(cè)5.2.3能結(jié)合業(yè)務(wù)場(chǎng)景編寫(xiě)數(shù)據(jù)統(tǒng) 計(jì)報(bào)告5.2.1描述性統(tǒng)計(jì)知識(shí)5.2.2統(tǒng)計(jì)工具使用知

18、 識(shí)5.2.3線性相關(guān)及回歸 相關(guān)知識(shí)5.3數(shù)據(jù)挖 掘5.3.1能評(píng)估挖掘需求并使用工具 對(duì)數(shù)據(jù)進(jìn)行特征工程處理5.3.2能調(diào)用常規(guī)模型進(jìn)行模型訓(xùn) 練5.3.1特征工程知識(shí)5.3.2機(jī)器學(xué)習(xí)基礎(chǔ)知 識(shí)5.3.3數(shù)據(jù)挖掘類庫(kù)應(yīng)5.3.3能根據(jù)合適評(píng)價(jià)指標(biāo)對(duì)模型 進(jìn)行驗(yàn)證和調(diào)參5.3.4能根據(jù)合適評(píng)價(jià)指標(biāo)對(duì)模型 進(jìn)行測(cè)試并輸出最終模型的性能評(píng)估分 數(shù)用知識(shí)5.4數(shù)據(jù)可 視化5.4.1能選擇關(guān)鍵指標(biāo)抽取數(shù)據(jù)并 進(jìn)行圖表展示5.4.2能使用可視化組件庫(kù)進(jìn)行可 視化頁(yè)面開(kāi)發(fā)并配置父互模式5.4.3能根據(jù)產(chǎn)品反饋對(duì)可視化頁(yè) 面及圖表進(jìn)行調(diào)整和美化5.4.1 BI工具使用知識(shí)5.4.2前端頁(yè)面開(kāi)發(fā)知 識(shí)5.

19、4.3可視化平臺(tái)配置 及使用知識(shí)6.1數(shù)據(jù)管理6.1.1能對(duì)大數(shù)據(jù)全生命周期進(jìn)行 監(jiān)控，定義、管理元數(shù)據(jù)，并提供訪問(wèn) 元數(shù)據(jù)接口服務(wù)6.1.2能對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估及有 效管控，校正異常數(shù)據(jù)和缺失數(shù)據(jù)6.1.3能根據(jù)安全審計(jì)要求，對(duì)數(shù) 據(jù)活動(dòng)的主題、操作及對(duì)象等數(shù)據(jù)相關(guān) 屬性進(jìn)行審核，確保數(shù)據(jù)活動(dòng)過(guò)程和相 關(guān)操作符合安全要求6.1.1數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)6.1.2數(shù)據(jù)血緣知識(shí)6.1.3數(shù)據(jù)質(zhì)量知識(shí)6.1.4 數(shù)據(jù)申計(jì)知識(shí)6.大數(shù)據(jù) 管理6.2數(shù)據(jù)管 理評(píng)估6.2.1能夠編寫(xiě)或者受理評(píng)估申請(qǐng)6.2.2能依據(jù)DCMM規(guī)則和組織需求 確定評(píng)估范圍6.2.3能協(xié)助企業(yè)實(shí)施DCMM成熟度 自評(píng)6.2.1數(shù)據(jù)管理能

20、力成 熟度評(píng)估模型知識(shí)3.2中級(jí)大數(shù)據(jù)處理方向的職業(yè)功能包括大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、大數(shù)據(jù)系統(tǒng)搭建、大數(shù)據(jù)平臺(tái)管理與運(yùn)維、大數(shù)據(jù)技術(shù)服務(wù)、大數(shù)據(jù)處理與應(yīng)用，大數(shù)據(jù)分析方向的職業(yè)功 能包括大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、大數(shù)據(jù)系統(tǒng)搭建、大數(shù)據(jù)平臺(tái)管理與運(yùn)維、大數(shù)據(jù)技術(shù)服 務(wù)、大數(shù)據(jù)分析與挖掘，大數(shù)據(jù)管理方向的職業(yè)功能包括大數(shù)據(jù)平臺(tái)管理與運(yùn)維、 大數(shù)據(jù)技術(shù)服務(wù)、大數(shù)據(jù)管理。職業(yè)功能工作內(nèi)容專業(yè)能力要求相關(guān)知識(shí)要求1.大數(shù)據(jù) 應(yīng)用開(kāi)發(fā)1.1應(yīng)用服 務(wù)開(kāi)發(fā)1.1.1能根據(jù)系統(tǒng)所使用的組件接 口，開(kāi)發(fā)相應(yīng)的數(shù)據(jù)訪問(wèn)層業(yè)務(wù)代碼1.1.2能根據(jù)大數(shù)據(jù)存儲(chǔ)系統(tǒng)結(jié) 構(gòu)，設(shè)計(jì)對(duì)接業(yè)務(wù)庫(kù)表結(jié)構(gòu)1.1.3能根據(jù)產(chǎn)品業(yè)務(wù)需求，開(kāi)發(fā)相應(yīng)數(shù)據(jù)或計(jì)

21、算接口1.1.4能根據(jù)流程圖梳理代碼邏 輯，優(yōu)化接口及功能模塊1.1.1大數(shù)據(jù)組件應(yīng)用 程序接口知識(shí)1.1.2模型層接口開(kāi)發(fā) 知識(shí)1.1.3服務(wù)層接口開(kāi)發(fā) 知識(shí)1.2系統(tǒng)測(cè) 試1.2.1能根據(jù)測(cè)試用例，對(duì)系統(tǒng)進(jìn) 行接口、功能、壓力等黑盒測(cè)試并輸出 缺陷、測(cè)試報(bào)告1.2.2能根據(jù)測(cè)試用例，對(duì)代碼進(jìn) 行邏輯、分支等白盒測(cè)試并輸出缺陷、 試報(bào)告1.2.3能根據(jù)相應(yīng)測(cè)試需求，開(kāi)發(fā) 自動(dòng)化測(cè)試腳本1.2. 1測(cè)試技術(shù)知識(shí)1.2.2測(cè)試用例設(shè)計(jì)知 識(shí)測(cè)1.2.3測(cè)試腳本開(kāi)發(fā)知 識(shí)2.大數(shù)據(jù) 系統(tǒng)搭建2.1硬件系 統(tǒng)搭建2.1.1能根據(jù)配置需求，規(guī)劃及選 型硬件配置設(shè)施2.1.2能根據(jù)機(jī)房環(huán)境和配置清 單，

22、制定工程實(shí)施方案2.1.3能根據(jù)物理硬件特性，制定 組網(wǎng)規(guī)劃方案2.1.4能根據(jù)硬件設(shè)備條件，進(jìn)行 底層及驅(qū)動(dòng)配置2.1.5能根據(jù)現(xiàn)場(chǎng)施工情況進(jìn)行故 障處理指導(dǎo)2.1.1網(wǎng)絡(luò)架構(gòu)和規(guī)劃 知識(shí)2.1.2服務(wù)器底層配置 知識(shí)2.2軟件系 統(tǒng)部署2.2.1能根據(jù)應(yīng)用需求，規(guī)劃系統(tǒng) 部署方案2.2.2能根據(jù)性能需求，對(duì)各運(yùn)行 系統(tǒng)進(jìn)行配置和調(diào)優(yōu)2.2.3能根據(jù)軟件部署方案，編寫(xiě) 自動(dòng)化部署腳本，并完成部署2.2.4能根據(jù)集群組件進(jìn)行高可用 及容災(zāi)配置2.2.5能根據(jù)集群功能對(duì)各組件進(jìn)2.2.1自動(dòng)化腳本開(kāi)發(fā) 知識(shí)2.2.2集群配置知識(shí)2.2.3集群高可用及容 災(zāi)知識(shí)行聯(lián)通調(diào)試3.大數(shù)據(jù)平臺(tái)管理與運(yùn)維3

23、.1平臺(tái)管理3.1.1能根據(jù)集群功能變更需求，制 定組件升級(jí)及功能遷移方案3.1.2能對(duì)上線功能進(jìn)行測(cè)試，評(píng) 估上線可行性，制定上線計(jì)劃3.1.3能對(duì)大數(shù)據(jù)平臺(tái)中的各個(gè)組 件使用權(quán)限進(jìn)行管理3.1.1集群技術(shù)知識(shí)3.1.2安全訪問(wèn)控制知 識(shí)3.2系統(tǒng)運(yùn) 維3.2.1能編寫(xiě)腳本對(duì)集群軟硬件、 組件與服務(wù)、作業(yè)運(yùn)行情況進(jìn)行監(jiān)控及 管理操作3.2.2能對(duì)集群的運(yùn)行性能、讀寫(xiě) 性能等指標(biāo)進(jìn)行調(diào)優(yōu)3.2.3能根據(jù)故障報(bào)告，排查故障 原因，處理故障問(wèn)題，并編寫(xiě)自動(dòng)化運(yùn) 維腳本3.2.4能制定容災(zāi)計(jì)劃，對(duì)異常服 務(wù)進(jìn)行故障轉(zhuǎn)移3.2. 1性能調(diào)優(yōu)知識(shí)3.2.2故障排查知識(shí)技3容災(zāi)管理知識(shí)3.3安全維 護(hù)3.

24、3.1能根據(jù)權(quán)限管理規(guī)范，編寫(xiě) 日志監(jiān)控腳本進(jìn)行權(quán)限安全管理3.3.2能根據(jù)漏洞報(bào)告和測(cè)試報(bào)告 開(kāi)發(fā)相應(yīng)安全補(bǔ)丁3.3.3能針對(duì)各類突發(fā)的外部攻擊 或異常事件制定應(yīng)急處理方案3.3.4能對(duì)安全系統(tǒng)進(jìn)行開(kāi)發(fā)、升 級(jí)和維護(hù)工作3.3.1安全補(bǔ)丁開(kāi)發(fā)知 識(shí)3.3.2異常處理知識(shí)3.3.3安全工具產(chǎn)品知 識(shí)4.大數(shù)據(jù)技術(shù)服務(wù)4.1技術(shù)咨 詢4.1.1能收集目標(biāo)市場(chǎng)信息，分析 行業(yè)需求4.1.2能配合銷售團(tuán)隊(duì)進(jìn)行產(chǎn)品宣 講和解決方案展示4.1.3能獨(dú)立解決客戶技術(shù)咨詢問(wèn) 題并提供技術(shù)方案4.1.4能參與項(xiàng)目架構(gòu)設(shè)計(jì)并提出 參考意見(jiàn)4.1.1大數(shù)據(jù)架構(gòu)知識(shí)4.1.2大數(shù)據(jù)技術(shù)趨勢(shì) 知識(shí)4.2解決方 案設(shè)計(jì)

25、4.2.1能根據(jù)項(xiàng)目需求，在產(chǎn)品功 能和技術(shù)架構(gòu)相關(guān)技術(shù)文檔基礎(chǔ)上調(diào)整 輸出項(xiàng)目解決方案4.2.2能進(jìn)行產(chǎn)品調(diào)研、演示和產(chǎn) 品特性講解4.2.3能結(jié)合業(yè)務(wù)情況主導(dǎo)或輔助 原型項(xiàng)目交付4.2.4能與業(yè)務(wù)部門(mén)合作挖掘客戶 需求并輸出解決方案4.2.1大數(shù)據(jù)行業(yè)背景 知識(shí)4.2.2市場(chǎng)營(yíng)銷知識(shí)4.2.3項(xiàng)目管理知識(shí)4.3指導(dǎo)與 培訓(xùn)4.3.1能制定技術(shù)員、助理工程師 對(duì)應(yīng)的人才培養(yǎng)計(jì)劃4.3.1大數(shù)據(jù)技術(shù)知識(shí)4.3.2技術(shù)教學(xué)知識(shí)4.3.2能制作培訓(xùn)資源4.3.3能使用培訓(xùn)材料開(kāi)展對(duì)技術(shù) 員、助理工程師的專業(yè)能力培訓(xùn)5.大數(shù)據(jù) 處理與應(yīng) 用5.1數(shù)據(jù)采集5.1.1能根據(jù)業(yè)務(wù)需求進(jìn)行在線、 離線數(shù)據(jù)采

26、集，并配置數(shù)據(jù)緩存及消息 隊(duì)列5.1.2能根據(jù)業(yè)務(wù)需求參與制定數(shù) 據(jù)遷移方案5.1.3能制定調(diào)度策略5.1.4能根據(jù)業(yè)務(wù)特性，制定數(shù)據(jù) 存儲(chǔ)策略.5.1.1信息系統(tǒng)配置知 識(shí)5.1.2數(shù)據(jù)監(jiān)測(cè)與遷移 知識(shí)5.1.3數(shù)據(jù)存儲(chǔ)策略知 識(shí)5.2數(shù)據(jù)建 模5.2.1能根據(jù)數(shù)據(jù)建模規(guī)范設(shè)計(jì)數(shù) 據(jù)模型5.2.2能根據(jù)存儲(chǔ)系統(tǒng)選型編寫(xiě)并 優(yōu)化數(shù)據(jù)模型實(shí)現(xiàn)腳本5.2.3能根據(jù)業(yè)務(wù)需求對(duì)數(shù)據(jù)模型 進(jìn)行優(yōu)化5.2.1數(shù)據(jù)倉(cāng)庫(kù)知識(shí)5.2.2層次建模知識(shí)5.2.3維度建模知識(shí)5.2.4讀寫(xiě)性能知識(shí)5.3數(shù)據(jù)預(yù) 處理5.3.1能根據(jù)數(shù)據(jù)質(zhì)量要求制定數(shù) 據(jù)清洗策略及評(píng)估方案5.3.2能根據(jù)業(yè)務(wù)要求制定數(shù)據(jù)整 合方案5.3

27、.3能根據(jù)業(yè)務(wù)需求及性能要求 設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)及格式調(diào)整方案5.3.4能根據(jù)歸一性需求制定數(shù)據(jù) 規(guī)約方案5.3.5能根據(jù)業(yè)務(wù)需求編寫(xiě)自定義 數(shù)據(jù)預(yù)處理函數(shù)5.3.1信息技術(shù)文檔編制知識(shí)5.3.2數(shù)據(jù)序列化知識(shí)5.3.3數(shù)據(jù)壓縮知識(shí)5.4數(shù)據(jù)計(jì) 算5.4.1能根據(jù)業(yè)務(wù)需求編寫(xiě)批量、 實(shí)時(shí)數(shù)據(jù)計(jì)算作業(yè)并優(yōu)化作業(yè)參數(shù)5.4.2能根據(jù)業(yè)務(wù)規(guī)則設(shè)計(jì)相應(yīng)標(biāo) 簽庫(kù)并進(jìn)行標(biāo)簽管理5.4.3能根據(jù)業(yè)務(wù)規(guī)則設(shè)計(jì)相應(yīng)數(shù) 據(jù)指標(biāo)計(jì)算算法5.4.1常用算法與數(shù)據(jù) 結(jié)構(gòu)知識(shí)5.4.2數(shù)據(jù)畫(huà)像知識(shí)5.4.3數(shù)據(jù)傾斜知識(shí)5.5數(shù)據(jù)查 詢5.5.1能使用大規(guī)模并行分析數(shù)據(jù) 庫(kù)優(yōu)化聯(lián)機(jī)事務(wù)分析系統(tǒng)性能5.5.2能使用計(jì)算引擎優(yōu)化數(shù)據(jù)

28、查 詢效率5.5.3能通過(guò)計(jì)算平臺(tái)構(gòu)建檢索分 析系統(tǒng)5.5.1大規(guī)模并行分析數(shù)據(jù)庫(kù)知識(shí)5.5.2數(shù)據(jù)立方知識(shí)5.5.3查詢引擎知識(shí)5.5.4數(shù)據(jù)分詞知識(shí)6.大數(shù)據(jù) 分析與挖 掘6.1數(shù)據(jù)預(yù) 處理6.1.1能根據(jù)數(shù)據(jù)質(zhì)量要求制定數(shù) 據(jù)清洗策略及評(píng)估方案6.1.2能根據(jù)業(yè)務(wù)要求制定數(shù)據(jù)整 合方案6.1.3能根據(jù)業(yè)務(wù)需求及性能要求6.1.1數(shù)據(jù)格式線性變 換知識(shí)6.1.2數(shù)據(jù)清洗需求分 析方法6.1.3數(shù)據(jù)清洗方案設(shè)設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)及格式調(diào)整方案6.1.4能根據(jù)歸一性需求制定數(shù)據(jù) 規(guī)約方案6.1.5能根據(jù)業(yè)務(wù)需求編寫(xiě)自定義 數(shù)據(jù)預(yù)處理函數(shù)6.1.6能根據(jù)數(shù)據(jù)特征及規(guī)律，制定 數(shù)據(jù)采樣方案計(jì)知識(shí)6.2數(shù)據(jù)

29、 分析6.2.1能根據(jù)分析需求進(jìn)行數(shù)據(jù)準(zhǔn) 備6.2.2能根據(jù)業(yè)務(wù)需求構(gòu)建合適的 分析模型6.2.3能使用合適的算法實(shí)現(xiàn)分析 模型并對(duì)擬合結(jié)果進(jìn)行優(yōu)化6.2.4能分析數(shù)據(jù)的主成分及因子 等相關(guān)特征，重構(gòu)數(shù)據(jù)內(nèi)容6.2.5能針對(duì)數(shù)據(jù)結(jié)果進(jìn)行歸納并 輸出分析報(bào)告6.2.1多元統(tǒng)計(jì)分析知 識(shí)6.2.2判別分析知識(shí)6.2.3聚類分析知識(shí)6.2.4主成分分析知識(shí)6.2.5因子分析知識(shí)6.2.6時(shí)間序列分析知 識(shí)6.3數(shù)據(jù) 挖掘6.3.1能評(píng)估挖掘需求并選擇合適 方法對(duì)數(shù)據(jù)進(jìn)行特征工程處理6.3.2能使用算法庫(kù)及工具創(chuàng)建數(shù) 據(jù)挖掘模型并進(jìn)行模型訓(xùn)練6.3.3能選擇合適評(píng)價(jià)指標(biāo)對(duì)模型 進(jìn)行驗(yàn)證及調(diào)優(yōu)6.3.4

30、能選擇合適評(píng)價(jià)指標(biāo)對(duì)模型 進(jìn)行測(cè)試并輸出最終模型的性能評(píng)估報(bào) 告6.3.5能使用編程語(yǔ)言對(duì)模型進(jìn)行 部署和重構(gòu)6.3.1模型訓(xùn)練知識(shí)6.3.2模型測(cè)試知識(shí)6.3.3模型部署知識(shí)6.4數(shù)據(jù)可 視化6.4.1能根據(jù)業(yè)務(wù)需求及分析結(jié) 果，制定數(shù)據(jù)展示方案6.4.2能設(shè)計(jì)數(shù)據(jù)可視化實(shí)現(xiàn)方式6.4.3能與產(chǎn)品、運(yùn)營(yíng)人員合作美 化數(shù)據(jù)報(bào)表及數(shù)據(jù)展示頁(yè)面6.4.4能開(kāi)發(fā)并優(yōu)化數(shù)據(jù)可視化組 件庫(kù)6.4.5能對(duì)數(shù)據(jù)可視化結(jié)果進(jìn)行業(yè) 務(wù)分析并輸出分析報(bào)告6.4.1數(shù)據(jù)可視化設(shè)計(jì) 知識(shí)6.4.2可視化組件庫(kù)開(kāi) 發(fā)知識(shí)7.1數(shù)據(jù)管理7.1.1能制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度， 通過(guò)制度約束、系統(tǒng)控制等手段，提高 平臺(tái)治理水平7

31、.1.2能制定數(shù)據(jù)質(zhì)量管理規(guī)范， 確保平臺(tái)數(shù)據(jù)質(zhì)量符合規(guī)范7.1.3能制定數(shù)據(jù)生命周期管理規(guī) 范、數(shù)據(jù)血緣關(guān)系管理規(guī)范7.1.1數(shù)據(jù)標(biāo)準(zhǔn)管理知 識(shí)7.1.2數(shù)據(jù)質(zhì)量管理知 識(shí)7.1.3數(shù)據(jù)生命周期管 理知識(shí)7.1.4數(shù)據(jù)安全知識(shí)7.大數(shù)據(jù)管理7.1.4能制定安全審計(jì)要求，確保 數(shù)據(jù)活動(dòng)過(guò)程和相關(guān)操作符合安全求7.2數(shù)據(jù)管 理評(píng)估7.2.1能獨(dú)立開(kāi)展DCMM調(diào)研訪談， 收集、解讀評(píng)估材料7.2.2能運(yùn)用評(píng)估表等工具進(jìn)行 DCMM評(píng)估7.2.3能分析企業(yè)數(shù)據(jù)管理現(xiàn)狀， 識(shí)別數(shù)據(jù)管理問(wèn)題及改進(jìn)項(xiàng)，給出數(shù)據(jù) 管理能力成熟度等級(jí)建議7.2.1 DCMM評(píng)估方法7.2.2數(shù)據(jù)治理知識(shí)3.3高級(jí)職業(yè)功能工作

32、內(nèi)容專業(yè)能力要求相關(guān)知識(shí)要求1.1人數(shù)據(jù)組件技術(shù)研發(fā)1.1.1能根據(jù)相關(guān)論文、材料實(shí)現(xiàn)存 儲(chǔ)、計(jì)算功能的分布式并行算法1.1.2能根據(jù)算法構(gòu)造存儲(chǔ)、讀寫(xiě)或 處理工具的海量數(shù)據(jù)計(jì)算引擎1.1.3能根據(jù)應(yīng)用需求開(kāi)發(fā)基于計(jì)算 引擎的算子、函數(shù)或方法1.1.4能根據(jù)算子、函數(shù)或方法，構(gòu) 造隊(duì)列或流程，實(shí)現(xiàn)計(jì)算作業(yè)功能1.1.1分布式算法1.1.2計(jì)算引擎開(kāi)發(fā)知 識(shí)1.2應(yīng)用 服務(wù)開(kāi)發(fā)1.2.1能根據(jù)系統(tǒng)架構(gòu)，規(guī)劃各項(xiàng)組 件接口規(guī)范1.2.2能根據(jù)業(yè)務(wù)功能，設(shè)計(jì)接口權(quán) 限及參數(shù)規(guī)范1.2.3能對(duì)整體系統(tǒng)進(jìn)行數(shù)據(jù)打通 方案設(shè)計(jì)1.2.4能對(duì)整體系統(tǒng)進(jìn)行庫(kù)表結(jié)構(gòu) 設(shè)計(jì)及優(yōu)化1.2.5能對(duì)整體系統(tǒng)的數(shù)據(jù)傳輸、

33、緩 存、推送設(shè)計(jì)方案1.2.1軟件應(yīng)用接口開(kāi)發(fā)知識(shí)1.2.2數(shù)據(jù)通信知識(shí)1.2.3數(shù)據(jù)緩存知識(shí)1.2.4消息中間件知識(shí)1.大數(shù)據(jù) 應(yīng)用開(kāi)發(fā)1.3系統(tǒng) 測(cè)試1.3.1能根據(jù)產(chǎn)品說(shuō)明文檔，規(guī)劃系 統(tǒng)測(cè)試計(jì)劃1.3.2能根據(jù)測(cè)試計(jì)劃，協(xié)調(diào)人力、 設(shè)備等測(cè)試資源1.3.3能根據(jù)測(cè)試需求，編制測(cè)試腳 本1.3.4能根據(jù)性能需求，進(jìn)行系統(tǒng)深 度性能優(yōu)化測(cè)試1.3.1自動(dòng)化測(cè)試腳本 技術(shù)1.3.2測(cè)試工具開(kāi)發(fā)方 法2.1硬件 系統(tǒng)搭建2.1.1能根據(jù)安全施工規(guī)范，整體規(guī) 劃硬件設(shè)施安全方案2.1.2能根據(jù)應(yīng)用需求，規(guī)劃網(wǎng)絡(luò)配 置實(shí)施方案2.1.3能根據(jù)產(chǎn)品特性，制定統(tǒng)一施 工標(biāo)準(zhǔn)2.1.4能根據(jù)系統(tǒng)部署方案

34、，與產(chǎn)品 開(kāi)發(fā)部門(mén)整體規(guī)劃硬件承載、配置及擴(kuò), 方案2.1.5能根據(jù)不同硬件設(shè)施，制定故 障處理規(guī)范及流程2.1.1安全施工規(guī)范2.1.2硬件產(chǎn)品知識(shí)2.1.3故障管理知識(shí) 展2.大數(shù)據(jù)系統(tǒng)搭建2.2軟件 系統(tǒng)部署2.2.1能根據(jù)權(quán)限安全規(guī)范，制定軟 件權(quán)限安全方案2.2.2能根據(jù)系統(tǒng)組件關(guān)系，配置組 件使用權(quán)限2.2.1權(quán)限安全規(guī)范2.2.2軟件產(chǎn)品交付知 識(shí)2.2.3聯(lián)邦集群知識(shí)2.2.3能根據(jù)產(chǎn)品特性，制定部署及 升級(jí)策略2.2.4能根據(jù)集群組件特性，制定高 可用及容災(zāi)策略2.2.5能根據(jù)調(diào)試結(jié)果，制定部署優(yōu) 化方案2.2.4異地多活知識(shí)3.1平臺(tái)管理3.1.1能評(píng)估應(yīng)用變更風(fēng)險(xiǎn)，發(fā)布應(yīng)

35、 用變更計(jì)劃，管控變更流程，總結(jié)變更: 告3.1.2能根據(jù)軟件部署方式，制定各 類組件應(yīng)用變更或版本更迭方案3.1.3能制定代碼管理規(guī)范并配置 代碼倉(cāng)庫(kù)管理系統(tǒng)3.1.4能制定各部門(mén)平臺(tái)功能使用 權(quán)限規(guī)范報(bào)3.1.1風(fēng)險(xiǎn)管理知識(shí)3.1.2應(yīng)用變更知識(shí)3.1.3代碼管理知識(shí)3.1.4權(quán)限管理知識(shí)3.2系統(tǒng) 運(yùn)維3.2.1能規(guī)劃監(jiān)控指標(biāo)，制定監(jiān)控管 理規(guī)范3.2.2能開(kāi)發(fā)監(jiān)控腳本3.2.3能對(duì)系統(tǒng)性能進(jìn)行調(diào)優(yōu)3.2.4能使用數(shù)據(jù)挖掘方法挖掘潛 在故障3.2.5能對(duì)故障事故進(jìn)行復(fù)盤(pán)，編寫(xiě) 故障預(yù)防規(guī)范3.2.6能定期組織容災(zāi)備份演練3.2. 1性能指標(biāo)知識(shí)3.2.2負(fù)載均衡知識(shí)3.2.3故障分析方法

36、3.2.4容災(zāi)備份知識(shí)3.大數(shù)據(jù)平臺(tái)管理與運(yùn)維3.3安全 維護(hù)3.3.1能根據(jù)安全規(guī)范制定風(fēng)險(xiǎn)預(yù) 警等級(jí)3.3.2能明確安全需求，審核并制定 權(quán)限管理規(guī)范和數(shù)據(jù)分類分級(jí)3.3.3能制定應(yīng)急管理策略并定期 組織安全演練3.3.4能根據(jù)漏洞測(cè)試報(bào)告和突發(fā) 事件應(yīng)對(duì)策略，評(píng)估系統(tǒng)潛在風(fēng)險(xiǎn)3.3.5能構(gòu)建系統(tǒng)安全機(jī)制并完成 對(duì)安全系統(tǒng)的開(kāi)發(fā)工作3.3.1安全規(guī)范知識(shí)3.3.2應(yīng)急管理知識(shí)4.大數(shù)據(jù) 技術(shù)服務(wù)4.1技術(shù) 咨詢4.1.1能建立目標(biāo)市場(chǎng)分析模型，分 析行業(yè)需求4.1.2能整體輸出產(chǎn)品解決方案4.1.3能獨(dú)立解決客戶技術(shù)咨詢難 題，并提供技術(shù)解決方案4.1.4能參與項(xiàng)目架構(gòu)設(shè)計(jì)與產(chǎn)品 設(shè)計(jì)，并

37、提出建設(shè)性意見(jiàn)4.1.1大數(shù)據(jù)架構(gòu)分析大 知識(shí)4.1.2數(shù)據(jù)產(chǎn)品設(shè)計(jì) 知識(shí)4.2解決 萬(wàn)案設(shè)計(jì)4.2.1能根據(jù)產(chǎn)品功能設(shè)計(jì)和技術(shù)架 構(gòu)，輸出產(chǎn)品的配套文檔，并根據(jù)項(xiàng)目 求針對(duì)性設(shè)計(jì)項(xiàng)目解決方案4.2.2能與業(yè)務(wù)部門(mén)合作引導(dǎo)和挖 掘客戶需求，并輸出解決方案4.2.3能挖掘行業(yè)普遍需求，提煉產(chǎn) 品價(jià)值特征，整理競(jìng)品分析報(bào)告4.2.4能主動(dòng)分析與挖掘市場(chǎng)情況， 對(duì)市場(chǎng)策略制定提出建議需4.2.1項(xiàng)目管理方法4.2.2需求分析技術(shù)4.3指導(dǎo) 與培訓(xùn)4.3.1能結(jié)合技術(shù)發(fā)展方向，調(diào)研大 數(shù)據(jù)先進(jìn)技術(shù)并進(jìn)行技術(shù)團(tuán)隊(duì)建設(shè)4.3.2能分析現(xiàn)有大數(shù)據(jù)產(chǎn)品技術(shù)體 系及可優(yōu)化方向，并向技術(shù)團(tuán)隊(duì)培訓(xùn)4.3.3能整理大

38、數(shù)據(jù)產(chǎn)品操作手冊(cè)， 并指導(dǎo)技術(shù)或非技術(shù)人員產(chǎn)品使用方 法4.3.1技術(shù)調(diào)研方法4.3.2團(tuán)隊(duì)組建知識(shí)4.3.3產(chǎn)品操作手冊(cè)制 作方法4.4流程優(yōu)化與管理4.4.1能建立業(yè)務(wù)需求收集業(yè)務(wù)指 標(biāo)數(shù)據(jù)，并根據(jù)實(shí)際數(shù)據(jù)建立業(yè)務(wù)分析; 型4.4.2能根據(jù)數(shù)據(jù)分析情況指導(dǎo)業(yè) 務(wù)開(kāi)展及流程優(yōu)化4.4.3能管理不同業(yè)務(wù)部門(mén)的開(kāi)發(fā) 生產(chǎn)活動(dòng)模4.4.1流程優(yōu)化知識(shí)4.4.2運(yùn)營(yíng)管理知識(shí)5.1數(shù)據(jù)采集5.1.1能根據(jù)業(yè)務(wù)場(chǎng)景制定數(shù)據(jù)米 集策略并監(jiān)控采集情況5.1.2能根據(jù)業(yè)務(wù)場(chǎng)景制定數(shù)據(jù)遷 移策略并監(jiān)測(cè)遷移情況5.1.3能根據(jù)業(yè)務(wù)及性能需求設(shè)計(jì) 消息傳輸及推送方案5.1.4能根據(jù)業(yè)務(wù)需求及依賴關(guān)系 設(shè)計(jì)調(diào)度方案5

39、.1.5能根據(jù)業(yè)務(wù)需求及存儲(chǔ)應(yīng)用 設(shè)計(jì)存儲(chǔ)策略5.1.1數(shù)據(jù)采集與遷移 策略5.1.2依賴調(diào)度原理知 識(shí)5.1.3存儲(chǔ)架構(gòu)知識(shí)5.大數(shù)據(jù)處理與應(yīng) 用5.2數(shù)據(jù) 建模5.2.1能制定數(shù)據(jù)建模流程規(guī)范5.2.2能根據(jù)業(yè)務(wù)需求，對(duì)模型進(jìn)行 優(yōu)化5.2.3能跨團(tuán)隊(duì)部門(mén)協(xié)作，系統(tǒng)性分 析并解決各類數(shù)據(jù)平臺(tái)相關(guān)的運(yùn)行或 數(shù)據(jù)問(wèn)題5.2.4能根據(jù)設(shè)計(jì)方法，構(gòu)建面向服 務(wù)或數(shù)據(jù)的數(shù)據(jù)建模體系架構(gòu)5.2.1數(shù)據(jù)平臺(tái)設(shè)計(jì)知 識(shí)5.2.2數(shù)據(jù)建模知識(shí)5.2.3 SOA/DOA體系結(jié)構(gòu) 知識(shí)5.3數(shù)據(jù) 預(yù)處理5.3.1能根據(jù)質(zhì)量要求，制定數(shù)據(jù)清 洗流程規(guī)范5.3.2能根據(jù)數(shù)據(jù)處理需求，制定統(tǒng) 一數(shù)據(jù)預(yù)處理方案5.3.

40、3能根據(jù)作業(yè)存在風(fēng)險(xiǎn)，制定預(yù) 處理異常處理機(jī)制5.3.4能根據(jù)系統(tǒng)特性，優(yōu)化預(yù)處理 系統(tǒng)性能指標(biāo)5.3.1數(shù)據(jù)清洗流程規(guī)語(yǔ) 范5.3.2法樹(shù)解析知識(shí)5.4數(shù)據(jù) 計(jì)算5.4.1能根據(jù)業(yè)務(wù)需求設(shè)計(jì)離線或 實(shí)時(shí)數(shù)據(jù)計(jì)算算法5.4.2能制定數(shù)據(jù)標(biāo)簽庫(kù)管理及規(guī) 范5.4.3能制定數(shù)據(jù)計(jì)算開(kāi)發(fā)流程及 規(guī)范5.4.4能根據(jù)業(yè)務(wù)規(guī)則對(duì)關(guān)系對(duì)象 進(jìn)行圖計(jì)算5.4.1數(shù)據(jù)算法設(shè)計(jì)方 法5.4.2數(shù)據(jù)分區(qū)及緩存 知識(shí)5.4.3外部程序管道知 識(shí)5.4.4圖計(jì)算知識(shí)5.5數(shù)據(jù) 查詢5.5.1能制定數(shù)據(jù)查詢操作流程及 規(guī)范5.5.2能深入計(jì)算引擎對(duì)底層代碼 進(jìn)行優(yōu)化以提升查詢性能5.5.3能制定對(duì)外數(shù)據(jù)接口規(guī)范及 權(quán)限5.5.1計(jì)算引擎優(yōu)化知 識(shí)5.5.2索引優(yōu)化知識(shí)5.5.3驅(qū)動(dòng)器與執(zhí)行器 知識(shí)6.大數(shù)據(jù)分析與挖 掘6.1數(shù)據(jù) 分析6.1.1能結(jié)合理論和業(yè)務(wù)實(shí)際，進(jìn)行 大數(shù)據(jù)分析相關(guān)算法研究6.1.2能針對(duì)研究結(jié)果設(shè)計(jì)分析算 法并指導(dǎo)算法模型實(shí)現(xiàn)6.1.3能針對(duì)現(xiàn)有算法提出新的改 進(jìn)和優(yōu)化方法，建立新的分析體系6.1.1大數(shù)據(jù)分析算法6.1.2綜合評(píng)價(jià)方法知 識(shí)6.2數(shù)據(jù) 挖掘6.2.1能根據(jù)理論研究及數(shù)學(xué)原理， 構(gòu)建并行挖掘算法6.2