2024年上海高職院校學(xué)生技能大賽賽項(xiàng)規(guī)程-大數(shù)據(jù)應(yīng)用開發(fā)師生同賽

2024上海高職院校學(xué)生技能大賽賽項(xiàng)規(guī)程大數(shù)據(jù)應(yīng)用開發(fā)師生同賽電子與信息類目錄 11.1項(xiàng)目描述 11.2競(jìng)賽目的 11.3相關(guān)文件 2 2 63.1競(jìng)賽模塊 63.2模塊簡(jiǎn)述 63.2.1模塊A:大數(shù)據(jù)平臺(tái)及組件搭建 63.2.2模塊B:大數(shù)據(jù)平臺(tái)管理與運(yùn)維 63.2.3模塊C:數(shù)據(jù)采集與處理 73.2.4模塊D:大數(shù)據(jù)分析與挖掘 73.2.4模塊E:數(shù)據(jù)可視化 73.2.4模塊F:大數(shù)據(jù)綜合分析及報(bào)告撰寫 73.3命題方式 73.4命題方案 8 8裁判組構(gòu)成 84.1評(píng)價(jià)分(主觀) 84.2測(cè)量分(客觀) 94.3評(píng)分流程說明 4.4評(píng)分細(xì)則 4.5成績(jī)公布方法 12 147.1賽場(chǎng)條件 7.3賽場(chǎng)布置 7.4參賽院校選手和教師的管理 8.1公眾要求 8.2賽事宣傳要求 15第1頁(yè)共15頁(yè)1.1項(xiàng)目描述(一)參賽學(xué)生必須為高等職業(yè)學(xué)校?？啤⒏叩嚷殬I(yè)學(xué)校本科全日制在籍學(xué)(二)每支參賽隊(duì)有4名選手組成，其中1名教師，3名學(xué)生。本賽項(xiàng)為師(三)本賽項(xiàng)為單一場(chǎng)次，所有參賽隊(duì)在現(xiàn)場(chǎng)根據(jù)任務(wù)說明，在4小時(shí)內(nèi)互1.2競(jìng)賽目的大數(shù)據(jù)技術(shù)與應(yīng)用賽項(xiàng)旨在適應(yīng)大數(shù)據(jù)產(chǎn)業(yè)對(duì)高素質(zhì)技術(shù)技能型人才的迫第2頁(yè)共15頁(yè)(1)大數(shù)據(jù)競(jìng)賽智能評(píng)分系統(tǒng)使用文檔(2)大數(shù)據(jù)競(jìng)賽樣題文件(3)電腦使用文檔選手掌握，并熟練使用PC電腦及windows10操作系統(tǒng)。第3頁(yè)共15頁(yè)Hadoop集群分布式管理方式與規(guī)則·Hbase列式數(shù)據(jù)庫(kù)的結(jié)構(gòu)·Spark計(jì)算引擎的使用方式及數(shù)據(jù)調(diào)用過程·HDFS配置參數(shù)的意義及修改方式●大數(shù)據(jù)集群監(jiān)控服務(wù)配置與管理C第4頁(yè)共15頁(yè)·獨(dú)立完成編寫程序，構(gòu)建爬蟲需求●根據(jù)指定信息要求進(jìn)行爬取數(shù)據(jù)項(xiàng)·將復(fù)雜的業(yè)務(wù)邏輯轉(zhuǎn)化成合理的技術(shù)實(shí)現(xiàn)·編寫典型數(shù)據(jù)聚類算法程序，并對(duì)數(shù)據(jù)進(jìn)行分析與挖掘·編寫典型數(shù)據(jù)降維算法程序，并對(duì)數(shù)據(jù)進(jìn)行分析與挖掘編寫典型數(shù)據(jù)分類算法程序，并對(duì)數(shù)據(jù)進(jìn)行分析與挖掘編寫線性回歸算法程序，并對(duì)數(shù)據(jù)進(jìn)行分析與挖掘·編寫關(guān)聯(lián)分析算法程序，并對(duì)數(shù)據(jù)進(jìn)行分析與挖掘●編寫LDA機(jī)器學(xué)習(xí)算法程序，并對(duì)數(shù)據(jù)進(jìn)行分析與挖掘●編寫K均值聚類機(jī)器學(xué)習(xí)算法程序，并對(duì)數(shù)據(jù)進(jìn)行分析與挖掘E●典型圖表的應(yīng)用場(chǎng)景及代表意義第5頁(yè)共15頁(yè)·使用標(biāo)準(zhǔn)化語(yǔ)句讀取數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)●使用Echarts數(shù)據(jù)可視化圖表庫(kù)繪制折線圖、餅形圖、柱形圖、直方圖等圖表·根據(jù)JSON語(yǔ)句規(guī)則，對(duì)數(shù)據(jù)進(jìn)行交換格式轉(zhuǎn)換F·業(yè)務(wù)場(chǎng)景理解：基于大數(shù)據(jù)思維，根據(jù)業(yè)務(wù)場(chǎng)景，能夠理解并運(yùn)用大數(shù)據(jù)技術(shù)解決企業(yè)實(shí)際的生產(chǎn)及管理問題·邏輯思維與分析方法：掌握邏輯思維與分析方法，提高從數(shù)據(jù)中發(fā)現(xiàn)問題和規(guī)律的能力·報(bào)告撰寫規(guī)范與技巧：了解報(bào)告撰寫的基本規(guī)范和技巧，使數(shù)據(jù)分析結(jié)果更具有說服力·業(yè)務(wù)領(lǐng)域知識(shí)：學(xué)習(xí)相關(guān)行業(yè)的基本知識(shí)，為數(shù)據(jù)分析提供業(yè)務(wù)背景·學(xué)習(xí)大數(shù)據(jù)新技術(shù)：關(guān)注大數(shù)據(jù)領(lǐng)域的新技術(shù)、新方法，不斷提升自己的技能水平·大數(shù)據(jù)技術(shù)應(yīng)用與設(shè)計(jì)：綜合運(yùn)用大數(shù)據(jù)平臺(tái)及相關(guān)組件、算法等，設(shè)計(jì)并解決企業(yè)業(yè)務(wù)場(chǎng)景中的問題·撰寫數(shù)據(jù)分析報(bào)告：基于數(shù)據(jù)分析結(jié)果，撰寫具備邏輯性、說服力的報(bào)告與團(tuán)隊(duì)協(xié)作解決問題：在團(tuán)隊(duì)中發(fā)揮積極作用，與其他成員協(xié)作●應(yīng)用業(yè)務(wù)知識(shí)進(jìn)行數(shù)據(jù)分析：結(jié)合行業(yè)知識(shí)，針對(duì)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)分析·獨(dú)立解決問題：在遇到問題時(shí)，能夠獨(dú)立尋找解決方案并付諸實(shí)踐●撰寫高質(zhì)量的分析報(bào)告：以創(chuàng)新思維和專業(yè)知識(shí)撰寫高質(zhì)量的分第6頁(yè)共15頁(yè)競(jìng)賽時(shí)間A大數(shù)據(jù)平臺(tái)及組件搭建0B大數(shù)據(jù)平臺(tái)管理與運(yùn)維0C0D大數(shù)據(jù)分析與挖掘0E數(shù)據(jù)可視化0F大數(shù)據(jù)綜合分析及報(bào)告撰寫0總計(jì)競(jìng)賽整體時(shí)長(zhǎng)為240分鐘，各個(gè)模塊的答題時(shí)間可根據(jù)作答情況自行調(diào)整，第7頁(yè)共15頁(yè)3.2.4模塊D:大數(shù)據(jù)分析與挖掘3.2.4模塊E:數(shù)據(jù)可視化觀的展示，通過使用Echarts數(shù)據(jù)可視化圖表庫(kù)繪制折線圖、餅3.2.4模塊F:大數(shù)據(jù)綜合分析及報(bào)告撰寫3.3命題方式本項(xiàng)目為提前公布試題的項(xiàng)目，于賽前2周公布樣第8頁(yè)共15頁(yè)賽樣題進(jìn)行修訂，修訂比例一般不超過30%。修訂時(shí)方案，裁判組成員均可提出修訂意見，最終修改由裁舉手表決通過確定),并由全體裁判簽字確認(rèn)。3.4命題方案4.1評(píng)價(jià)分(主觀)評(píng)價(jià)分(Judgement)打分方式：各裁判單獨(dú)評(píng)分，根據(jù)裁判數(shù)量，計(jì)算所有裁判評(píng)分的平均值。裁判相互間分差必須小于等于第9頁(yè)共15頁(yè)報(bào)告中未體現(xiàn)出業(yè)務(wù)問題解決，沒有實(shí)質(zhì)內(nèi)容，未體現(xiàn)團(tuán)隊(duì)協(xié)作、獨(dú)立思考、創(chuàng)新思維等；1-4分報(bào)告中體現(xiàn)出業(yè)務(wù)問題解決思路、技術(shù)應(yīng)用，有實(shí)有一定的團(tuán)隊(duì)協(xié)作、獨(dú)立思考、創(chuàng)新思維等方面的體現(xiàn)；5-8分報(bào)告中體現(xiàn)出業(yè)務(wù)問題解決思路、技術(shù)應(yīng)用、技術(shù)面的體現(xiàn)；報(bào)告中體現(xiàn)出業(yè)務(wù)問題解決思路、技術(shù)應(yīng)用、技術(shù)有實(shí)質(zhì)內(nèi)容闡述，有明確的團(tuán)隊(duì)協(xié)作、獨(dú)立思考、創(chuàng)新思維等方面的體現(xiàn)，創(chuàng)新性較為突出，具有前瞻性；4.2測(cè)量分(客觀)測(cè)量分(Measurement)打分方式：按模塊設(shè)置若干個(gè)評(píng)分組，每組由2名類型示例最高分值正確分值不正確分值按照虛擬機(jī)名稱，修改對(duì)應(yīng)主機(jī)名(分別為master、slavel、slave2,使用hostnamect1命令)是否與答案匹配，代碼及結(jié)果完全全匹配得分，不匹配220系統(tǒng)評(píng)分—→分?jǐn)?shù)復(fù)核→模塊B系統(tǒng)評(píng)分→分?jǐn)?shù)復(fù)核→模塊C系統(tǒng)評(píng)分→分?jǐn)?shù)復(fù)核→第10頁(yè)共15頁(yè)系統(tǒng)評(píng)分→分?jǐn)?shù)復(fù)核→系統(tǒng)評(píng)分→分?jǐn)?shù)復(fù)核一→裁判評(píng)分分?jǐn)?shù)復(fù)核一>主要知識(shí)點(diǎn)與技能點(diǎn)子任務(wù)一：免密java環(huán)境搭建，安裝包3p配置。則，大數(shù)據(jù)集群動(dòng)態(tài)存儲(chǔ)方式，大525spark集群的運(yùn)行原理，spark5第11頁(yè)共15頁(yè)置文件。配置項(xiàng)。子任務(wù)一：5據(jù)裝載，mapreduce程序運(yùn)行，sparkshell,spark程序的運(yùn)行，數(shù)據(jù)調(diào)用過程。數(shù)據(jù)理子任務(wù)一：完整的賽搭建)的數(shù)據(jù)。掌握網(wǎng)頁(yè)基本結(jié)構(gòu)，利用chrome查看網(wǎng)頁(yè)源碼，網(wǎng)絡(luò)爬蟲常見庫(kù)使用(python)。子任務(wù)二：清洗，合并，入庫(kù)爬取數(shù)據(jù)。程序連接操作數(shù)據(jù)庫(kù)的方法。5據(jù)分析與挖掘務(wù)描述構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，并導(dǎo)入數(shù)據(jù)。據(jù)的導(dǎo)入導(dǎo)出。5體任務(wù)描述統(tǒng)計(jì)數(shù)據(jù)的匯總，分布?；诖髷?shù)據(jù)思維，根據(jù)業(yè)務(wù)場(chǎng)5法分析數(shù)據(jù)。典型數(shù)據(jù)聚類算法，典型數(shù)據(jù)聚類機(jī)器學(xué)習(xí)算法。數(shù)據(jù)以及數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)用圖標(biāo)工具(如echart)制作折現(xiàn)圖，餅圖，柱狀圖，散點(diǎn)圖，氣泡圖等。式，常見圖表的繪制方式及參數(shù)意義，典型圖表的應(yīng)用場(chǎng)景及代表意義，圖表間協(xié)同展現(xiàn)的邏輯關(guān)系。析及報(bào)告推理能力，以及運(yùn)用文字和圖標(biāo)圖第12頁(yè)共15頁(yè)撰寫過數(shù)據(jù)洞察數(shù)據(jù)背后的進(jìn)的建議。析方法，具備從數(shù)據(jù)中發(fā)現(xiàn)問題和有說服力。大賽現(xiàn)場(chǎng)設(shè)立仲裁組，仲裁組由督考、裁判長(zhǎng)和場(chǎng)地負(fù)責(zé)人組成。裁判長(zhǎng)對(duì)成績(jī)復(fù)核，并將參賽選手成績(jī)匯總，各裁判員最終簽字確認(rèn)后，成績(jī)經(jīng)裁判長(zhǎng)和督考確認(rèn)后當(dāng)場(chǎng)公布，無異議后，比賽結(jié)果由各參賽院校領(lǐng)隊(duì)(1)本競(jìng)賽項(xiàng)目，所有配套的文件及手冊(cè)均采用簡(jiǎn)體中文編寫。(2)參賽選手應(yīng)在競(jìng)賽前15分鐘，憑競(jìng)賽抽簽單和身份證進(jìn)入考場(chǎng)。(3)進(jìn)入賽場(chǎng)后，參賽選手應(yīng)按照抽簽單進(jìn)入指檢查無誤并向裁判確認(rèn)后方可開始競(jìng)賽。(4)參賽選手應(yīng)準(zhǔn)時(shí)參賽，遲到10分鐘以上，將不得入場(chǎng)，按自動(dòng)棄權(quán)(5)參賽選手在競(jìng)賽期間可飲水、上洗手間，但其(6)裁判發(fā)出開始競(jìng)賽時(shí)間信號(hào)后，參賽選手方可進(jìn)行操作。(7)參賽選手須獨(dú)立完成所有項(xiàng)目，除征得裁判長(zhǎng)許可，否則嚴(yán)禁與其他(8)競(jìng)賽期間，參賽選手若遇到設(shè)備問題應(yīng)向監(jiān)考裁判舉手示意，若為設(shè)(9)競(jìng)賽期間，選手只能訪問自己競(jìng)賽賬號(hào)，不得對(duì)嘗試破解他人賬號(hào)，(10)參賽選手離開賽場(chǎng)前應(yīng)保證所有電腦設(shè)備處于開機(jī)狀態(tài)，如進(jìn)行關(guān)機(jī)第13頁(yè)共15頁(yè)導(dǎo)致的一切后果，將由選手負(fù)責(zé)。(11)監(jiān)考裁判發(fā)出結(jié)束競(jìng)賽時(shí)間信號(hào)后，參賽選手應(yīng)立即停止操作，依次有序離開賽場(chǎng)。序號(hào)主體設(shè)備名稱型號(hào)1大數(shù)據(jù)競(jìng)賽平臺(tái)套1(以每一個(gè)選手必須配備)序號(hào)設(shè)備名稱型號(hào)1CPU:I5及以上；內(nèi)存：8GB及以上；硬盤：200G及以上；配件：顯示器、鼠標(biāo)、鍵盤；網(wǎng)絡(luò)：具備千兆以上的局網(wǎng)環(huán)臺(tái)1本競(jìng)賽無需選手自備任何材料、設(shè)備和工具。序號(hào)設(shè)備和材料名稱第14頁(yè)共15頁(yè)1參賽選手禁止攜帶除抽簽單、身份證、筆以外的任何物品進(jìn)入競(jìng)賽7.1賽場(chǎng)條件(2)衛(wèi)生間、醫(yī)療、維修服務(wù)、生活補(bǔ)給站和垃圾分類回收點(diǎn)都在警戒線(3)設(shè)置安全通道和警戒線，確保進(jìn)入賽場(chǎng)的大賽參觀、采訪、視察的人7.2賽項(xiàng)保障(1)建立完善的賽項(xiàng)保障組織管理機(jī)制，做到各競(jìng)賽單元均有專人負(fù)責(zé)指(3)設(shè)置技術(shù)保障組，為競(jìng)賽設(shè)備、軟件與競(jìng)賽設(shè)施提供保養(yǎng)、維修等服(4)設(shè)置醫(yī)療保障服務(wù)站，提供可能發(fā)生的急救、傷口處理等應(yīng)急服務(wù)。(5)設(shè)置外圍安保組，對(duì)賽場(chǎng)核心區(qū)域的外圍進(jìn)行警戒與引導(dǎo)服務(wù)。7.3賽場(chǎng)布置(2)賽場(chǎng)平面圖上應(yīng)標(biāo)明安全出口、消防通道、警戒區(qū)、緊急事件發(fā)生時(shí)(3)賽場(chǎng)的標(biāo)注、標(biāo)識(shí)應(yīng)進(jìn)行統(tǒng)一設(shè)計(jì)，按規(guī)定使用大賽的標(biāo)注、標(biāo)識(shí)。7.4參賽院校選手和教師