全國職業(yè)院校技能大賽 賽項(xiàng)規(guī)程

全國職業(yè)院校技能大賽

賽項(xiàng)規(guī)程一、賽項(xiàng)名稱賽項(xiàng)編號：GZ-2022041賽項(xiàng)名稱：大數(shù)據(jù)技術(shù)與應(yīng)用英文名稱：BigDataTechnologyandApplication賽項(xiàng)組別：高職賽項(xiàng)歸屬：電子與信息大類二、競賽目的"十四五"時(shí)期，大數(shù)據(jù)產(chǎn)業(yè)對經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展的賦能作用更加突顯，大數(shù)據(jù)已成為催生新業(yè)態(tài)、激發(fā)新模式、促進(jìn)新發(fā)展的技術(shù)引擎習(xí)近平總書記指出“大數(shù)據(jù)是信息化發(fā)展的新階段”，“加快數(shù)字化發(fā)展建設(shè)數(shù)字中國”成為《中華人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》的重要篇章。大數(shù)據(jù)持續(xù)激發(fā)商業(yè)模式創(chuàng)新，不斷催生新業(yè)態(tài)，已成為互聯(lián)網(wǎng)等新興領(lǐng)域促進(jìn)業(yè)務(wù)創(chuàng)新增值提升企業(yè)核心價(jià)值的重要驅(qū)動(dòng)力。本賽項(xiàng)旨在落實(shí)國家“建設(shè)數(shù)字中國”戰(zhàn)略，深化產(chǎn)教融合，協(xié)同推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新與發(fā)展，大力推進(jìn)大數(shù)據(jù)專業(yè)技術(shù)技能人才培養(yǎng)，賦能經(jīng)濟(jì)社會(huì)和現(xiàn)代職業(yè)教育高質(zhì)量發(fā)展。結(jié)合當(dāng)前大數(shù)據(jù)產(chǎn)業(yè)中的新技術(shù)、新要求，通過大賽讓參賽選手熟悉一個(gè)真實(shí)企業(yè)級大數(shù)據(jù)項(xiàng)目中各個(gè)環(huán)節(jié)的實(shí)現(xiàn)過程。通過競賽來檢驗(yàn)教學(xué)水平，引領(lǐng)和促進(jìn)職業(yè)教育教學(xué)改革，促進(jìn)與產(chǎn)業(yè)主流技術(shù)技能接軌，營造崇尚技能的社會(huì)氛圍。通過大賽培養(yǎng)參賽選手在企業(yè)真實(shí)項(xiàng)目環(huán)境下進(jìn)行大數(shù)據(jù)平臺(tái)搭建（容器環(huán)境）、離線數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)采集與實(shí)時(shí)計(jì)算、數(shù)據(jù)可視化以及綜合分析等方面的能力；同時(shí)培養(yǎng)選手的理解力、溝通力、抗壓力、6S規(guī)范等職業(yè)素質(zhì)；激發(fā)學(xué)生自主學(xué)習(xí)能力和解決問題的能力,達(dá)到“以賽促教、以賽促學(xué)、以賽促改、賽課融通、賽訓(xùn)結(jié)合”目的。賽項(xiàng)圍繞大數(shù)據(jù)產(chǎn)業(yè)相關(guān)崗位的實(shí)際需求和要求進(jìn)行設(shè)計(jì)，通過大賽搭建校企合作的平臺(tái)，深化產(chǎn)教融合，推進(jìn)產(chǎn)教融合人才培養(yǎng)模式，提升大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)及其他相關(guān)專業(yè)畢業(yè)生的就業(yè)競爭能力，同時(shí)強(qiáng)化競賽成果轉(zhuǎn)化，促進(jìn)相關(guān)教材、資源、師資、認(rèn)證、實(shí)習(xí)就業(yè)等全面建設(shè)，推動(dòng)院校和企業(yè)聯(lián)合培養(yǎng)大數(shù)據(jù)人才，加強(qiáng)學(xué)校教育與產(chǎn)業(yè)發(fā)展的有效銜接，促進(jìn)職業(yè)院校電子與信息大類相關(guān)專業(yè)共同發(fā)展，為國家戰(zhàn)略規(guī)劃提供大數(shù)據(jù)領(lǐng)域高素質(zhì)技能型人才。三、競賽內(nèi)容（一） 選手需具備能力本賽項(xiàng)基于企業(yè)真實(shí)項(xiàng)目和工作模塊，結(jié)合高職大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)教學(xué)標(biāo)準(zhǔn)，充分考量企業(yè)崗位對學(xué)生職業(yè)技能的最新需求，在規(guī)定的時(shí)間內(nèi)完成指定大數(shù)據(jù)模塊。其中，主要考核參賽選手在大數(shù)據(jù)平臺(tái)搭建（容器環(huán)境）、離線數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)采集與實(shí)時(shí)計(jì)算、數(shù)據(jù)可視化以及綜合分析等方面的技能。此外，競賽同時(shí)考核參賽選手工作組織和團(tuán)隊(duì)協(xié)作能力、溝通和人際交往能力、解決問題能力以及致力于緊跟行業(yè)發(fā)展步伐的自我學(xué)習(xí)能力。本項(xiàng)目競賽內(nèi)容通過對技能實(shí)操表現(xiàn)來評估知識(shí)理解以及技能掌握的熟練程度，將不再另外舉行知識(shí)及理解性質(zhì)的理論測試。（二） 競賽模塊競賽時(shí)間競賽總時(shí)長為8小時(shí)。各參賽隊(duì)在規(guī)定的時(shí)間內(nèi)，獨(dú)立完成“競賽內(nèi)容”規(guī)定的競賽模塊。競賽內(nèi)容本競賽結(jié)合國內(nèi)行業(yè)、企業(yè)的實(shí)際業(yè)務(wù)模型；本競賽只考核技能部分，不涉及理論。本競賽進(jìn)行的技能實(shí)操考核，涉及大數(shù)據(jù)平臺(tái)搭建（容器環(huán)境）、離線數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)采集與實(shí)時(shí)計(jì)算、數(shù)據(jù)可視化、綜合分析。表3-1競賽內(nèi)容序號比賽模塊分?jǐn)?shù)占比考核內(nèi)容1大數(shù)據(jù)平臺(tái)搭建（容器環(huán)境）15%選手在容器環(huán)境下對大數(shù)據(jù)平臺(tái)及相關(guān)組件的安裝、配置、可用性驗(yàn)證等內(nèi)容2離線數(shù)據(jù)處理25%選手對Hadoop平臺(tái)、Spark平臺(tái)、Hive數(shù)據(jù)倉庫等的綜合應(yīng)用能力，使用Java、Scala等開發(fā)語言，完成離線數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)指標(biāo)統(tǒng)計(jì)等操作3數(shù)據(jù)挖掘10%選手運(yùn)用常用的機(jī)器學(xué)習(xí)方法對數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘分析4數(shù)據(jù)采集與實(shí)時(shí)計(jì)算20%選手對Flink平臺(tái)、Flume組件、Kafka組件等的綜合應(yīng)用能力，基于Flume和Kafka進(jìn)行實(shí)時(shí)數(shù)據(jù)采集，使用Scala開發(fā)語言，完成實(shí)時(shí)數(shù)據(jù)流相關(guān)數(shù)據(jù)指標(biāo)的分析、計(jì)算等操作，并存入Redis中5數(shù)據(jù)可視化15%選手基于前端框架Vue.js和后端REST風(fēng)格的數(shù)據(jù)接口，使用JavaScript語言將數(shù)據(jù)分析結(jié)果以圖表的形式進(jìn)行呈現(xiàn)、統(tǒng)計(jì)6綜合分析10%選手對大數(shù)據(jù)技術(shù)與分析的綜合操作和業(yè)務(wù)分析及報(bào)告撰寫能力7職業(yè)素養(yǎng)5%團(tuán)隊(duì)分工明確合理、操作規(guī)范、文明競賽各任務(wù)模塊的分值比例參考上表，各任務(wù)模塊包含的子任務(wù)分值由專家組命題時(shí)確定。關(guān)于最終賽題將由專家組討論決定。其中，各模塊的詳細(xì)內(nèi)容描述如下：（1）大數(shù)據(jù)平臺(tái)搭建（容器環(huán)境）依據(jù)大數(shù)據(jù)平臺(tái)的技術(shù)特點(diǎn)獨(dú)立解壓、安裝、配置。對不同的組件進(jìn)行文件參數(shù)配置，日志查看、狀態(tài)查看、服務(wù)啟動(dòng)、組件部署等。參賽選手需要掌握以下并不僅限于以下技能：Docker容器基礎(chǔ)操作；Hadoop偽分布式安裝配置；Hadoop完全分布式安裝配置；Spark安裝配置（Standalone模式）；SparkonYarn安裝配置；FlinkonYarn安裝配置；Hive安裝配置；Flume安裝配置；ZooKeeper安裝配置；Kafka安裝配置；Sqoop安裝配置。（2）離線數(shù)據(jù)處理利用Java、Scala開發(fā)語言，對關(guān)系型數(shù)據(jù)庫中的離線存量數(shù)據(jù)進(jìn)行全量數(shù)據(jù)抽取、增量數(shù)據(jù)抽取，將數(shù)據(jù)存入Hive數(shù)據(jù)倉庫，完成數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化以及相關(guān)的數(shù)據(jù)指標(biāo)計(jì)算等工作。參賽選手需要掌握以下并不僅限于以下技能:Java項(xiàng)目工程創(chuàng)建與配置；Java應(yīng)用開發(fā)；Scala項(xiàng)目工程創(chuàng)建與配置；Scala應(yīng)用開發(fā)；Pom文件配置；Maven本地倉庫配置使用；>基于MapReduce的數(shù)據(jù)清洗處理方法；＞基于Spark的數(shù)據(jù)清洗處理方法；＞基于Hive的數(shù)據(jù)清洗處理方法；＞數(shù)據(jù)倉庫基本架構(gòu)及概念；＞數(shù)據(jù)倉庫星型模型；＞數(shù)據(jù)倉庫雪花模型。（3） 數(shù)據(jù)挖掘利用Scala開發(fā)語言，基于SparkML機(jī)器學(xué)習(xí)庫，根據(jù)既有數(shù)據(jù)完成數(shù)據(jù)處理建立數(shù)據(jù)模型完成數(shù)據(jù)分析、數(shù)據(jù)挖掘操作。參賽選手需要掌握以下并不僅限于以下技能：＞Scala應(yīng)用開發(fā)；＞特征工程應(yīng)用；＞SparkML機(jī)器學(xué)習(xí)庫應(yīng)用開發(fā)；＞推薦算法的召回和排序；＞回歸模型應(yīng)用；＞聚類模型應(yīng)用；＞決策樹模型應(yīng)用；＞隨機(jī)森林模型應(yīng)用。（4） 數(shù)據(jù)采集與實(shí)時(shí)計(jì)算基于Flume、Kafka組件對實(shí)時(shí)數(shù)據(jù)進(jìn)行采集傳輸，利用Scala開發(fā)語言，使用Flink消費(fèi)實(shí)時(shí)數(shù)據(jù)進(jìn)行相關(guān)的數(shù)據(jù)指標(biāo)計(jì)算等工作。參賽選手需要掌握以下并不僅限于以下技能:＞Scala項(xiàng)目工程創(chuàng)建；＞Scala應(yīng)用開發(fā)；＞Pom文件配置；＞Maven本地倉庫配置使用；＞Redis基本操作；＞基于Flume及Kafka的數(shù)據(jù)采集方法；＞基于Flink的實(shí)時(shí)數(shù)據(jù)處理方法。（5） 數(shù)據(jù)可視化對數(shù)據(jù)進(jìn)行可視化展示，結(jié)合后端REST風(fēng)格的數(shù)據(jù)接口，利用前端框架Vue.js以及數(shù)據(jù)可視化圖表組件ECharts，將數(shù)據(jù)分析結(jié)果以柱狀圖、餅圖、條形圖等圖表進(jìn)行展示。參賽選手需要掌握以下并不僅限于以下技能：＞Vue.js項(xiàng)目工程創(chuàng)建；＞Vue.js框架應(yīng)用開發(fā)；＞ECharts組件應(yīng)用開發(fā)；＞根據(jù)需求使用ECharts繪制柱狀圖；＞根據(jù)需求使用ECharts繪制折線圖；＞根據(jù)需求使用ECharts繪制折柱混合圖；＞根據(jù)需求使用ECharts繪制玫瑰圖；＞根據(jù)需求使用ECharts繪制氣泡圖；＞根據(jù)需求使用ECharts繪制餅狀圖；＞根據(jù)需求使用ECharts繪制條形圖；＞根據(jù)需求使用ECharts繪制雷達(dá)圖；＞根據(jù)需求使用ECharts繪制散點(diǎn)圖；（6） 綜合分析依據(jù)數(shù)據(jù)挖掘分析結(jié)果，在綜合理解業(yè)務(wù)數(shù)據(jù)的基礎(chǔ)上，根據(jù)題目要求進(jìn)行分析，并編寫輸出分析報(bào)告。參賽選手需要掌握以下并不僅限于以下技能：＞根據(jù)要求結(jié)合回歸算法結(jié)果，說明回歸對業(yè)務(wù)發(fā)展的用途及經(jīng)營策略影響；＞根據(jù)要求結(jié)合聚類算法結(jié)果，說明聚類對業(yè)務(wù)發(fā)展的用途及經(jīng)營策略影響；＞根據(jù)要求結(jié)合決策樹算法結(jié)果，說明決策樹對業(yè)務(wù)發(fā)展的用途及經(jīng)營策略影響；＞根據(jù)要求結(jié)合隨機(jī)森林算法結(jié)果，說明隨機(jī)森林對業(yè)務(wù)發(fā)展的用途及經(jīng)營策略影響；＞根據(jù)要求結(jié)合競賽過程，對過程中的相關(guān)問題提出合理化建議及解決方案。四、競賽方式本賽項(xiàng)為團(tuán)體賽，以省（自治區(qū)、直轄市、新疆生產(chǎn)建設(shè)兵團(tuán)）為單位組隊(duì)參賽，不得跨校組隊(duì)。每支參賽隊(duì)由3名選手組成。團(tuán)體賽參賽隊(duì)可配指導(dǎo)教師，指導(dǎo)教師須為本校專兼職教師，每隊(duì)限報(bào)2名指導(dǎo)教師，競賽期間不允許指導(dǎo)教師進(jìn)入賽場進(jìn)行現(xiàn)場指導(dǎo)。參賽選手和指導(dǎo)教師報(bào)名獲得確認(rèn)后不得隨意更換；本賽項(xiàng)設(shè)單一場次，所有參賽隊(duì)在現(xiàn)場根據(jù)給定的項(xiàng)目模塊，在8小時(shí)內(nèi)相互配合，采用小組合作的形式完成賽項(xiàng)模塊，最后以提交的截圖和文檔作為最終評分依據(jù)；不計(jì)參賽選手的個(gè)人成績，統(tǒng)計(jì)競賽隊(duì)的總成績進(jìn)行排序。五、競賽流程（一）競賽流程圖2022年大數(shù)據(jù)技術(shù)與應(yīng)用賽項(xiàng)的競賽流程如圖5-1所示。

二）競賽時(shí)間表表5-1競賽時(shí)間表日期時(shí)間內(nèi)容18:00之前裁判報(bào)到競賽前兩日19:00—20:00裁判工作會(huì)議12:00之前各參賽隊(duì)報(bào)到10:00—11:00工作人員（含監(jiān)考）培訓(xùn)會(huì)競賽前一日15:30—16:00賽前領(lǐng)隊(duì)會(huì)16:00—16:30參賽隊(duì)熟悉比賽場地17:00—18:00現(xiàn)場裁判賽前檢查，封閉賽場07:00—08:00參賽隊(duì)集合前往比賽現(xiàn)場08:00—08:10賽場檢錄08:10—08:30一次加密：參賽隊(duì)抽取參賽編號競賽當(dāng)日08:30—08:45二次加密：參賽隊(duì)抽取賽位號08:45—09:00參賽隊(duì)進(jìn)入比賽賽位，進(jìn)行賽前軟、硬件檢查、題目發(fā)放09:00—17:00比賽17:00—17:20收取各參賽隊(duì)賽題及比賽結(jié)果文檔17:00—19:00申訴受理19:00—19:30三次加密：競賽結(jié)果等文件加密19:30—23:00成績評定與復(fù)核23:00—23:30加密信息解密23:30—24:00成績匯總，報(bào)送及公布競賽后一日09:00—10:00閉賽式六、競賽賽卷（一）專家組建立賽卷庫本賽項(xiàng)建立競賽賽卷庫，樣題由全國職業(yè)院校技能大賽執(zhí)委會(huì)組織專家組完成，并基于全國職業(yè)院校技能大賽相關(guān)文件和相關(guān)教學(xué)標(biāo)準(zhǔn)、職業(yè)標(biāo)準(zhǔn)要求，完成競賽賽卷庫建設(shè)。制作完成的競賽賽卷庫于開賽前1個(gè)月，通過大賽信息發(fā)布平臺(tái)公開。其中，競賽樣卷與競賽規(guī)程同步發(fā)布。（二）裁判長確定賽題基于已經(jīng)公布的競賽賽卷庫，賽前三天內(nèi)在監(jiān)督仲裁長監(jiān)督下裁判長指定相關(guān)人員抽取其中2套賽卷（A卷為競賽用賽卷、B卷為備用賽卷）。專家組將A、B賽卷中不超過30%的內(nèi)容進(jìn)行重新編制，并封存于承辦院校保密室中。保密室全程監(jiān)控，并安排專人把守。比賽完成后，包括參賽選手在內(nèi)的任何人，都不得將賽題帶離賽場由現(xiàn)場裁判對賽題進(jìn)行回收。賽卷樣式具體參考樣卷，見附件。七、競賽規(guī)則參賽選手須為高等職業(yè)學(xué)校?？?、高等職業(yè)學(xué)校本科全日制在籍學(xué)生，五年制高職四、五年級學(xué)生也可報(bào)名參賽。凡在往屆全國職業(yè)院校技能大賽中獲一等獎(jiǎng)的選手，不能再參加同一項(xiàng)目同一組別的比賽參賽選手的資格審查工作按照《全國職業(yè)院校技能大賽制度匯編》要求執(zhí)行。比賽工位通過抽簽決定，比賽期間參賽選手原則上不得離開比賽場地。參賽選手按規(guī)定時(shí)間到達(dá)指定地點(diǎn)，憑參賽相關(guān)憑據(jù)進(jìn)入賽場選手遲到10分鐘取消比賽資格。競賽所需的硬件、軟件和輔助工具統(tǒng)一提供，選手不得私自攜帶任何移動(dòng)存儲(chǔ)、輔助工具、移動(dòng)通信等設(shè)備進(jìn)入賽場。參賽選手在賽前15分鐘進(jìn)入比賽工位，并由隊(duì)長領(lǐng)取比賽信息比賽正式開始后方可進(jìn)行相關(guān)操作。如出現(xiàn)較嚴(yán)重的違規(guī)、違紀(jì)、舞弊等現(xiàn)象，經(jīng)裁判組裁定取消比賽成績。在比賽過程中，參賽選手如有疑問，應(yīng)舉手示意，現(xiàn)場裁判應(yīng)按要求及時(shí)予以答疑。如遇設(shè)備或軟件等故障，參賽選手應(yīng)舉手示意，現(xiàn)場裁判、技術(shù)人員等應(yīng)及時(shí)予以解決。確因計(jì)算機(jī)軟件或硬件故障，致使操作無法繼續(xù)，經(jīng)裁判長確認(rèn)，予以啟用備用設(shè)備。參賽選手不得因各種原因提前結(jié)束比賽。如確因不可抗因素需要離開賽場的，須向現(xiàn)場裁判員舉手示意，經(jīng)裁判員許可并完成記錄后，方可離開。凡在競賽期間內(nèi)提前離開的選手，不得返回賽場。比賽時(shí)間結(jié)束，選手應(yīng)全體起立，結(jié)束操作。經(jīng)工作人員查收清點(diǎn)所有文檔后方可離開賽場，離開賽場時(shí)不得帶走任何資料。賽項(xiàng)裁判應(yīng)嚴(yán)格遵守賽項(xiàng)各項(xiàng)規(guī)章制度，確保比賽公平、公正、公開。比賽當(dāng)天8:00起，賽項(xiàng)裁判應(yīng)上交所有通信設(shè)備，由賽項(xiàng)執(zhí)委會(huì)統(tǒng)一保管，并安排賽項(xiàng)裁判在指定區(qū)域休息或工作，直至賽項(xiàng)成績評定結(jié)束。比賽結(jié)束，經(jīng)加密裁判對各參賽選手提交的競賽結(jié)果進(jìn)行第三次加密后，評分裁判方可入場進(jìn)行成績評判。最終競賽成績經(jīng)復(fù)核無誤，由裁判長、監(jiān)督仲裁長簽字確認(rèn)后，以紙質(zhì)形式向全體參賽隊(duì)進(jìn)行公布，并在閉賽式上予以宣布。本賽項(xiàng)各參賽隊(duì)最終成績，由承辦單位信息員在監(jiān)督仲裁組監(jiān)督下錄入賽務(wù)管理系統(tǒng)。承辦單位信息員對成績數(shù)據(jù)審核后，將賽務(wù)系統(tǒng)中錄入的成績導(dǎo)出打印，經(jīng)賽項(xiàng)裁判長審核無誤后，簽字。承辦單位信息員將裁判長確認(rèn)的電子版賽項(xiàng)成績上傳賽務(wù)管理系統(tǒng)同時(shí)，將裁判長簽字的紙質(zhì)打印成績單報(bào)送大賽執(zhí)委會(huì)。賽項(xiàng)結(jié)束后，專家工作組根據(jù)裁判判分情況，分析參賽選手在比賽過程中對各知識(shí)點(diǎn)、技術(shù)的掌握程度，并將分析報(bào)告報(bào)備大賽執(zhí)委會(huì)辦公室，執(zhí)委會(huì)辦公室根據(jù)實(shí)際情況適時(shí)公布。賽項(xiàng)中每個(gè)比賽環(huán)節(jié)裁判判分的原始材料和最終成績等結(jié)果性材料，經(jīng)監(jiān)督仲裁組人員和裁判長簽字后，裝袋密封留檔；并由賽項(xiàng)承辦院校封存，委派專人妥善保管。其它未盡事宜，將在賽前向各領(lǐng)隊(duì)做詳細(xì)說明。八、競賽環(huán)境（一）賽場布局要求競賽現(xiàn)場設(shè)置場內(nèi)競賽區(qū)、裁判工作區(qū)、技術(shù)支持區(qū)、服務(wù)區(qū)等。場內(nèi)競賽區(qū)域。每個(gè)競賽工位標(biāo)有醒目的工位編號，每個(gè)工位面積在9左右，工位之間由隔板隔開，確保參賽隊(duì)之間互不干擾。賽場要求競賽過程全程無死角視頻監(jiān)控，監(jiān)控錄像保存3個(gè)月。環(huán)境標(biāo)準(zhǔn)要求保證賽場采光（大于500lux）、照明和通風(fēng)良好；提供穩(wěn)定的水、電，并提供應(yīng)急的備用電源；提供足夠的干粉滅火器材。裁判工作區(qū)。供裁判休息及工作場地。共配有電腦15臺(tái)；A4激光打印機(jī)1臺(tái)；桌椅15套；飲水機(jī)、紙杯、文具用品若干。技術(shù)支持區(qū)。為技術(shù)支持人員的工作場地，為參賽選手競賽提供技術(shù)支持。服務(wù)區(qū)。提供醫(yī)療等服務(wù)保障，并用隔離帶隔離。（二）賽事安全要求禁止選手及所有參加賽事的人員，攜帶任何有毒有害物品進(jìn)入競賽現(xiàn)場。場內(nèi)競賽區(qū)為參賽隊(duì)提供統(tǒng)一的競賽設(shè)備，無需選手自帶任何工具及附件。承辦單位應(yīng)設(shè)置專門的安全防衛(wèi)組，負(fù)責(zé)競賽期間健康和安全事務(wù)。主要包括檢查競賽場地、與會(huì)人員居住地、車輛交通及其周圍環(huán)境的安全防衛(wèi)；制定緊急應(yīng)對方案；監(jiān)督與會(huì)人員食品安全與衛(wèi)生；分析和處理安全突發(fā)事件等工作。賽場須配備相應(yīng)醫(yī)療人員和急救人員，并備有相應(yīng)急救設(shè)施。承辦方應(yīng)按照疫情防范要求做好賽場各項(xiàng)工作，現(xiàn)場消防器材和消防栓合格有效，應(yīng)急照明設(shè)施狀態(tài)合格，賽場明顯位置張貼緊急疏散圖，賽場地面張貼熒光疏散指示箭頭，賽場出入口專人負(fù)責(zé)，隨時(shí)保證安全通道的暢通無阻。九、技術(shù)規(guī)范本賽項(xiàng)的技術(shù)規(guī)范將包括：相關(guān)專業(yè)的教育教學(xué)要求、行業(yè)、職業(yè)技術(shù)標(biāo)準(zhǔn)，以及根據(jù)高職目錄修訂后的大數(shù)據(jù)技術(shù)與應(yīng)用相關(guān)專業(yè)人才培養(yǎng)標(biāo)準(zhǔn)和規(guī)范，適時(shí)地修訂本賽項(xiàng)遵循的技術(shù)規(guī)范。表9-1基礎(chǔ)標(biāo)準(zhǔn)標(biāo)準(zhǔn)號/規(guī)范簡稱名稱GB/T11457-2006信息技術(shù)、軟件工程術(shù)語GB8566-88計(jì)算機(jī)軟件開發(fā)規(guī)范GB/T12991-2008信息技術(shù)數(shù)據(jù)庫語言SQL第1部分：框架GB/T21025-2007XML使用指南GB/T28821-1012關(guān)系數(shù)據(jù)管理系統(tǒng)技術(shù)要求LD/T81.1-2006職業(yè)技能實(shí)訓(xùn)和鑒定設(shè)備技術(shù)規(guī)范表9-2大數(shù)據(jù)技術(shù)相關(guān)標(biāo)準(zhǔn)標(biāo)準(zhǔn)號/規(guī)范簡稱名稱GB/T38672-2020信息技術(shù)大數(shù)據(jù)接口基本要求GB/T38673-2020信息技術(shù)大數(shù)據(jù)大數(shù)據(jù)系統(tǒng)基本要求

GB/T38676-2020信息技術(shù)大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能測試要求GB/T38643-2020信息技術(shù)大數(shù)據(jù)分析系統(tǒng)功能測試要求GB/T38675-2020信息技術(shù)大數(shù)據(jù)計(jì)算系統(tǒng)通用要求GB/T38633-2020信息技術(shù)大數(shù)據(jù)系統(tǒng)運(yùn)維和管理功能要求表9-3軟件開發(fā)標(biāo)準(zhǔn)標(biāo)準(zhǔn)號/規(guī)范簡稱名稱GB/T8566-2001信息技術(shù)軟件生存周期過程GB/T15853-1995軟件支持環(huán)境GB/T14079-1993軟件維護(hù)指南GB/T17544-1998信息技術(shù)軟件包質(zhì)量要求和測試十、技術(shù)平臺(tái)（一）競賽設(shè)備技術(shù)平臺(tái)軟硬件設(shè)備組成如表10-1所示表10-1競賽硬件設(shè)備序號設(shè)備名稱數(shù)量備注1服務(wù)器每組1臺(tái)CPU：性能不低于Intel至強(qiáng)銀牌4208內(nèi)存：不少于128GB硬盤：總?cè)萘坎簧儆?TB網(wǎng)卡：千兆2大數(shù)據(jù)競賽平臺(tái)每組1套1.內(nèi)嵌基于K8S、Docker引擎的容器云平臺(tái)，該軟件提供鏡像上傳存儲(chǔ)、Docker鏡像復(fù)制、私有鏡像倉庫管理以及鏡像權(quán)限控制等功能；支持單個(gè)或多個(gè)K8S集群的導(dǎo)入并進(jìn)行權(quán)限控制；支持在名稱空間中以微服務(wù)方式將工作負(fù)載劃分到不同分層，可為每一個(gè)名稱空間自定義布局；支持圖形化的工作負(fù)載編輯，快速完成對容器的編排；在工作負(fù)載中可將Deployment的歷史版本、所屬的Pod列表、Pod的關(guān)聯(lián)事件、容器信息進(jìn)行有效組織及展示；可對接NFS、CephFS等常用存儲(chǔ)類型，并且支持對CephFS類型存儲(chǔ)卷聲明執(zhí)行擴(kuò)容和快照；容器文件瀏覽器支持從容器中進(jìn)行文件的上傳和下載；2.系統(tǒng)基于Linux系統(tǒng)部署，支持多角色如（管理員、教師、學(xué)生）管理、專業(yè)管理、班級管理、用戶管理、操作日志、系統(tǒng)設(shè)置、鏡像環(huán)境管理、實(shí)訓(xùn)管理、課程管理、實(shí)訓(xùn)監(jiān)控、實(shí)驗(yàn)環(huán)境、在線實(shí)訓(xùn)、個(gè)人中心等功能；支持通過VNC、SSH等多種模式訪問競賽平臺(tái)；3.支持模擬大數(shù)據(jù)平臺(tái)搭建（容器環(huán)境）、離線數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)采集與實(shí)時(shí)計(jì)算、數(shù)據(jù)可視化等貫穿大數(shù)據(jù)技術(shù)的相關(guān)知識(shí)點(diǎn)，提供大數(shù)據(jù)競賽所需的在線操作環(huán)境，所涉及開發(fā)語言包括Java、Scala、HTML、JavaScript

等。3PC機(jī)每組3臺(tái)競賽選手比賽使用。性能相當(dāng)于i5處理器，不小于8G內(nèi)存，不小于200G硬盤，顯示器要求1024*768以上。4交換機(jī)每組1臺(tái)5口及以上千兆交換機(jī)二）軟件環(huán)境表10-2競賽軟件環(huán)境設(shè)備類型軟件類別軟件名稱、版本號服務(wù)器大數(shù)據(jù)集群操作系統(tǒng)CentOS7容器環(huán)境Docker-CE20.10大數(shù)據(jù)分析平臺(tái)組件Hadoop2.7.7Yarn2.7.7ZooKeeper3.4.6Hive2.3.4JDK1.8Flume1.7.0Sqoop1.4.2Kafka2.0.0Spark2.1.1Flink1.10.2Redis4.0.1關(guān)系型數(shù)據(jù)庫MySQL5.7PC機(jī)PC操作系統(tǒng)Ubuntu18.0464位瀏覽器Chrome開發(fā)語言Scala2.11Java8開發(fā)工具IDEA2021(CommunityEdition)VisualStudioCode1.58SSH工具Asbru-cm或UbuntuSSH客戶端數(shù)據(jù)庫連接工具M(jìn)ySQLWorkbench數(shù)據(jù)可視化框架及組件Vue.js3.0ECharts5.1截圖工具Ubuntu系統(tǒng)自帶文檔編輯器WPSLinux版輸入法搜狗拼音輸入法Linux版一、成績評定一）評分原則

本賽項(xiàng)采用結(jié)果評分，根據(jù)評分標(biāo)準(zhǔn)設(shè)計(jì)評分表。1.評分表樣例評分表按照選手對應(yīng)題目要求實(shí)現(xiàn)過程及結(jié)果進(jìn)行評分，具體評分樣表如表11-1所示。表11-1評分表樣例模塊任務(wù)主要知識(shí)與技能點(diǎn)分值模塊A：大數(shù)據(jù)平臺(tái)搭建（容器環(huán)境）任務(wù)一：Hadoop完全分布式安裝配置Hadoop完全分布式下的JDK的解壓安裝、JDK環(huán)境變量配置、節(jié)點(diǎn)配置、Hadoop配置文件修改、運(yùn)行測試等7任務(wù)二：SparkonYarn安裝配置Spark的解壓安裝、環(huán)境變量配置、onYarn配置、運(yùn)行測試等4任務(wù)三：FlinkonYarn安裝配置Flink的解壓安裝、環(huán)境變量配置、運(yùn)行測試等4小計(jì)15模塊B:離線數(shù)據(jù)處理任務(wù)一：數(shù)據(jù)抽取從MySQL中進(jìn)行離線數(shù)據(jù)抽取，包括全量數(shù)據(jù)抽取和增量數(shù)據(jù)抽取操作10任務(wù)二：數(shù)據(jù)清洗從ods到dwd的數(shù)據(jù)清洗，包括數(shù)據(jù)排序、去重、數(shù)據(jù)類型轉(zhuǎn)換等操作8任務(wù)三：指標(biāo)計(jì)算在dwd層對數(shù)據(jù)進(jìn)行相關(guān)數(shù)據(jù)指標(biāo)的統(tǒng)計(jì)、計(jì)算等操作7小計(jì)25模塊C：數(shù)據(jù)挖掘任務(wù)一：特征工程對推薦系統(tǒng)的數(shù)據(jù)集進(jìn)行特征提取及數(shù)據(jù)預(yù)處理等操作5任務(wù)二：推薦系統(tǒng)基于用戶的推薦系統(tǒng)設(shè)計(jì)開發(fā)操作5小計(jì)10模塊D：數(shù)據(jù)采集與實(shí)時(shí)計(jì)算任務(wù)一：實(shí)時(shí)數(shù)據(jù)采集基于Flume和Kafka的實(shí)時(shí)數(shù)據(jù)采集，包括Flume采集配置、數(shù)據(jù)注入Kafka等操作8任務(wù)二：使用Flink處理Kafka中的數(shù)據(jù)使用Flink消費(fèi)Kafka中的數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算，包括實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)計(jì)算、Redis基本操作、Kafka基本操作等12小計(jì)20模塊E：數(shù)據(jù)可視化任務(wù)一：用柱狀圖展示消費(fèi)額最高的國家正確使用Vue.js框架，結(jié)合Echarts繪制柱狀圖2任務(wù)二：用餅狀圖展示各地區(qū)消費(fèi)能力正確使用Vue.js框架，結(jié)合Echarts繪制餅狀圖3任務(wù)三：用折線正確使用Vue.js框架，結(jié)合Echarts繪制3

展示總消費(fèi)額變化折線圖任務(wù)四：用條形圖展示平均消費(fèi)額最高的國家正確使用Vue.js框架，結(jié)合Echarts繪制條形圖3任務(wù)五：用折柱混合圖展示地區(qū)平均消費(fèi)額和國家平均消費(fèi)額正確使用Vue.js框架，結(jié)合Echarts繪制折柱混合圖4小計(jì)15模塊F:綜合分析任務(wù)一：如何解決Job運(yùn)行效率低的問題正確分析如何解決Job運(yùn)行效率低的問題4任務(wù)二：對于數(shù)據(jù)挖掘模塊中的用戶推薦有什么好的建議正確分析數(shù)據(jù)挖掘模塊中的用戶推薦并提供合理化建議3任務(wù)三：簡要描述任務(wù)過程中的問題并進(jìn)行總結(jié)合理描述任務(wù)過程中的問題并進(jìn)行總結(jié)3小計(jì)10模塊G:職業(yè)素養(yǎng)考察職業(yè)素養(yǎng)競賽團(tuán)隊(duì)分工明確合理、操作規(guī)范、文明競賽5小計(jì)5總分100注：以上僅為示例，專家組命題時(shí)保持各模塊總分值不變，各模塊所包含子任務(wù)的分值專家組命題時(shí)可以做適當(dāng)微調(diào)，具體以專家組實(shí)際命制的賽題為準(zhǔn)。三次加密原則比賽過程采取三次加密，通過抽取參賽編號、工位號和競賽結(jié)果編號，屏蔽參賽隊(duì)信息，每個(gè)環(huán)節(jié)設(shè)置一名獨(dú)立裁判，每個(gè)環(huán)節(jié)結(jié)束后，數(shù)據(jù)立即封存于承辦校保密室保險(xiǎn)柜內(nèi)，加密裁判直接隔離，確保成績評定公平、公正。獨(dú)立評分原則根據(jù)裁判分工，負(fù)責(zé)相同模塊評分工作的不同裁判，采取隨機(jī)抽簽獨(dú)立評分，確保成績評定嚴(yán)謹(jǐn)、客觀、準(zhǔn)確。裁判進(jìn)行隨機(jī)抽簽分組，杜絕主觀意愿組隊(duì)，各自完全獨(dú)立評分，裁判員間互不干涉，比賽監(jiān)督人員可隨機(jī)監(jiān)督。錯(cuò)誤不傳遞原則各模塊分別計(jì)算得分，錯(cuò)誤不傳遞，按規(guī)定比例計(jì)入選手總分。抽查復(fù)核原則（1）為保障成績評判的準(zhǔn)確性，監(jiān)督仲裁組對賽項(xiàng)總成績排名前30%的所有參賽隊(duì)伍（選手）的成績進(jìn)行復(fù)核；對其余成績進(jìn)行抽檢復(fù)核,抽檢覆蓋率不得低于15%。（2）監(jiān)督仲裁組需將復(fù)檢中發(fā)現(xiàn)的錯(cuò)誤以書面方式及時(shí)告知裁判長，由裁判長更正成績并簽字確認(rèn)。（3）復(fù)核、抽檢錯(cuò)誤率超過5%的，則認(rèn)定為非小概率事件，裁判組需對所有成績進(jìn)行復(fù)核。（二）評分方法競賽滿分為100分。最終成績按100分制進(jìn)行排名。競賽采取三次加密。第一次加密裁判組織參賽選手第一次抽簽，抽取參賽編號，替代選手參賽證等個(gè)人信息；第二次加密裁判組織參賽選手進(jìn)行第二次抽簽，確定賽位號，替換選手參賽編號；第三次加密裁判對各參賽隊(duì)競賽結(jié)果進(jìn)行加密，替換賽位號。每個(gè)環(huán)節(jié)結(jié)束后，數(shù)據(jù)立即封存于承辦校保密室保險(xiǎn)柜內(nèi)，加密裁判直接隔離，在評分結(jié)束后進(jìn)行解密并統(tǒng)計(jì)成績。裁判長正式提交評分結(jié)果并復(fù)核無誤后，加密裁判在監(jiān)督人員監(jiān)督下進(jìn)行三層解密：競賽結(jié)果編號到工位號解密；工位號到參賽編號解密；參賽編號到參賽隊(duì)名稱解密。為保障成績評判的準(zhǔn)確性，監(jiān)督仲裁組對賽項(xiàng)總成績排名前30%的所有參賽隊(duì)伍的成績進(jìn)行復(fù)核；其余成績進(jìn)行抽檢復(fù)核，抽檢覆蓋率不低于15%。監(jiān)督仲裁組在復(fù)檢中發(fā)現(xiàn)錯(cuò)誤，需以書面形式及時(shí)告知裁判長，由裁判長更正成績并簽字確認(rèn)。如復(fù)核、抽檢錯(cuò)誤率超過5%,裁判組需對所有成績進(jìn)行復(fù)核。在競賽過程中,參賽選手如有不服從裁判裁決、擾亂賽場秩序、舞弊等行為的,由裁判長按照規(guī)定扣減相應(yīng)分?jǐn)?shù),情節(jié)嚴(yán)重的將取消比賽資格,比賽成績計(jì)0分。（三）裁判要求表11-2裁判要求序號專業(yè)技術(shù)方向知識(shí)能力要求執(zhí)裁、教學(xué)、工作經(jīng)歷專業(yè)技術(shù)職稱（職業(yè)資格等級）人數(shù)1信息技術(shù)信息技術(shù)大類執(zhí)裁過全國職業(yè)院校技能大賽,教授過信息技術(shù)相關(guān)課程高級職稱12信息技術(shù)信息技術(shù)大類執(zhí)裁過省級競賽,教授過信息技術(shù)相關(guān)課程高級職稱93信息技術(shù)大數(shù)據(jù)執(zhí)裁過省級競賽,教授過大數(shù)據(jù)相關(guān)課程高級職稱254無無無高級職稱3裁判總?cè)藬?shù)競賽設(shè)置裁判38人,包括裁判長1人,加密裁判3人,現(xiàn)場裁判9人,評分裁判25人注意：承辦校可根據(jù)本校場地實(shí)際情況增加現(xiàn)場裁判數(shù)量十二、獎(jiǎng)項(xiàng)設(shè)定本賽項(xiàng)獎(jiǎng)項(xiàng)設(shè)團(tuán)體獎(jiǎng)。設(shè)獎(jiǎng)比例為：以賽項(xiàng)實(shí)際參賽隊(duì)總數(shù)為基數(shù),一、二、三等獎(jiǎng)獲獎(jiǎng)比例分別為10%、20%、30%（小數(shù)點(diǎn)后四舍五入）。如出現(xiàn)參賽隊(duì)總分相同情況,按照模塊分值權(quán)重順序的得分高低排序，即總成績相同的情況下比較模塊C的成績，模塊C成績高的排名優(yōu)先，如果模塊C成績也相同，則按模塊D、模塊B、模塊A、模塊E、模塊F的成績進(jìn)行排名，以此類推完成相同成績的排序。如果所有模塊分值相同，則查看文檔撰寫規(guī)范、職業(yè)素養(yǎng)的分值進(jìn)行排序。獲得一等獎(jiǎng)的參賽隊(duì)的指導(dǎo)教師授予“優(yōu)秀指導(dǎo)老師”榮譽(yù)稱號。十三、賽場預(yù)案（一）應(yīng)急安全預(yù)案比賽期間發(fā)生意外事故，發(fā)現(xiàn)者應(yīng)第一時(shí)間報(bào)告賽項(xiàng)執(zhí)委會(huì)，同時(shí)采取措施避免事態(tài)擴(kuò)大。賽項(xiàng)執(zhí)委會(huì)應(yīng)立即啟動(dòng)預(yù)案予以解決并報(bào)告賽區(qū)執(zhí)委會(huì)。賽項(xiàng)出現(xiàn)重大安全問題可以停賽，是否停賽由賽區(qū)執(zhí)委會(huì)決定。事后，賽區(qū)執(zhí)委會(huì)應(yīng)向大賽執(zhí)委會(huì)報(bào)告詳細(xì)情況。相關(guān)應(yīng)急預(yù)案如表13-1所示。表13-1應(yīng)急預(yù)案表突發(fā)事件預(yù)防措施事件發(fā)生后應(yīng)對措施參賽選手發(fā)病或受傷在各工位張貼安全操作說明。醫(yī)務(wù)人員應(yīng)采取緊急救護(hù)措施，及時(shí)進(jìn)行救治，如病情或傷勢嚴(yán)重，應(yīng)及時(shí)送往最近醫(yī)院進(jìn)行救治。人員發(fā)生食物中毒比賽期間指定的住宿/餐飲場地符合國家相關(guān)資質(zhì)要求。并協(xié)調(diào)地方衛(wèi)生部門做好檢查工作。立即組織對中毒人員進(jìn)行救治，必要時(shí)送往最近醫(yī)院進(jìn)行檢查治療。同時(shí)對可疑的食品、飲水及其有關(guān)原料、工具設(shè)備和場所以及可能受污染的區(qū)域采取保留、控制措施，組織開展現(xiàn)場調(diào)查，迅速查明原因，并及時(shí)向大賽執(zhí)委會(huì)報(bào)告。設(shè)備損壞提前一天服務(wù)器全部運(yùn)行；現(xiàn)場劃分備份組。參賽選手舉手示意后，監(jiān)考人員計(jì)時(shí)，裁判確認(rèn)后更換備機(jī)，并由主裁判確定應(yīng)計(jì)入延時(shí)時(shí)間。設(shè)備掉電競賽前技術(shù)人員及監(jiān)考人員檢查所有電源插頭，確保牢固；電源線盡量綁扎在參賽選手碰不到的地方，如桌子后面等。競賽前提醒參賽選手注意盡量不要碰到電源，配置文件要隨時(shí)保存。參賽選手舉手示意后，監(jiān)考人員計(jì)時(shí)，裁判確認(rèn)后重啟機(jī)器，并由主裁判確定應(yīng)計(jì)入延時(shí)的時(shí)間。現(xiàn)場網(wǎng)絡(luò)線纜故障現(xiàn)場走線要規(guī)范，盡量走暗槽或現(xiàn)場人員接觸不到的地方；對主要線路要在走線槽內(nèi)留有備線。啟用備線。臨時(shí)停電賽場需要雙路供電和備用發(fā)電機(jī)，確保單電源故障不會(huì)影響比賽供電線路互為備份，如出現(xiàn)故障，切換線路，經(jīng)裁判長與賽項(xiàng)執(zhí)委會(huì)商議統(tǒng)一延長比賽時(shí)間；若雙路電源均出現(xiàn)故障，快速啟用備用發(fā)電機(jī)發(fā)電，保證比賽正常運(yùn)行，經(jīng)裁判長與賽項(xiàng)執(zhí)委會(huì)商議統(tǒng)一延長比賽相應(yīng)時(shí)間。（二）處罰措施因參賽隊(duì)伍原因造成重大安全事故的，取消其獲獎(jiǎng)資格。參賽隊(duì)伍有發(fā)生重大安全事故隱患，經(jīng)賽場工作人員提示、警告無效的，可取消其繼續(xù)比賽的資格。賽事工作人員違規(guī)的，按照相應(yīng)的制度追究責(zé)任。情節(jié)惡劣并造成重大安全事故的，由司法機(jī)關(guān)追究相應(yīng)法律責(zé)任。十四、賽項(xiàng)安全賽項(xiàng)安全是全國職業(yè)院校技能大賽一切工作順利開展的先決條件，是本賽項(xiàng)籌備和運(yùn)行工作必須考慮的核心問題。（一）組織機(jī)構(gòu)成立由賽項(xiàng)執(zhí)委會(huì)主任為組長的賽項(xiàng)安全保障小組，成員包括承辦院校主抓安全的校領(lǐng)導(dǎo)、學(xué)生工作處、后勤處、保衛(wèi)處、合作企業(yè)技術(shù)工程師等相關(guān)人員；與地方行政、交通、司法、安全、消防、衛(wèi)生、食品、質(zhì)檢等相關(guān)部門建立協(xié)調(diào)機(jī)制，制定應(yīng)急預(yù)案，及時(shí)處置突發(fā)事件，保證比賽安全進(jìn)行。（二）比賽環(huán)境執(zhí)委會(huì)須在賽前組織專人對比賽現(xiàn)場、住宿場所和交通保障進(jìn)行考察，并對安全工作提出明確要求。賽場的布置，賽場內(nèi)的器材、設(shè)備，應(yīng)符合國家有關(guān)安全規(guī)定。如有必要，也可進(jìn)行賽場仿真模擬測試以發(fā)現(xiàn)可能出現(xiàn)的問題。承辦單位賽前須按照執(zhí)委會(huì)要求排除安全隱患；嚴(yán)格控制與參賽無關(guān)的易燃易爆以及各類危險(xiǎn)品進(jìn)入比賽場地，不許隨便攜帶書包進(jìn)入賽場；配備先進(jìn)的儀器，防止有人利用電磁波干擾比賽秩序。大賽現(xiàn)場需對賽場進(jìn)行網(wǎng)絡(luò)安全控制，以免場內(nèi)外信息交互，充分體現(xiàn)大賽的嚴(yán)肅、公平和公正性；大賽期間，承辦單位須在賽場管理的關(guān)鍵崗位，增加力量，建立安全管理日志，在賽場封閉后至競賽結(jié)束前對所有比賽場地進(jìn)行監(jiān)控并將監(jiān)控視頻保留3個(gè)月，防止人為損壞大賽設(shè)備影響比賽正常進(jìn)行。（三）生活條件比賽期間，原則上由執(zhí)委會(huì)統(tǒng)一安排參賽選手和指導(dǎo)教師食宿。承辦單位須尊重少數(shù)民族的信仰及文化，根據(jù)國家相關(guān)的民族政策，安排好少數(shù)民族選手和教師的飲食起居；比賽期間安排的住宿地應(yīng)具有賓館/住宿經(jīng)營許可資質(zhì)。以學(xué)校宿舍作為住宿地的，大賽期間的住宿、衛(wèi)生、飲食安全等由執(zhí)委會(huì)和提供宿舍的學(xué)校共同負(fù)責(zé)；各賽項(xiàng)的安全管理，除了可以采取必要的安全隔離措施外，應(yīng)嚴(yán)格遵守國家相關(guān)法律法規(guī)，保護(hù)個(gè)人隱私和人身自由；賽項(xiàng)所有裁判與參賽隊(duì)住宿須在不同酒店。在競賽日當(dāng)天早8點(diǎn)，由競賽執(zhí)委會(huì)工作人員收繳裁判所有通信設(shè)備，直至競賽成績發(fā)布后再歸還裁判；競賽期間，除現(xiàn)場裁判外，其余裁判由競賽執(zhí)委會(huì)統(tǒng)一安排休息場所。在此期間，裁判人員不得隨意出入，避免與參賽隊(duì)代表取得聯(lián)系。（四）組隊(duì)責(zé)任各學(xué)校組織代表隊(duì)時(shí)，須安排為參賽選手購買大賽期間的人身意外傷害保險(xiǎn)；各學(xué)校代表隊(duì)組成后，須制定相關(guān)管理制度，并對所有選手、指導(dǎo)教師進(jìn)行安全教育；各參賽隊(duì)伍須加強(qiáng)對參與比賽人員的安全管理，實(shí)現(xiàn)與賽場安全管理的對接。（五）應(yīng)急處理比賽期間發(fā)生意外事故，發(fā)現(xiàn)者應(yīng)第一時(shí)間報(bào)告賽項(xiàng)執(zhí)委會(huì)，同時(shí)采取措施避免事態(tài)擴(kuò)大。賽項(xiàng)執(zhí)委會(huì)應(yīng)立即啟動(dòng)預(yù)案予以解決并報(bào)告賽區(qū)執(zhí)委會(huì)。賽項(xiàng)出現(xiàn)重大安全問題可以停賽，是否停賽由賽區(qū)執(zhí)委會(huì)決定。事后，賽區(qū)執(zhí)委會(huì)應(yīng)向大賽執(zhí)委會(huì)報(bào)告詳細(xì)情況。十五、競賽須知（一）參賽隊(duì)須知參賽隊(duì)名稱：統(tǒng)一使用規(guī)定的學(xué)校代表隊(duì)名稱，不使用其他組織、團(tuán)體的名稱；參賽隊(duì)組成：每支參賽隊(duì)由3名參賽選手組成，須為同校在籍學(xué)生，其中隊(duì)長1名。每支參賽隊(duì)可配2名指導(dǎo)教師，指導(dǎo)教師須為本校專兼職教師。不接受跨校組隊(duì)，同一學(xué)校報(bào)名參賽隊(duì)不超過1支；各參賽院校應(yīng)指定1名負(fù)責(zé)人任賽項(xiàng)領(lǐng)隊(duì)，全權(quán)負(fù)責(zé)該校參賽事務(wù)的組織、協(xié)調(diào)和領(lǐng)導(dǎo)工作；參賽選手及指導(dǎo)教師在報(bào)名獲得確認(rèn)后，原則上不再更換。如在籌備過程中，參賽選手和指導(dǎo)教師因故不能參賽，須由其所在學(xué)校供職部門于賽項(xiàng)開賽前10個(gè)工作日之前出具書面說明，經(jīng)大賽執(zhí)委會(huì)辦公室核實(shí)后予以更換。允許隊(duì)員缺席比賽；允許指導(dǎo)教師缺席比賽；參賽隊(duì)按照大賽賽程安排，憑賽項(xiàng)執(zhí)委會(huì)頒發(fā)的參賽證、有效身份證件和學(xué)生證參加比賽及相關(guān)活動(dòng)；賽項(xiàng)執(zhí)委會(huì)統(tǒng)一安排各參賽隊(duì)在比賽前一天進(jìn)入賽場熟悉環(huán)境和設(shè)施情況；參賽隊(duì)選手、領(lǐng)隊(duì)和指導(dǎo)教師要有良好的職業(yè)道德，嚴(yán)格遵守比賽規(guī)則和比賽紀(jì)律，服從裁判，尊重裁判和賽場工作人員，自覺維護(hù)賽場秩序；領(lǐng)隊(duì)?wèi)?yīng)負(fù)責(zé)賽事活動(dòng)期間本隊(duì)所有選手的人身及財(cái)產(chǎn)安全，如發(fā)現(xiàn)意外事故，應(yīng)及時(shí)向賽項(xiàng)執(zhí)委會(huì)報(bào)告；各學(xué)校組織代表隊(duì)時(shí)，須為參賽選手購買大賽期間的人身意外傷害保險(xiǎn)；對于有礙比賽公正和比賽正常進(jìn)行的參賽隊(duì)，視其情節(jié)輕重，按照《全國職業(yè)院校技能大賽獎(jiǎng)懲辦法》給予警告、取消比賽成績、通報(bào)批評等處理。其中，對于比賽過程及有關(guān)活動(dòng)造成重大影響的，以適當(dāng)方式通告參賽院?；蚱渌鶎俚貐^(qū)的教育行政主管部門依據(jù)有關(guān)規(guī)定給予行政或紀(jì)律處分，同時(shí)停止該院校參加全國職業(yè)院校技能大賽1年。涉及刑事犯罪的移交司法機(jī)關(guān)處理。（二）指導(dǎo)教師須知嚴(yán)格遵守賽場的各項(xiàng)規(guī)定，服從裁判，文明競賽。如發(fā)現(xiàn)弄虛作假者，取消參賽資格，名次無效；領(lǐng)隊(duì)和指導(dǎo)教師務(wù)必帶好有效身份證件，在活動(dòng)過程中佩戴“指導(dǎo)教師證”參加競賽相關(guān)活動(dòng)；各代表隊(duì)領(lǐng)隊(duì)要堅(jiān)決執(zhí)行競賽的各項(xiàng)規(guī)定，加強(qiáng)對參賽人員的管理，做好賽前準(zhǔn)備工作，督促選手帶好證件等競賽相關(guān)材料；在比賽期間要嚴(yán)格遵守比賽規(guī)則，不得私自接觸裁判人員；競賽過程中，未經(jīng)裁判許可，領(lǐng)隊(duì)、指導(dǎo)教師及其他人員一律不得進(jìn)入競賽現(xiàn)場；如對競賽過程有疑議，由領(lǐng)隊(duì)和指導(dǎo)教師負(fù)責(zé)以書面形式向大賽監(jiān)督仲裁組反映，但不得影響競賽進(jìn)行；對申訴的仲裁結(jié)果，領(lǐng)隊(duì)要帶頭服從和執(zhí)行，并做好選手工作。參賽選手不得因申訴或?qū)μ幚硪庖姴环Ｖ垢傎?，否則以棄權(quán)處理；領(lǐng)隊(duì)和指導(dǎo)老師應(yīng)及時(shí)查看有關(guān)賽項(xiàng)的通知和內(nèi)容，認(rèn)真研究和掌握本賽項(xiàng)競賽的規(guī)程、技術(shù)規(guī)范和賽場要求，指導(dǎo)選手做好賽前的一切技術(shù)準(zhǔn)備和競賽準(zhǔn)備。（三）參賽選手須知參賽選手應(yīng)嚴(yán)格遵守賽場規(guī)章、操作規(guī)程和工藝準(zhǔn)則，保證人身及設(shè)備安全，接受裁判員的監(jiān)督和警示，文明競賽；參賽選手應(yīng)按照規(guī)定時(shí)間抵達(dá)賽場，憑身份證、學(xué)生證，以及統(tǒng)一發(fā)放的參賽證，完成入場檢錄、抽簽確定競賽賽位號，不得遲到早退；參賽選手憑競賽賽位號進(jìn)入賽場，不允許攜帶任何電子設(shè)備及其他資料、用品；參賽選手應(yīng)在規(guī)定的時(shí)間段進(jìn)入賽場，認(rèn)真核對競賽賽位號，在指定位置就座；參賽選手入場后，迅速確認(rèn)競賽環(huán)境狀況，填寫相關(guān)確認(rèn)文件，并由參賽隊(duì)長確認(rèn)簽字（競賽賽位號）；參賽選手在收到開賽信號前不得啟動(dòng)操作。在競賽過程中，確因計(jì)算機(jī)軟件或硬件故障，致使操作無法繼續(xù)的，經(jīng)項(xiàng)目裁判長確認(rèn)，予以啟用備用計(jì)算機(jī)；賽項(xiàng)任務(wù)書及相關(guān)資料，均保存在競賽環(huán)境的“大賽資料”文件夾中。參賽選手應(yīng)在競賽規(guī)定時(shí)間內(nèi)完成任務(wù)書內(nèi)容，并按照要求，將相應(yīng)文檔按要求進(jìn)行提交；參賽選手需及時(shí)保存競賽內(nèi)容。對于因各種原因造成的數(shù)據(jù)丟失，由參賽選手自行負(fù)責(zé)；參賽隊(duì)所提交的結(jié)果不得出現(xiàn)地名、校名、姓名、參賽證編號等信息，否則取消競賽成績；競賽過程中，因嚴(yán)重操作失誤或安全事故不能進(jìn)行比賽的（例如因操作原因發(fā)生短路導(dǎo)致賽場斷電的、造成設(shè)備不能正常工作的），現(xiàn)場裁判員有權(quán)中止該隊(duì)比賽；在比賽中如遇非人為因素造成的設(shè)備故障，經(jīng)裁判確認(rèn)后，可向裁判長申請補(bǔ)足排除故障的時(shí)間；參賽選手不得因各種原因提前結(jié)束比賽。如確因不可抗因素需要離開賽場的，須向現(xiàn)場裁判員舉手示意，經(jīng)裁判員許可并完成記錄后方可離開。凡在競賽期間內(nèi)提前離開的選手，不得返回賽場；競賽時(shí)間結(jié)束，選手應(yīng)全體起立，停止操作。將資料和工具整齊擺放在操作平臺(tái)上，經(jīng)工作人員清點(diǎn)后可離開賽場，離開賽場時(shí)不得帶走任何資料；在競賽期間，未經(jīng)執(zhí)委會(huì)批準(zhǔn)，參賽選手不得接受其他單位和個(gè)人進(jìn)行的與競賽內(nèi)容相關(guān)的采訪。參賽選手不得將競賽的相關(guān)信息私自公布；競賽操作結(jié)束后，參賽隊(duì)要確認(rèn)成功提交競賽要求的文件，裁判員在比賽結(jié)果的規(guī)定位置做標(biāo)記，并與參賽隊(duì)一起簽字確認(rèn)；符合下列情形之一的參賽選手，經(jīng)裁判組裁定后中止其競賽：（1）不服從裁判員/監(jiān)考員管理、擾亂賽場秩序、干擾其他參賽選手比賽，裁判員應(yīng)提出警告，二次警告后無效，或情節(jié)特別嚴(yán)重，造成競賽中止的，經(jīng)裁判長確認(rèn)，中止比賽，并取消競賽資格和競賽成績；（2）競賽過程中，由于選手人為造成計(jì)算機(jī)、儀器設(shè)備及工具等嚴(yán)重?fù)p壞，負(fù)責(zé)賠償其損失，并由裁判組裁定其競賽結(jié)束與否、是否保留競賽資格、是否累計(jì)其有效競賽成績；（3）競賽過程中，產(chǎn)生重大安全事故、或有產(chǎn)生重大安全事故隱患，經(jīng)裁判員提示沒有采取措施的，裁判員可暫停其競賽，由裁判組裁定其競賽結(jié)束，保留競賽資格和有效競賽成績。（四）工作人員須知賽項(xiàng)全體工作人員必須服從執(zhí)委會(huì)統(tǒng)一指揮，要以高度負(fù)責(zé)的態(tài)度做好比賽服務(wù)工作；全體工作人員由賽項(xiàng)執(zhí)委會(huì)統(tǒng)一聘用并進(jìn)行工作分工，進(jìn)入競賽現(xiàn)場須佩戴賽項(xiàng)執(zhí)委會(huì)統(tǒng)一提供的胸牌；全體工作人員必須佩戴標(biāo)志，認(rèn)真檢查證件，經(jīng)核對無誤后方可允許相關(guān)人員進(jìn)入指定地點(diǎn)；如遇突發(fā)事件要及時(shí)向執(zhí)委會(huì)報(bào)告，同時(shí)做好疏導(dǎo)工作，避免重大事故發(fā)生，確保大賽圓滿成功；各工作組負(fù)責(zé)人，要堅(jiān)守崗位，組織落實(shí)本組成員高效率完成各自工作任務(wù)，做好監(jiān)督協(xié)調(diào)工作；全體工作人員不得在比賽場內(nèi)接打電話，以保證賽場設(shè)施的正常工作。十六、申訴與仲裁1.參賽隊(duì)對不符合競賽規(guī)定的設(shè)備、工具、軟件，有失公正的評判、獎(jiǎng)勵(lì)，以及對工作人員的違規(guī)行為等，均可提出申訴；2.申訴應(yīng)在競賽結(jié)束后2小時(shí)內(nèi)提出，超過時(shí)效不予受理。申訴時(shí)，應(yīng)按照規(guī)定的程序由參賽隊(duì)領(lǐng)隊(duì)向賽項(xiàng)監(jiān)督仲裁工作組遞交書面申訴報(bào)告。報(bào)告應(yīng)對申訴事件的現(xiàn)象、發(fā)生的時(shí)間、涉及到的人員、申訴依據(jù)與理由等進(jìn)行充分、實(shí)事求是的敘述。事實(shí)依據(jù)不充分、僅憑主觀臆斷的申訴將不予受理。申訴報(bào)告須有申訴的參賽選手、領(lǐng)隊(duì)簽名；賽項(xiàng)監(jiān)督仲裁工作組在接到申訴報(bào)告后的2小時(shí)內(nèi)組織復(fù)議，并及時(shí)將復(fù)議結(jié)果以書面形式告知申訴方。申訴方對復(fù)議結(jié)果仍有異議可由?。ㄊ校╊I(lǐng)隊(duì)向賽區(qū)監(jiān)督仲裁委員會(huì)提出申訴。賽區(qū)監(jiān)督仲裁委員會(huì)的仲裁結(jié)果為最終結(jié)果；申訴人不得采取過激行為刁難、攻擊工作人員，否則視為放棄申訴；申訴方可隨時(shí)提出放棄申訴。十七、競賽觀摩本賽項(xiàng)應(yīng)須提供公開觀摩區(qū)，使用大屏幕實(shí)時(shí)轉(zhuǎn)播現(xiàn)場實(shí)況。競賽環(huán)境依據(jù)競賽需求和職業(yè)特點(diǎn)設(shè)計(jì)，在競賽不被干擾的前提下安全開放部分賽場?，F(xiàn)場觀摩應(yīng)遵守如下紀(jì)律：1.觀摩人員需由賽項(xiàng)執(zhí)委會(huì)批準(zhǔn)，佩戴觀摩證件在工作人員帶領(lǐng)下沿指定路線、在指定區(qū)域內(nèi)到現(xiàn)場觀賽；2.文明觀賽，不得大聲喧嘩，服從賽場工作人員的指揮，杜絕各種違反賽場秩序的不文明行為；觀摩人員不得進(jìn)入比賽區(qū)域，不可接觸設(shè)備，同參賽選手、裁判交流，不得傳遞信息，不得采錄競賽現(xiàn)場數(shù)據(jù)資料，不得影響比賽的正常進(jìn)行；觀摩者不可攜帶手機(jī)、IPAD等通訊工具進(jìn)入賽場，對于各種違反賽場秩序的不文明行為，工作人員有權(quán)予以提醒、制止。十八、競賽直播本賽項(xiàng)競賽時(shí)采用全過程錄像，在不影響比賽的前提下，全過程、全方位安排現(xiàn)場直播，并設(shè)直播觀摩區(qū)，讓所有參賽教師和社會(huì)人員等觀看比賽。賽后邀請媒體采訪優(yōu)秀選手、優(yōu)秀指導(dǎo)教師、裁判專家或企業(yè)人士，突出賽項(xiàng)的技能重點(diǎn)與優(yōu)勢特色，為大賽宣傳、資源轉(zhuǎn)化提供全面的信息資料。視頻資料也作為競賽成果提交賽項(xiàng)執(zhí)委會(huì)，作為競賽歷史材料供后續(xù)賽項(xiàng)提高進(jìn)行參考，競賽過程可作為教學(xué)資料進(jìn)行資源轉(zhuǎn)換，促進(jìn)相關(guān)專業(yè)教學(xué)發(fā)展。十九、資源轉(zhuǎn)化2022年全國職業(yè)院校技能大賽大數(shù)據(jù)技術(shù)與應(yīng)用賽項(xiàng)資源轉(zhuǎn)化工作主要聚焦完善、升級已經(jīng)開發(fā)完成的專業(yè)核心課程教學(xué)資源包，進(jìn)一步開展師資培養(yǎng)，創(chuàng)新培訓(xùn)課程內(nèi)容，建設(shè)大數(shù)據(jù)技術(shù)及其相關(guān)專業(yè)的生產(chǎn)實(shí)際教學(xué)案例庫等工作，同時(shí)對產(chǎn)教融合校企合作案例進(jìn)行總結(jié)。承辦校是資源轉(zhuǎn)化的第一責(zé)任單位，全面負(fù)責(zé)資源轉(zhuǎn)化工作。（一）資源內(nèi)容資源轉(zhuǎn)化成果包括基本資源和拓展資源，充分體現(xiàn)本賽項(xiàng)技能考核特點(diǎn)：1.基本資源風(fēng)采展示：制作賽項(xiàng)宣傳片、獲獎(jiǎng)代表隊(duì)（選手）風(fēng)采展示片。技能概要：制作賽項(xiàng)技能介紹、技能操作要點(diǎn)、評價(jià)指標(biāo)等材料按競賽任務(wù)模塊制作相關(guān)文本文檔、操作演示視頻。教學(xué)資源：開發(fā)和制作“大數(shù)據(jù)技術(shù)與應(yīng)用”教學(xué)資源，開發(fā)專業(yè)教材、教學(xué)課件PPT、技能實(shí)訓(xùn)指導(dǎo)書、實(shí)訓(xùn)操作視頻等數(shù)字化專業(yè)教材資源。2.拓展資源制作反映本賽項(xiàng)技能特色，并且適用于各教學(xué)與訓(xùn)練環(huán)節(jié)的多樣性輔助資源。包括：專家點(diǎn)評視頻、優(yōu)秀選手訪談視頻、試題庫、項(xiàng)目案例庫、素材庫等拓展性資源。制作完成的賽項(xiàng)資源經(jīng)審核后上傳至大賽指定的網(wǎng)絡(luò)信息管理平臺(tái)。（二）預(yù)期成果1.風(fēng)采展示：賽項(xiàng)宣傳片、選手采訪、指導(dǎo)老師和專家采訪等宣傳視頻。2.技能概要：技能介紹、技能要點(diǎn)、評價(jià)指標(biāo)等相關(guān)文本文檔、操作演示視頻。教學(xué)資源：系列相關(guān)教材和資源的開發(fā)。擴(kuò)展資源：包括賽項(xiàng)專家和指導(dǎo)老師點(diǎn)評視頻、優(yōu)秀選手訪談視頻、案例庫、素材資源庫、試題庫等拓展性資源。（三）完成時(shí)間資源轉(zhuǎn)化及開發(fā)計(jì)劃如表19-1所示：表19-1資源轉(zhuǎn)化表基本資源風(fēng)采展示視頻個(gè)1分鐘上0成3后內(nèi)完賽天視頻個(gè)1分鐘上0成3后內(nèi)完賽天能要技概份1字千01約0成9后內(nèi)完賽天份10成9后內(nèi)完賽天份10成9后內(nèi)完賽天教學(xué)資源份1字千01約0成9后內(nèi)完賽天份1字千01約0成9后內(nèi)完賽天拓展資源庫例案份7字千02約0成9后內(nèi)完賽天庫源資材素稿文示演個(gè)04演用稿使文套示配0成9后內(nèi)完賽天頻）視課學(xué)微教（個(gè)04套使用視頻0成9后內(nèi)完賽天SH畫分30鐘約0畫使動(dòng)HS"A0成9后內(nèi)完賽天

賽題庫文本文檔1套約30千字賽后90天內(nèi)完成專家和指導(dǎo)教師點(diǎn)評視頻視頻1個(gè)高清視頻賽后30天內(nèi)完成優(yōu)秀選手訪談視頻1個(gè)高清視頻賽后30天內(nèi)完成二十、其他無。附件：樣卷背景描述大數(shù)據(jù)時(shí)代，電商經(jīng)營模式發(fā)生很大改變。在傳統(tǒng)運(yùn)營模式中，缺乏數(shù)據(jù)積累，人們在做出一些決策行為過程中，更多是憑借個(gè)人經(jīng)驗(yàn)和直覺，發(fā)展路徑比較自我封閉。而大數(shù)據(jù)時(shí)代，為人們提供一種全新的思路，通過大量的數(shù)據(jù)分析得出的結(jié)果將更加現(xiàn)實(shí)和準(zhǔn)確。商家可以對客戶的消費(fèi)行為信息數(shù)據(jù)進(jìn)行收集和整理，比如消費(fèi)者購買產(chǎn)品的花費(fèi)選擇產(chǎn)品的渠道、偏好產(chǎn)品的類型、產(chǎn)品回購周期、購買產(chǎn)品的目的、消費(fèi)者家庭背景、工作和生活環(huán)境、個(gè)人消費(fèi)觀和價(jià)值觀等。通過數(shù)據(jù)追蹤，知道顧客從哪兒來，是看了某網(wǎng)站投放的廣告還是通過朋友推薦鏈接，是新訪客還是老用戶，喜歡瀏覽什么產(chǎn)品，購物車有無商品，是否清空，還有每一筆交易記錄，精準(zhǔn)鎖定一定年齡、收入、對產(chǎn)品有興趣的顧客，對顧客進(jìn)行分組、標(biāo)簽化，通過不同標(biāo)簽組合運(yùn)用，獲得不同目標(biāo)群體，以此開展精準(zhǔn)推送。因數(shù)據(jù)驅(qū)動(dòng)的零售新時(shí)代已經(jīng)到來，沒有大數(shù)據(jù)，我們無法為消費(fèi)者提供這些體驗(yàn)，為完成電商的大數(shù)據(jù)分析工作，你所在的小組將應(yīng)用大數(shù)據(jù)技術(shù)，以Scala作為整個(gè)項(xiàng)目的基礎(chǔ)開發(fā)語言，基于大數(shù)據(jù)平臺(tái)綜合利用Spark、Flink、Vue.js等技術(shù)，對數(shù)據(jù)進(jìn)行處理、分析及可視化呈現(xiàn)，你們作為該小組的技術(shù)人員，請按照下面任務(wù)完成本次工作。模塊A：大數(shù)據(jù)平臺(tái)搭建（容器環(huán)境）（15分）環(huán)境說明：服務(wù)端登錄地址詳見各模塊服務(wù)端說明。補(bǔ)充說明：宿主機(jī)可通過Asbru工具或SSH客戶端進(jìn)行SSH訪問；相關(guān)軟件安裝包在宿主機(jī)的/opt目錄下，請選擇對應(yīng)的安裝包進(jìn)行安裝，用不到的可忽略；所有模塊中應(yīng)用命令必須采用絕對路徑；從本地倉庫中拉取鏡像，并啟動(dòng)3個(gè)容器進(jìn)入Master節(jié)點(diǎn)的方式為dockerexec-itmaster/bin/bash進(jìn)入Slavel節(jié)點(diǎn)的方式為dockerexec-itslave1/bin/bash進(jìn)入Slave2節(jié)點(diǎn)的方式為dockerexec-itslave2/bin/bash同時(shí)將/opt目錄下的所有安裝包移動(dòng)到3個(gè)容器節(jié)點(diǎn)中。任務(wù)一：Hadoop完全分布式安裝配置本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，安裝Hadoop需要配置前置環(huán)境。命令中要求使用絕對路徑，具體要求如下:將Master節(jié)點(diǎn)JDK安裝包解壓并移動(dòng)到/usr/java路徑（若路徑不存在，則需新建），將命令復(fù)制并粘貼至對應(yīng)報(bào)告中;修改/root/profile文件，設(shè)置JDK環(huán)境變量，配置完畢后在Master節(jié)點(diǎn)分別執(zhí)行“java”和“javac”命令，將命令行執(zhí)行結(jié)果分別截圖并粘貼至對應(yīng)報(bào)告中;請完成host相關(guān)配置，將三個(gè)節(jié)點(diǎn)分別命名為master、slavel、slave2,并做免密登錄，使用絕對路徑從master復(fù)制JDK解壓后的安裝文件到slave1、slave2節(jié)點(diǎn)，并配置相關(guān)環(huán)境變量，將全部復(fù)制命令復(fù)制并粘貼至對應(yīng)報(bào)告中;在Master將Hadoop解壓到/opt目錄下，并將解壓包分發(fā)至slave1.slave2中，配置好相關(guān)環(huán)境，初始化Hadoop環(huán)境namenode,將初始化命令及初始化結(jié)果復(fù)制粘貼至對應(yīng)報(bào)告中；啟動(dòng)hadoop集群，查看master節(jié)點(diǎn)jps進(jìn)程，將查看結(jié)果復(fù)制粘貼至對應(yīng)報(bào)告中。任務(wù)二：SparkonYarn安裝配置本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要配置前置環(huán)境，具體要求如下：將scala包解壓到/usr/路徑，配置環(huán)境變量使其生效，將完整命令復(fù)制粘貼至對應(yīng)報(bào)告中（若已安裝，則可跳過）；配置/root/profile文件，設(shè)置Spark環(huán)境變量，并使環(huán)境變量生效將環(huán)境變量配置內(nèi)容復(fù)制粘貼至對應(yīng)報(bào)告中;完成onyarn相關(guān)配置，使用sparkonyarn的模式提交$SPARK_HOME/examples/jars/spark-examples_2.11-2.1.1.jar運(yùn)行的主類為org.apache.spark.examples.SparkPi，將運(yùn)行結(jié)果粘貼至對應(yīng)報(bào)告中。任務(wù)三：FlinkonYarn安裝配置本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要配置前置環(huán)境，具體要求如下：將Flink包解壓到路徑/opt目錄下，將完整命令復(fù)制粘貼至對應(yīng)報(bào)告中；修改/root/profile文件，設(shè)置Flink環(huán)境變量，并使環(huán)境變量生效將環(huán)境變量配置內(nèi)容復(fù)制粘貼至對應(yīng)報(bào)告中；開啟Hadoop集群，在yarn上以perjob模式（即Job分離模式，不采用Session模式）運(yùn)行$FLINK_HOME/examples/batch/WordCount.jar,將運(yùn)行結(jié)果最后10行復(fù)制粘貼至對應(yīng)報(bào)告中。示例：flinkrun-myarn-cluster-p2-yjm2G-ytm2G$FLINK_HOME/examples/batch/WordCount.jar模塊B：離線數(shù)據(jù)處理（25分）環(huán)境說明：服務(wù)端登錄地址詳見各模塊服務(wù)端說明。補(bǔ)充說明：各主機(jī)可通過Asbru工具或SSH客戶端進(jìn)行SSH訪問；Master節(jié)點(diǎn)MySQL數(shù)據(jù)庫用戶名/密碼：root/123456（已配置遠(yuǎn)程連接）；Hive的元數(shù)據(jù)啟動(dòng)命令為：nohuphive--servicemetastore&Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/Spark任務(wù)在Yarn上用Client運(yùn)行，方便觀察日志。任務(wù)一：數(shù)據(jù)抽取編寫Scala工程代碼，將MySQL的shtd_store庫中表Tablel、Table2、Table3的數(shù)據(jù)全量抽取到Hive的ods庫中對應(yīng)表table1、table2、table3中，將MySQL的shtd_store庫中表Table4、Table5的增量數(shù)據(jù)抽取到Hive的ods庫中對應(yīng)表table4、table5中。抽取shtd_store庫中Table1的全量數(shù)據(jù)進(jìn)入Hive的ods庫中表table1。字段排序,類型不變，同時(shí)添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.table1命令，將結(jié)果截圖復(fù)制粘貼至對應(yīng)報(bào)告中；抽取shtd_store庫中Table2的全量數(shù)據(jù)進(jìn)入Hive的ods庫中表table2。字段排序,類型不變，同時(shí)添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.table2命令，將結(jié)果截圖復(fù)制粘貼至對應(yīng)報(bào)告中；抽取shtd_store庫中Table3的全量數(shù)據(jù)進(jìn)入Hive的ods庫中表table3。字段排序,類型不變，同時(shí)添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.table3命令，將結(jié)果截圖復(fù)制粘貼至對應(yīng)報(bào)告中；抽取shtd_store庫中Table4的增量數(shù)據(jù)進(jìn)入Hive的ods庫中表table4,要求只取某年某月某日及之后的數(shù)據(jù)（包括某年某月某日），根據(jù)Table4表中keyl作為增量字段，只將新增的數(shù)據(jù)抽入，字段類型不變，同時(shí)添加動(dòng)態(tài)分區(qū)，分區(qū)字段類型為String，且值為key2字段的內(nèi)容（key2的格式為yyyy-MM-dd，分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行selectcount（distinet（dealdate））fromods.table4命令，將結(jié)果截圖復(fù)制粘貼至對應(yīng)報(bào)告中；抽取shtd_store庫中Table5的增量數(shù)據(jù)進(jìn)入Hive的ods庫中表table5,根據(jù)Table5表中keyl作為增量字段，只將新增的數(shù)據(jù)抽入，字段類型不變，同時(shí)添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.table5命令，將結(jié)果截圖復(fù)制粘貼至對應(yīng)報(bào)告中。任務(wù)二：數(shù)據(jù)清洗編寫Scala工程代碼，將ods庫中表tablel、table2、table3全量抽取到Hive的dwd庫中對應(yīng)表中。表中有涉及到timestamp類型的，均要求按照yyyy-MM-ddHH：mm：ss，不記錄毫秒數(shù)，若原數(shù)據(jù)中只有年月日，則在時(shí)分秒的位置添加00:00:00，添加之后使其符合yyyy-MM-ddHH：mm：ss。將ods庫中tablel表數(shù)據(jù)抽取到dwd庫中dim_tablel的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填寫“userl”，dwd_insert_time、dwd_modify_time均填寫操作時(shí)間，并進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli中按照keyl順序排序，查詢dim_tablel前l(fā)條數(shù)據(jù)，將結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報(bào)告中;將ods庫中table2表數(shù)據(jù)抽取到dwd庫中dim_table2的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填寫“userl”，dwd_insert_time、dwd_modify_time均填寫操作時(shí)間，并進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli中按照keyl順序排序，查詢dim_table2前l(fā)條數(shù)據(jù)，將結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報(bào)告中;將ods庫中table3表數(shù)據(jù)抽取到dwd庫中dim_table3的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填寫“user1”，dwd_insert_time、dwd_modify_time均填寫操作時(shí)間，并進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli中按照keyl順序排序，查詢dim_table3前1條數(shù)據(jù)，將結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報(bào)告中；將ods庫中table4表數(shù)據(jù)抽取到dwd庫中fact_table4的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填寫“user1”，dwd_insert_time、dwd_modify_time均填寫操作時(shí)間，并進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換。在執(zhí)行hivecli執(zhí)行selectcount(distinet(dealdate))fromdwd.fact_table4命令，將結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報(bào)告中；待任務(wù)4完成以后，需刪除ods.table4中的分區(qū)，僅保留最近的三個(gè)分區(qū)。并在hivecli執(zhí)行showpartitionsods.table4命令，將結(jié)果截圖粘貼至對應(yīng)報(bào)告中；將ods庫中table5表數(shù)據(jù)抽取到dwd庫中fact_table5的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該值相等，抽取的條件為根據(jù)keyl和key2進(jìn)行去重，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填寫“userl”，dwd_insert_time、dwd_modify_time均填寫操作時(shí)間，并進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli執(zhí)行showpartitionsdwd.fact_table5命令，將結(jié)果截圖粘貼至對應(yīng)報(bào)告中。任務(wù)三：指標(biāo)計(jì)算編寫Scala工程代碼，根據(jù)dwd層表統(tǒng)計(jì)每個(gè)地區(qū)、每個(gè)國家、每個(gè)月下單的數(shù)量和下單的總金額，存入MySQL數(shù)據(jù)庫shtd_store的nationeverymonth表中，然后在Linux的MySQL命令行中給出SQL語句以實(shí)現(xiàn)：根據(jù)訂單總數(shù)、消費(fèi)總額、國家表主鍵三列均逆序排序的方式，查詢出前5條，將SQL語句與執(zhí)行結(jié)果截圖粘貼至對應(yīng)報(bào)告中;

字段類型中文含義備注nationkeyint國家表主鍵nationnametext國家名稱regionkeyint地區(qū)表主鍵regionnametext地區(qū)名稱totalconsumptiondouble消費(fèi)總額當(dāng)月消費(fèi)訂單總額totalorderint訂單總數(shù)當(dāng)月訂單總額yearint年訂單產(chǎn)生的年monthint月訂單產(chǎn)生的月請根據(jù)dwd層表計(jì)算出某年每個(gè)國家的平均消費(fèi)額和所有國家平均消費(fèi)額相比較結(jié)果（“高/低/相同”），然后在Linux的MySQL命令行中根據(jù)訂單總數(shù)、消費(fèi)總額、國家表主鍵三列均逆序排序的方式，查詢出前5條，將SQL語句與執(zhí)行結(jié)果截圖粘貼至對應(yīng)報(bào)告中;字段類型中文含義備注nationkeyint國家表主鍵nationnametext國家名稱nationavgconsumptiondouble該國家內(nèi)客單價(jià)該國家已購買產(chǎn)品的人均消費(fèi)額allnationavgconsumptiondouble所有國家內(nèi)客單價(jià)所有國家已購買的產(chǎn)品的人均消費(fèi)額comparisonstring比較結(jié)果國家內(nèi)人均和所有國家人均相比結(jié)果有：高/低/相同1.編寫Scala工程代碼，根據(jù)dwd層表統(tǒng)計(jì)連續(xù)兩個(gè)月下單并且下單金額保持增長的用戶，訂單發(fā)生時(shí)間限制為大于等于某年，存入MySQL數(shù)據(jù)庫shtd_store的usercontinueorder表中。然后在Linux的MySQL命令行中根據(jù)訂單總數(shù)、消費(fèi)總額、客戶主鍵三列均逆序排序的方式，查詢出前5條，將SQL語句與執(zhí)行結(jié)果截圖粘貼至對應(yīng)報(bào)告中。

字段類型中文含義備注custkeyint客戶主鍵custnametext客戶名稱monthtext月記錄當(dāng)前月和下月，用下劃線‘_'相連例如：202201_202202表示2022年1月到2月用戶連續(xù)下單。totalconsumptiondouble消費(fèi)總額連續(xù)兩月的訂單總額totalorderint訂單總數(shù)連續(xù)兩月的訂單總數(shù)模塊C：數(shù)據(jù)挖掘（10分）環(huán)境說明：服務(wù)端登錄地址詳見各模塊服務(wù)端說明。補(bǔ)充說明：各主機(jī)可通過Asbru工具或SSH客戶端進(jìn)行SSH訪問；Master節(jié)點(diǎn)MySQL數(shù)據(jù)庫用戶名/密碼：root/123456（已配置遠(yuǎn)程連接）；Hive的元數(shù)據(jù)啟動(dòng)命令為：nohuphive--servicemetastore&Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/Spark任務(wù)在Yarn上用Client運(yùn)行，方便觀察日志。任務(wù)一：特征工程1、根據(jù)dwd庫中fact_orders表，將其轉(zhuǎn)換為以下矩陣：其中A表示為A用戶，B表示為B用戶，矩陣【0,1】的值為1表示A用戶與B用戶之間購買1個(gè)相同零件數(shù)的數(shù)量。將矩陣保存為txt文件格式并存儲(chǔ)在HDFS上，使用命令查看文件前2行，將執(zhí)行結(jié)果截圖粘貼至對應(yīng)報(bào)告中；OOGO0 01110 10010 10012、對dwd庫中dim_part獲取partkey、mfgr、brand、size、retailprice五個(gè)字段并進(jìn)行數(shù)據(jù)預(yù)處理，再進(jìn)行標(biāo)準(zhǔn)化并保存至dwd.fact_part_machine_data中,按照partkey進(jìn)行順序排序，然后在Linux的MySQL命令行中查詢出前5條數(shù)據(jù)，將SQL語句與執(zhí)行結(jié)果截圖粘貼至對應(yīng)報(bào)告中。字段類型中文含義備注partkeyDouble零件keymfgrDouble制造商brand