《大數(shù)據(jù)分析技術(shù)》課程標(biāo)準(zhǔn)

《大數(shù)據(jù)分析》課程標(biāo)準(zhǔn)一、課程基本信息課程名稱：大數(shù)據(jù)分析課程類型：專業(yè)技能核心課學(xué)時學(xué)分：48學(xué)時，3學(xué)分（其中：實踐24學(xué)時）適用專業(yè)：大數(shù)據(jù)二、課程定位本課程主要定位于分布式數(shù)據(jù)存儲、數(shù)據(jù)分析等崗位。它是從事大數(shù)據(jù)可視化展示的必備課程，在整個課程體系中有重要作用，本課程的前導(dǎo)課程是Linux操作系統(tǒng)、大數(shù)據(jù)環(huán)境搭建與運(yùn)維。后續(xù)課程：網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集、NoSQL數(shù)據(jù)庫技術(shù)及應(yīng)用。本教材主要以Hadoop生態(tài)體系為主線使用大數(shù)據(jù)離線項目貫穿詳細(xì)講解其各組件的功能和使用方法，包括Hadoop介紹、HDFS分布式文件系統(tǒng)、MapReduce計算框架、Hive數(shù)據(jù)倉庫工具、Sqoop數(shù)據(jù)遷移工具。全書知識點(diǎn)的講解由淺入深，內(nèi)容系統(tǒng)全面，使每一位讀者都能有所收獲，也保持了整本書的知識深度，可幫助開發(fā)人員快速實現(xiàn)大數(shù)據(jù)的離線分析。三、課程目標(biāo)（一）總體目標(biāo)通過學(xué)習(xí)本課程，需要掌握數(shù)據(jù)分析的常用方法及工具，掌握Hadoop生態(tài)體系中各組件的作用，掌握HDFS分布式文件系統(tǒng)的使用方法包括HDFSShell、Python操作HDFS等，掌握MapReduce數(shù)據(jù)清洗方法能夠?qū)崿F(xiàn)數(shù)據(jù)的清洗，掌握Hive數(shù)據(jù)庫的使用方法、掌握數(shù)據(jù)的導(dǎo)入導(dǎo)出操作、掌握SparkSQL實現(xiàn)數(shù)據(jù)分析方法、掌握使用Sqoop進(jìn)行數(shù)據(jù)的導(dǎo)入導(dǎo)出操作。（二）具體目標(biāo)1．知識目標(biāo)通過本課程的學(xué)習(xí)，掌握數(shù)據(jù)分布式存儲方法，掌握大數(shù)據(jù)清洗的程序編寫規(guī)則和編寫語法，掌握向集群提交任務(wù)的方法，掌握使用Hive進(jìn)行數(shù)據(jù)統(tǒng)計和存儲的方法，掌握數(shù)據(jù)的遷移操作。2．素質(zhì)目標(biāo)引導(dǎo)學(xué)生誠實、守信、認(rèn)真、嚴(yán)謹(jǐn)、踏實，具有較強(qiáng)的自信心、進(jìn)取心。在學(xué)習(xí)過程中具有與人際交往、溝通、團(tuán)隊協(xié)作和處理公共關(guān)系的能力。在完成項目過程中具有自學(xué)能力、獲取信息的能力，以及一定的組織、管理能力、具有敬業(yè)愛崗的職業(yè)意識和良好的職業(yè)道德意識。通過技能技術(shù)領(lǐng)域?qū)W習(xí)增強(qiáng)學(xué)生的民族自信心與自豪感，增強(qiáng)學(xué)生的愛國情懷、工匠精神，使學(xué)生明白他們是中國技術(shù)的未來的接班人，增強(qiáng)其不忘初心，砥礪前進(jìn)，為中國夢努力奮斗的使命感，增強(qiáng)對社會主義核心價值觀的理解，增強(qiáng)學(xué)生對國家發(fā)展的信心。教學(xué)內(nèi)容與要求（一）確定教學(xué)內(nèi)容的原則以學(xué)生為本由于數(shù)據(jù)分析方法及應(yīng)用是一門理論與實際相結(jié)合的課程，需要學(xué)生動手上機(jī)實操，在設(shè)計教學(xué)內(nèi)容時以操作為主，理論講解為輔，讓學(xué)生多動手操作實踐。啟發(fā)創(chuàng)造原則最大限度地調(diào)動學(xué)生學(xué)習(xí)的積極性和自覺性，激發(fā)他們的創(chuàng)造性思維，從而使學(xué)生在融會貫通地掌握知識和技能的同時，引導(dǎo)學(xué)生發(fā)揮想象，在實例的基礎(chǔ)上進(jìn)行個性化的創(chuàng)作，充分發(fā)展自己的創(chuàng)造性能力。聯(lián)系實際原則教學(xué)內(nèi)容必須要與實際相結(jié)合，讓學(xué)生感受到課程的真實性，從而提高學(xué)生學(xué)習(xí)的積極性，激發(fā)學(xué)生的學(xué)習(xí)興趣。（二）課程學(xué)時安排本課程基本教學(xué)學(xué)時為48學(xué)時，其中包括實踐學(xué)時24學(xué)時，當(dāng)教學(xué)計劃安排的學(xué)時超出本課程的學(xué)時范圍時，可根據(jù)就業(yè)面向的需要對超出部分的學(xué)時做適當(dāng)調(diào)整。（三）課程學(xué)習(xí)內(nèi)容設(shè)計與參考學(xué)時章節(jié)教學(xué)內(nèi)容教學(xué)內(nèi)容教學(xué)方法建議學(xué)時項目一初識電商產(chǎn)品數(shù)據(jù)的處理與分析任務(wù)一電商產(chǎn)品數(shù)據(jù)背景及數(shù)據(jù)分析概述技能點(diǎn)1電商產(chǎn)品數(shù)據(jù)背景技能點(diǎn)2大數(shù)據(jù)分析概念技能點(diǎn)3大數(shù)據(jù)分析應(yīng)用場景技能點(diǎn)4大數(shù)據(jù)分析指標(biāo)任務(wù)二電商產(chǎn)品數(shù)據(jù)處理與分析項目準(zhǔn)備技能點(diǎn)1大數(shù)據(jù)分析工具簡介技能點(diǎn)2大數(shù)據(jù)分析組件技能點(diǎn)3大數(shù)據(jù)分析流程技能點(diǎn)4大數(shù)據(jù)分析企業(yè)級應(yīng)用教學(xué)方法：互動提問，案例分析，視聽教學(xué)等理論4實踐4項目二電商產(chǎn)品數(shù)據(jù)分布式存儲任務(wù)一使用HDFSShell管理電商產(chǎn)品數(shù)據(jù)技能點(diǎn)1什么是HDFS技能點(diǎn)2HDFS存儲架構(gòu)技能點(diǎn)3HDFS文件存取機(jī)制技能點(diǎn)4HDFSShell基礎(chǔ)命令技能點(diǎn)6HDFSShell管理命令任務(wù)二使用hdfs庫管理電商產(chǎn)品數(shù)據(jù)技能點(diǎn)1hdfs庫簡介技能點(diǎn)2hdfs庫方法教學(xué)方法：互動提問，實操體驗，案例分析、操作等理論4實踐4項目三電商產(chǎn)品數(shù)據(jù)分布式處理任務(wù)一使用正則表達(dá)式匹配電商產(chǎn)品數(shù)據(jù)技能點(diǎn)1MapReduce簡介技能點(diǎn)2YARN簡介技能點(diǎn)3正則表達(dá)式任務(wù)二使用HadoopStreaming處理電商產(chǎn)品數(shù)據(jù)技能點(diǎn)1HadoopStreaming簡介技能點(diǎn)2HadoopStreaming使用教學(xué)方法：互動提問、視聽教學(xué)、案例講解、操作等理論4實踐4項目四電商產(chǎn)品數(shù)據(jù)離線分析任務(wù)一使用Hive創(chuàng)建電商產(chǎn)品數(shù)據(jù)庫技能點(diǎn)1Hive簡介技能點(diǎn)2Hive數(shù)據(jù)庫操作技能點(diǎn)3Hive表操作技能點(diǎn)4Hive數(shù)據(jù)操作任務(wù)二使用Hve對商產(chǎn)品數(shù)據(jù)統(tǒng)計技能點(diǎn)1算術(shù)運(yùn)算技能點(diǎn)2數(shù)據(jù)查詢?nèi)蝿?wù)三使用Spark創(chuàng)建基于電商產(chǎn)品數(shù)據(jù)的分布式數(shù)據(jù)容器技能點(diǎn)1SparkSQL簡介技能點(diǎn)2DataFrame簡介技能點(diǎn)3DataFrame創(chuàng)建任務(wù)四使用SparkSQL完成電商產(chǎn)品數(shù)據(jù)分析技能點(diǎn)1數(shù)據(jù)查看技能點(diǎn)2數(shù)據(jù)過濾技能點(diǎn)3數(shù)據(jù)處理技能點(diǎn)4數(shù)據(jù)存儲教學(xué)方法：互動提問、視聽教學(xué)、案例講解、操作等理論4實踐4項目五電商產(chǎn)品數(shù)據(jù)實時分析任務(wù)一創(chuàng)建數(shù)據(jù)流技能點(diǎn)1流式計算簡介技能點(diǎn)2SparkStreaming簡介技能點(diǎn)3DStream簡介技能點(diǎn)4DStream創(chuàng)建任務(wù)二使用SparkStreaming對電商產(chǎn)品數(shù)據(jù)實時分析技能點(diǎn)1DStream轉(zhuǎn)換操作技能點(diǎn)2DStream窗口操作技能點(diǎn)3DStream輸出操作技能點(diǎn)4SparkStreaming啟動與停止教學(xué)方法：互動提問、視聽教學(xué)、案例講解、操作等理論4實踐4項目六電商產(chǎn)品數(shù)據(jù)遷移任務(wù)一根據(jù)電商產(chǎn)品數(shù)據(jù)統(tǒng)計結(jié)果創(chuàng)建數(shù)據(jù)表并查看技能點(diǎn)1Sqoop簡介技能點(diǎn)2Sqoop連接器技能點(diǎn)3Sqoop配置數(shù)據(jù)庫密碼方式技能點(diǎn)4列出所有數(shù)據(jù)庫技能點(diǎn)5列出中的所有表任務(wù)二使用Sqoop將Hive中電商產(chǎn)品數(shù)據(jù)統(tǒng)計結(jié)果導(dǎo)出技能點(diǎn)1Sqoop數(shù)據(jù)導(dǎo)入與導(dǎo)出技能點(diǎn)2其他常用命令教學(xué)方法：互動提問，案例分析，視聽教學(xué)、操作等。理論4實踐4五、課程標(biāo)準(zhǔn)適用范圍適用于高職大數(shù)據(jù)技術(shù)專業(yè)。六、關(guān)于課程標(biāo)準(zhǔn)的說明本課程是校企合作開發(fā)課，是專業(yè)必修課程，也是專業(yè)核心課，在大數(shù)據(jù)課程體系中的占據(jù)重要位置，與Python程序設(shè)計、Linux操作系統(tǒng)及后續(xù)課程大數(shù)據(jù)應(yīng)用開發(fā)、分析、可視化起到了承上啟下的作用。課程時間分配表供參考，在保證達(dá)到教學(xué)要求的前提下，教學(xué)過程中可根據(jù)具體情況對內(nèi)容次序和課時分配做適當(dāng)?shù)恼{(diào)整。七、考核及成績評定方式（一）考核方式：考試（二）成績評定辦法成績評定構(gòu)成：單元測驗分?jǐn)?shù)/作業(yè)分?jǐn)?shù)*40%+實踐分?jǐn)?shù)*20%+期末考試分?jǐn)?shù)*40%＝總成績（100分）成績評定細(xì)則：單元測驗/作業(yè)：4課時一次測驗/作業(yè)，根據(jù)完成情況給予評價。實踐：完成實訓(xùn)/實驗指導(dǎo)書中規(guī)定的每個實訓(xùn)項目，根據(jù)實訓(xùn)/實驗報告給予評價。期末考試：理論考試，覆蓋各教學(xué)單元的基本技術(shù)原理及應(yīng)用，著重考察對重點(diǎn)教學(xué)內(nèi)容的綜合掌握情況。鼓勵將過程考核、實際能力考核、全面考核等理念貫徹到課程考核中來，重點(diǎn)著眼于科學(xué)全面地評價學(xué)生綜合素質(zhì)，強(qiáng)化知識應(yīng)用