《大數(shù)據(jù)分析技術(shù)》課程標(biāo)準(zhǔn)

《大數(shù)據(jù)分析》課程標(biāo)準(zhǔn)一、課程基本信息課程名稱：大數(shù)據(jù)分析課程類型：專業(yè)技能核心課學(xué)時(shí)學(xué)分：48學(xué)時(shí)，3學(xué)分（其中：實(shí)踐24學(xué)時(shí)）適用專業(yè)：大數(shù)據(jù)二、課程定位本課程主要定位于分布式數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析等崗位。它是從事大數(shù)據(jù)可視化展示的必備課程，在整個(gè)課程體系中有重要作用，本課程的前導(dǎo)課程是Linux操作系統(tǒng)、大數(shù)據(jù)環(huán)境搭建與運(yùn)維。后續(xù)課程：網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集、NoSQL數(shù)據(jù)庫(kù)技術(shù)及應(yīng)用。本教材主要以Hadoop生態(tài)體系為主線使用大數(shù)據(jù)離線項(xiàng)目貫穿詳細(xì)講解其各組件的功能和使用方法，包括Hadoop介紹、HDFS分布式文件系統(tǒng)、MapReduce計(jì)算框架、Hive數(shù)據(jù)倉(cāng)庫(kù)工具、Sqoop數(shù)據(jù)遷移工具。全書知識(shí)點(diǎn)的講解由淺入深，內(nèi)容系統(tǒng)全面，使每一位讀者都能有所收獲，也保持了整本書的知識(shí)深度，可幫助開發(fā)人員快速實(shí)現(xiàn)大數(shù)據(jù)的離線分析。三、課程目標(biāo)（一）總體目標(biāo)通過學(xué)習(xí)本課程，需要掌握數(shù)據(jù)分析的常用方法及工具，掌握Hadoop生態(tài)體系中各組件的作用，掌握HDFS分布式文件系統(tǒng)的使用方法包括HDFSShell、Python操作HDFS等，掌握MapReduce數(shù)據(jù)清洗方法能夠?qū)崿F(xiàn)數(shù)據(jù)的清洗，掌握Hive數(shù)據(jù)庫(kù)的使用方法、掌握數(shù)據(jù)的導(dǎo)入導(dǎo)出操作、掌握SparkSQL實(shí)現(xiàn)數(shù)據(jù)分析方法、掌握使用Sqoop進(jìn)行數(shù)據(jù)的導(dǎo)入導(dǎo)出操作。（二）具體目標(biāo)1．知識(shí)目標(biāo)通過本課程的學(xué)習(xí)，掌握數(shù)據(jù)分布式存儲(chǔ)方法，掌握大數(shù)據(jù)清洗的程序編寫規(guī)則和編寫語(yǔ)法，掌握向集群提交任務(wù)的方法，掌握使用Hive進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和存儲(chǔ)的方法，掌握數(shù)據(jù)的遷移操作。2．素質(zhì)目標(biāo)引導(dǎo)學(xué)生誠(chéng)實(shí)、守信、認(rèn)真、嚴(yán)謹(jǐn)、踏實(shí)，具有較強(qiáng)的自信心、進(jìn)取心。在學(xué)習(xí)過程中具有與人際交往、溝通、團(tuán)隊(duì)協(xié)作和處理公共關(guān)系的能力。在完成項(xiàng)目過程中具有自學(xué)能力、獲取信息的能力，以及一定的組織、管理能力、具有敬業(yè)愛崗的職業(yè)意識(shí)和良好的職業(yè)道德意識(shí)。通過技能技術(shù)領(lǐng)域?qū)W習(xí)增強(qiáng)學(xué)生的民族自信心與自豪感，增強(qiáng)學(xué)生的愛國(guó)情懷、工匠精神，使學(xué)生明白他們是中國(guó)技術(shù)的未來(lái)的接班人，增強(qiáng)其不忘初心，砥礪前進(jìn)，為中國(guó)夢(mèng)努力奮斗的使命感，增強(qiáng)對(duì)社會(huì)主義核心價(jià)值觀的理解，增強(qiáng)學(xué)生對(duì)國(guó)家發(fā)展的信心。教學(xué)內(nèi)容與要求（一）確定教學(xué)內(nèi)容的原則以學(xué)生為本由于數(shù)據(jù)分析方法及應(yīng)用是一門理論與實(shí)際相結(jié)合的課程，需要學(xué)生動(dòng)手上機(jī)實(shí)操，在設(shè)計(jì)教學(xué)內(nèi)容時(shí)以操作為主，理論講解為輔，讓學(xué)生多動(dòng)手操作實(shí)踐。啟發(fā)創(chuàng)造原則最大限度地調(diào)動(dòng)學(xué)生學(xué)習(xí)的積極性和自覺性，激發(fā)他們的創(chuàng)造性思維，從而使學(xué)生在融會(huì)貫通地掌握知識(shí)和技能的同時(shí)，引導(dǎo)學(xué)生發(fā)揮想象，在實(shí)例的基礎(chǔ)上進(jìn)行個(gè)性化的創(chuàng)作，充分發(fā)展自己的創(chuàng)造性能力。聯(lián)系實(shí)際原則教學(xué)內(nèi)容必須要與實(shí)際相結(jié)合，讓學(xué)生感受到課程的真實(shí)性，從而提高學(xué)生學(xué)習(xí)的積極性，激發(fā)學(xué)生的學(xué)習(xí)興趣。（二）課程學(xué)時(shí)安排本課程基本教學(xué)學(xué)時(shí)為48學(xué)時(shí)，其中包括實(shí)踐學(xué)時(shí)24學(xué)時(shí)，當(dāng)教學(xué)計(jì)劃安排的學(xué)時(shí)超出本課程的學(xué)時(shí)范圍時(shí)，可根據(jù)就業(yè)面向的需要對(duì)超出部分的學(xué)時(shí)做適當(dāng)調(diào)整。（三）課程學(xué)習(xí)內(nèi)容設(shè)計(jì)與參考學(xué)時(shí)章節(jié)教學(xué)內(nèi)容教學(xué)內(nèi)容教學(xué)方法建議學(xué)時(shí)項(xiàng)目一初識(shí)電商產(chǎn)品數(shù)據(jù)的處理與分析任務(wù)一電商產(chǎn)品數(shù)據(jù)背景及數(shù)據(jù)分析概述技能點(diǎn)1電商產(chǎn)品數(shù)據(jù)背景技能點(diǎn)2大數(shù)據(jù)分析概念技能點(diǎn)3大數(shù)據(jù)分析應(yīng)用場(chǎng)景技能點(diǎn)4大數(shù)據(jù)分析指標(biāo)任務(wù)二電商產(chǎn)品數(shù)據(jù)處理與分析項(xiàng)目準(zhǔn)備技能點(diǎn)1大數(shù)據(jù)分析工具簡(jiǎn)介技能點(diǎn)2大數(shù)據(jù)分析組件技能點(diǎn)3大數(shù)據(jù)分析流程技能點(diǎn)4大數(shù)據(jù)分析企業(yè)級(jí)應(yīng)用教學(xué)方法：互動(dòng)提問，案例分析，視聽教學(xué)等理論4實(shí)踐4項(xiàng)目二電商產(chǎn)品數(shù)據(jù)分布式存儲(chǔ)任務(wù)一使用HDFSShell管理電商產(chǎn)品數(shù)據(jù)技能點(diǎn)1什么是HDFS技能點(diǎn)2HDFS存儲(chǔ)架構(gòu)技能點(diǎn)3HDFS文件存取機(jī)制技能點(diǎn)4HDFSShell基礎(chǔ)命令技能點(diǎn)6HDFSShell管理命令任務(wù)二使用hdfs庫(kù)管理電商產(chǎn)品數(shù)據(jù)技能點(diǎn)1hdfs庫(kù)簡(jiǎn)介技能點(diǎn)2hdfs庫(kù)方法教學(xué)方法：互動(dòng)提問，實(shí)操體驗(yàn)，案例分析、操作等理論4實(shí)踐4項(xiàng)目三電商產(chǎn)品數(shù)據(jù)分布式處理任務(wù)一使用正則表達(dá)式匹配電商產(chǎn)品數(shù)據(jù)技能點(diǎn)1MapReduce簡(jiǎn)介技能點(diǎn)2YARN簡(jiǎn)介技能點(diǎn)3正則表達(dá)式任務(wù)二使用HadoopStreaming處理電商產(chǎn)品數(shù)據(jù)技能點(diǎn)1HadoopStreaming簡(jiǎn)介技能點(diǎn)2HadoopStreaming使用教學(xué)方法：互動(dòng)提問、視聽教學(xué)、案例講解、操作等理論4實(shí)踐4項(xiàng)目四電商產(chǎn)品數(shù)據(jù)離線分析任務(wù)一使用Hive創(chuàng)建電商產(chǎn)品數(shù)據(jù)庫(kù)技能點(diǎn)1Hive簡(jiǎn)介技能點(diǎn)2Hive數(shù)據(jù)庫(kù)操作技能點(diǎn)3Hive表操作技能點(diǎn)4Hive數(shù)據(jù)操作任務(wù)二使用Hve對(duì)商產(chǎn)品數(shù)據(jù)統(tǒng)計(jì)技能點(diǎn)1算術(shù)運(yùn)算技能點(diǎn)2數(shù)據(jù)查詢?nèi)蝿?wù)三使用Spark創(chuàng)建基于電商產(chǎn)品數(shù)據(jù)的分布式數(shù)據(jù)容器技能點(diǎn)1SparkSQL簡(jiǎn)介技能點(diǎn)2DataFrame簡(jiǎn)介技能點(diǎn)3DataFrame創(chuàng)建任務(wù)四使用SparkSQL完成電商產(chǎn)品數(shù)據(jù)分析技能點(diǎn)1數(shù)據(jù)查看技能點(diǎn)2數(shù)據(jù)過濾技能點(diǎn)3數(shù)據(jù)處理技能點(diǎn)4數(shù)據(jù)存儲(chǔ)教學(xué)方法：互動(dòng)提問、視聽教學(xué)、案例講解、操作等理論4實(shí)踐4項(xiàng)目五電商產(chǎn)品數(shù)據(jù)實(shí)時(shí)分析任務(wù)一創(chuàng)建數(shù)據(jù)流技能點(diǎn)1流式計(jì)算簡(jiǎn)介技能點(diǎn)2SparkStreaming簡(jiǎn)介技能點(diǎn)3DStream簡(jiǎn)介技能點(diǎn)4DStream創(chuàng)建任務(wù)二使用SparkStreaming對(duì)電商產(chǎn)品數(shù)據(jù)實(shí)時(shí)分析技能點(diǎn)1DStream轉(zhuǎn)換操作技能點(diǎn)2DStream窗口操作技能點(diǎn)3DStream輸出操作技能點(diǎn)4SparkStreaming啟動(dòng)與停止教學(xué)方法：互動(dòng)提問、視聽教學(xué)、案例講解、操作等理論4實(shí)踐4項(xiàng)目六電商產(chǎn)品數(shù)據(jù)遷移任務(wù)一根據(jù)電商產(chǎn)品數(shù)據(jù)統(tǒng)計(jì)結(jié)果創(chuàng)建數(shù)據(jù)表并查看技能點(diǎn)1Sqoop簡(jiǎn)介技能點(diǎn)2Sqoop連接器技能點(diǎn)3Sqoop配置數(shù)據(jù)庫(kù)密碼方式技能點(diǎn)4列出所有數(shù)據(jù)庫(kù)技能點(diǎn)5列出中的所有表任務(wù)二使用Sqoop將Hive中電商產(chǎn)品數(shù)據(jù)統(tǒng)計(jì)結(jié)果導(dǎo)出技能點(diǎn)1Sqoop數(shù)據(jù)導(dǎo)入與導(dǎo)出技能點(diǎn)2其他常用命令教學(xué)方法：互動(dòng)提問，案例分析，視聽教學(xué)、操作等。理論4實(shí)踐4五、課程標(biāo)準(zhǔn)適用范圍適用于高職大數(shù)據(jù)技術(shù)專業(yè)。六、關(guān)于課程標(biāo)準(zhǔn)的說(shuō)明本課程是校企合作開發(fā)課，是專業(yè)必修課程，也是專業(yè)核心課，在大數(shù)據(jù)課程體系中的占據(jù)重要位置，與Python程序設(shè)計(jì)、Linux操作系統(tǒng)及后續(xù)課程大數(shù)據(jù)應(yīng)用開發(fā)、分析、可視化起到了承上啟下的作用。課程時(shí)間分配表供參考，在保證達(dá)到教學(xué)要求的前提下，教學(xué)過程中可根據(jù)具體情況對(duì)內(nèi)容次序和課時(shí)分配做適當(dāng)?shù)恼{(diào)整。七、考核及成績(jī)?cè)u(píng)定方式（一）考核方式：考試（二）成績(jī)?cè)u(píng)定辦法成績(jī)?cè)u(píng)定構(gòu)成：?jiǎn)卧獪y(cè)驗(yàn)分?jǐn)?shù)/作業(yè)分?jǐn)?shù)*40%+實(shí)踐分?jǐn)?shù)*20%+期末考試分?jǐn)?shù)*40%＝總成績(jī)（100分）成績(jī)?cè)u(píng)定細(xì)則：?jiǎn)卧獪y(cè)驗(yàn)/作業(yè)：4課時(shí)一次測(cè)驗(yàn)/作業(yè)，根據(jù)完成情況給予評(píng)價(jià)。實(shí)踐：完成實(shí)訓(xùn)/實(shí)驗(yàn)指導(dǎo)書中規(guī)定的每個(gè)實(shí)訓(xùn)項(xiàng)目，根據(jù)實(shí)訓(xùn)/實(shí)驗(yàn)報(bào)告給予評(píng)價(jià)。期末考試：理論考試，覆蓋各教學(xué)單元的基本技術(shù)原理及應(yīng)用，著重考察對(duì)重點(diǎn)教學(xué)內(nèi)容的綜合掌握情況。鼓勵(lì)將過程考核、實(shí)際能力考核、全面考核等理念貫徹到課程考核中來(lái)，重點(diǎn)著眼于科學(xué)全面地評(píng)價(jià)學(xué)生綜合素質(zhì)，強(qiáng)化知識(shí)應(yīng)用