《Spark大數(shù)據(jù)分析》課程教學(xué)大綱

《Spark大數(shù)據(jù)分析》課程教學(xué)大綱[課程編號(hào)]：[英文名稱(chēng)]：SparkBigDataAnalysis[課程性質(zhì)]：專(zhuān)業(yè)必修課（專(zhuān)業(yè)核心課）[先修課程]：Linux基礎(chǔ)、Python程序設(shè)計(jì)、大數(shù)據(jù)技術(shù)導(dǎo)論、數(shù)據(jù)庫(kù)技術(shù)[適用專(zhuān)業(yè)]：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)[學(xué)分?jǐn)?shù)]：2[總學(xué)時(shí)]：36[理論學(xué)時(shí)]：24[實(shí)踐學(xué)時(shí)]：12教材：Spark大數(shù)據(jù)分析技術(shù)曹潔清華大學(xué)出版社一、課程簡(jiǎn)介Spark是立足于內(nèi)存計(jì)算，是大數(shù)據(jù)系統(tǒng)領(lǐng)域的全棧式數(shù)據(jù)計(jì)算與分析平臺(tái)，在大數(shù)據(jù)分析與處理中被廣泛應(yīng)用。本課程主要介紹Spark大數(shù)據(jù)處理框架、SparkRDD編程、SparkSQL結(jié)構(gòu)化數(shù)據(jù)處理、HBase分布式數(shù)據(jù)庫(kù)、SparkStreaming流計(jì)算、SparkMLlib機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化等。通過(guò)本課程的學(xué)習(xí)，學(xué)生能夠深入理解Spark大數(shù)據(jù)處理技術(shù)框架的運(yùn)行機(jī)制、針對(duì)不同類(lèi)型數(shù)據(jù)的處理技巧和分析方法，提高大數(shù)據(jù)分析與處理能力。二、課程目標(biāo)1．通過(guò)學(xué)習(xí)本課程，達(dá)到以下目標(biāo)：（1）知識(shí)目標(biāo)：掌握扎實(shí)的大數(shù)據(jù)基礎(chǔ)知識(shí)和大數(shù)據(jù)開(kāi)發(fā)技術(shù)方法、工具和環(huán)境。（2）能力目標(biāo)：具備一定的大數(shù)據(jù)處理技術(shù)開(kāi)發(fā)能力，培養(yǎng)獨(dú)立思考和判斷、分析問(wèn)題和解決問(wèn)題以及較強(qiáng)的實(shí)踐動(dòng)手能力。（3）素質(zhì)目標(biāo)：培養(yǎng)學(xué)生勤奮踏實(shí)，適應(yīng)大數(shù)據(jù)行業(yè)快速發(fā)展的素質(zhì)，具備良好的大數(shù)據(jù)處理技術(shù)職業(yè)道德。2．課程目標(biāo)與畢業(yè)要求關(guān)系課程目標(biāo)畢業(yè)要求觀測(cè)點(diǎn)(1)(2)(3)4.1能夠融合軟件工程專(zhuān)業(yè)知識(shí)，應(yīng)用科學(xué)原理、采用科學(xué)方法，根據(jù)工程需要選擇研究路線，設(shè)計(jì)實(shí)驗(yàn)方案?！?2.1了解軟件行業(yè)的發(fā)展趨勢(shì)，能夠認(rèn)識(shí)到自主學(xué)習(xí)和終身學(xué)習(xí)的重要性?！?2.2能夠通過(guò)各種途徑收集、分析、歸納軟件工程相關(guān)信息，獲取新知識(shí)、新技術(shù)，能夠根據(jù)軟件技術(shù)和行業(yè)的發(fā)展需求進(jìn)行不斷學(xué)習(xí)?！倘?、課程內(nèi)容（一）理論課課程內(nèi)容課程章節(jié)知識(shí)點(diǎn)、重點(diǎn)、難點(diǎn)及課程思點(diǎn)教學(xué)組織形式1大數(shù)據(jù)技術(shù)概述2知識(shí)大數(shù)據(jù)的基本概念代表性大數(shù)據(jù)技術(shù)，大數(shù)據(jù)編程語(yǔ)言。重點(diǎn)：大數(shù)據(jù)的定義，大數(shù)據(jù)的特征，大數(shù)據(jù)思維，代表性大數(shù)據(jù)技術(shù)。難點(diǎn)：大數(shù)據(jù)的特征，大數(shù)據(jù)思維。課程思政點(diǎn)：三次信息化浪潮的啟示，信息化是當(dāng)今時(shí)代發(fā)展的大趨勢(shì)。課前線上預(yù)習(xí)、課堂講授、互動(dòng)討論2Spark框架及部署4知識(shí)Spark運(yùn)行機(jī)制，Spark的安裝及配置，在VirtualBox上安裝Linux集群，Hadoop的安裝與配置，Spark的安裝及配置，使用PySpark編寫(xiě)Python代碼，安裝pip工具和一些常用的數(shù)據(jù)分析庫(kù)，使用PySparkShell編寫(xiě)Python代碼，安裝Anaconda和配置JupyterNotebook。重點(diǎn)：Hadoop的安裝與配置，Spark的安裝及配置，安裝Anaconda和配置JupyterNotebook難點(diǎn)：Hadoop的安裝與配置，Spark的安裝及配置，安裝Anaconda和配置JupyterNotebook課程思政點(diǎn)：Spark誕生的啟示，人無(wú)完人，取人之長(zhǎng)、補(bǔ)己之短。課前線上預(yù)習(xí)、課堂講授、互動(dòng)討論、課后作業(yè)、單元測(cè)試3Spark的RDD4知識(shí)點(diǎn)：RDD創(chuàng)建的方式，RDD轉(zhuǎn)換操作，RDD行動(dòng)操作，RDD之間的依賴(lài)關(guān)系，RDD的持久化，案例實(shí)戰(zhàn)SparkRDD實(shí)現(xiàn)詞頻統(tǒng)計(jì)。重點(diǎn)：RDD創(chuàng)建的方式，RDD轉(zhuǎn)換操作，RDD行動(dòng)操作。難點(diǎn)RDD創(chuàng)建的方式，RDD轉(zhuǎn)換操作，RDD行動(dòng)操作。課程思政點(diǎn)：中國(guó)芯片之殤，如果一味依賴(lài)外國(guó)的產(chǎn)品，不能在芯片上實(shí)現(xiàn)獨(dú)立自主，國(guó)家安全和發(fā)展必將時(shí)刻處于威脅之下。課前線上預(yù)習(xí)、課堂講授、課堂演示、課后作業(yè)、單元測(cè)試。4SparkSQL3知識(shí)點(diǎn)：創(chuàng)建DataFrame對(duì)象的方式，將DataFrame保存為不同格式文件的方式，DataFrame的常用操作，使用SparkSQL讀寫(xiě)MySQL數(shù)據(jù)庫(kù)重點(diǎn)：DataFrame創(chuàng)建；DataFrame常用操作難點(diǎn)：DataFrame創(chuàng)建；DataFrame常用操作課程思政點(diǎn)：通過(guò)DataFrame的常用操作方法的講解，引導(dǎo)學(xué)生保持嚴(yán)謹(jǐn)?shù)墓そ尘瘢琅士茖W(xué)高峰!課前線上預(yù)習(xí)、課堂講授、課堂演示、課后作業(yè)、單元測(cè)試。5HBase分布式數(shù)據(jù)庫(kù)3知識(shí)點(diǎn)：HBase系統(tǒng)架構(gòu)和數(shù)據(jù)訪問(wèn)流程，HBase數(shù)據(jù)表，HBase安裝與配置，HBase的Shell操作，HBase的JavaAPI操作，HBase案例實(shí)戰(zhàn)和Python操作HBase。重點(diǎn)：HBase數(shù)據(jù)表，HBase的Shell操作，HBase的JavaAPI操作。難點(diǎn)：HBase數(shù)據(jù)表，HBase的Shell操作，HBase的JavaAPI操作。課程思政點(diǎn)：命令行模式中，一個(gè)空格的位置不正確就會(huì)導(dǎo)致結(jié)果不正確，引導(dǎo)學(xué)生養(yǎng)成嚴(yán)謹(jǐn)認(rèn)真的良好習(xí)慣。6SparkStreaming流計(jì)算2知識(shí)點(diǎn)：SparkStreaming工作原理，SparkStreaming編程模型，DStream創(chuàng)建和DStream操作。重點(diǎn)：Streaming編程模型，DStream創(chuàng)建和DStream操作。難點(diǎn)：DStream創(chuàng)建和DStream操作。課程思政點(diǎn)：引入“科技改變生活,創(chuàng)新引領(lǐng)未來(lái)”，逐步建立學(xué)生勇于創(chuàng)新與挑戰(zhàn)的意識(shí)。課前線上預(yù)習(xí)、課堂講授、課堂演示、課后作業(yè)、單元測(cè)試。7SparkMLlib機(jī)器學(xué)習(xí)4知識(shí)點(diǎn)：MLLib基本數(shù)據(jù)類(lèi)型，機(jī)器學(xué)習(xí)流水線，基本統(tǒng)計(jì)，特征提取、轉(zhuǎn)換和選擇，分類(lèi)算法，回歸算法，聚類(lèi)算法和協(xié)同過(guò)濾推薦算法。重點(diǎn)：MLLib基本數(shù)據(jù)類(lèi)型，機(jī)器學(xué)習(xí)流水線，基本統(tǒng)計(jì)，特征提取、轉(zhuǎn)換和選擇。難點(diǎn)機(jī)器學(xué)習(xí)流水線，基本統(tǒng)計(jì)，特征提取、轉(zhuǎn)換和選擇。課程思政點(diǎn)：分布式迭代中的大局觀課前線上預(yù)習(xí)、課堂講授、課堂演示、課后作業(yè)、單元測(cè)試。8數(shù)據(jù)可視化2知識(shí)點(diǎn)：WordCloud繪制詞云圖庫(kù)，PyeCharts數(shù)據(jù)可視化庫(kù)和Plotly數(shù)據(jù)可視化庫(kù)。重點(diǎn)：WordCloud繪制詞云圖庫(kù)，PyeCharts數(shù)據(jù)可視化庫(kù)和Plotly數(shù)據(jù)可視化庫(kù)。難點(diǎn)WordCloud繪制詞云圖庫(kù)，PyeCharts數(shù)據(jù)可視化庫(kù)和Plotly數(shù)據(jù)可視化庫(kù)。課程思政點(diǎn)：通過(guò)優(yōu)秀詩(shī)詞的可視化，引入文化自信。課前線上預(yù)習(xí)、課堂講授、課堂演示、課后作業(yè)（二）實(shí)驗(yàn)課課程內(nèi)容實(shí)驗(yàn)名稱(chēng)實(shí)驗(yàn)內(nèi)容教學(xué)組織形式1Hadoop的安裝與配置2驗(yàn)證性JDK，配置SSH免密碼登裝Haoo前習(xí)堂講授、案例教學(xué)2Spark的安裝與配置2驗(yàn)證性Spark應(yīng)用開(kāi)發(fā)環(huán)境配置，Spark程序調(diào)試。3RDD編程實(shí)戰(zhàn)2驗(yàn)證性Sprk