《大數(shù)據(jù)技術(shù)與應(yīng)用》教案

gg大數(shù)據(jù)技術(shù)與應(yīng)用》教案3/193/19《大數(shù)據(jù)技術(shù)與應(yīng)用》教案20XX20XX學(xué)年第M學(xué)院（部）： 教研室（系）： 授課班級(jí)： 課程學(xué)分： 課程學(xué)時(shí)： 課程周學(xué)時(shí)： 使用教材：大數(shù)據(jù)技術(shù)與應(yīng)用-微視頻版章節(jié)名稱授課形式

1121章大數(shù)據(jù)概論掌握大數(shù)據(jù)分析的過(guò)程，技術(shù)及工具教學(xué)目的及掌握大數(shù)據(jù)分析的過(guò)程，技術(shù)及工具教學(xué)目的及要熟悉大數(shù)據(jù)的概念及特征求熟悉大數(shù)據(jù)的當(dāng)前應(yīng)用及前景發(fā)展大數(shù)據(jù)采集方式教學(xué)重點(diǎn)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)教學(xué)難點(diǎn)大數(shù)據(jù)特征的理解和大數(shù)據(jù)分析處理的過(guò)程大數(shù)據(jù)基本槪念大數(shù)據(jù)的特征教學(xué)內(nèi)容大數(shù)據(jù)的分析過(guò)程，涉及大數(shù)據(jù)的采集，存儲(chǔ)以及分析。大數(shù)據(jù)的具體應(yīng)用和大數(shù)據(jù)的發(fā)展前景1、教學(xué)方法：介紹/演示大數(shù)據(jù)的基本概念和特征示例說(shuō)明大數(shù)據(jù)的特征的類(lèi)型，加強(qiáng)概念的理解。教學(xué)方法與手段設(shè)計(jì) （3）示例說(shuō)明使用大數(shù)據(jù)分析過(guò)程的步驟以及各自的類(lèi)型（4）示例說(shuō)明大數(shù)據(jù)與人工智能的關(guān)系，以及大數(shù)據(jù)的發(fā)展應(yīng)用前景2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突出。（PPt課件）（1）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注：板書(shū)設(shè)計(jì)

涉及有關(guān)大數(shù)據(jù)的發(fā)展背景或前景可以學(xué)生討論回答PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。章節(jié)名稱2章大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)授課形式教學(xué)目的及要求理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□熟悉大數(shù)據(jù)集群概念及系統(tǒng)組成章節(jié)名稱2章大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)授課形式教學(xué)目的及要求理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□熟悉大數(shù)據(jù)集群概念及系統(tǒng)組成LinUX操作系統(tǒng)以及常用指令熟悉虛擬技術(shù)掌握大數(shù)據(jù)集群部署教學(xué)重點(diǎn)?用VMWareWOrkStatiOnXCentOS7、SeCUreCRT的安裝和使教學(xué)難點(diǎn)使用三臺(tái)服務(wù)器作為集群節(jié)點(diǎn)，部署網(wǎng)絡(luò)配這、安全配置、時(shí)間同步及實(shí)現(xiàn)登錄大數(shù)據(jù)集群系統(tǒng)的槪述及分類(lèi)，集群的目的?LinUX系統(tǒng)簡(jiǎn)介與特性LinUXLinUX常用命令，目錄操作，文件瀏覽查找以及歸檔，系統(tǒng)教學(xué)內(nèi)容類(lèi)，網(wǎng)絡(luò)類(lèi)，進(jìn)程類(lèi)等命令虛擬化技術(shù)簡(jiǎn)介、原理及優(yōu)勢(shì)劣勢(shì)VirtualBo×,VMWareWOrkStation,KVM等?CentOS大數(shù)據(jù)集群系統(tǒng)的組成，架構(gòu)操作實(shí)踐：大數(shù)據(jù)集群的部署思考題和作業(yè)1章課后習(xí)題實(shí)驗(yàn)內(nèi)容無(wú)章節(jié)名稱3HadOOP分布式系統(tǒng)授課形式章節(jié)名稱3HadOOP分布式系統(tǒng)授課形式理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□Hadoop系統(tǒng)及其優(yōu)點(diǎn)教學(xué)目的及要求Hadoop原理及運(yùn)行機(jī)制HadOOPHadOOPJaVaHadoop安裝與配置教學(xué)重點(diǎn)VMWareHadoop教學(xué)難點(diǎn)VMWareHadoop1、教學(xué)方法：（1）介紹大數(shù)據(jù)集群系統(tǒng)的原理，組成，架構(gòu)；教學(xué)方法與手段設(shè)計(jì)（2）LinUX系統(tǒng)命令行進(jìn)行集群的部署。2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突岀。（PPt課件）（1）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注：板書(shū)設(shè)計(jì)（2）涉及有關(guān)集群部署時(shí)，通過(guò)示例演示完成：（3）PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。思考題和作業(yè)2章課后習(xí)題實(shí)驗(yàn)內(nèi)容（1）完成課本實(shí)例集群的部署；（2）LinUX系統(tǒng)的命令行操作教學(xué)內(nèi)容

HadOOP系統(tǒng)的發(fā)展歷程及其優(yōu)點(diǎn)的介紹HadOOP原理的介紹HDFS,MaPRedUCe組件的介紹VMWareHadOOP運(yùn)行環(huán)境VMWareHadOOP在線幫助和相關(guān)資源1、教學(xué)方法：（1）介紹/Hadoop的運(yùn)行環(huán)境教學(xué)方法與手段設(shè)計(jì)

（2）VMWare2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突出。（PPt課件）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注：板書(shū)設(shè)計(jì)

Hadoop時(shí)，通過(guò)示例演示：PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。思考題和作業(yè)3章復(fù)習(xí)題：填空題&思考題實(shí)驗(yàn)內(nèi)容 熟悉HadOOP運(yùn)行環(huán)境章節(jié)名稱授課形式教學(xué)目的及要求教學(xué)重點(diǎn)?教學(xué)難點(diǎn) ?

442+24HDFS分布式文件系統(tǒng)理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□HDFS的常規(guī)操作ECliPSeHDFS的操作實(shí)踐HDFS的設(shè)計(jì)前提與目標(biāo)，及架構(gòu)組成ECliPSe進(jìn)行操作實(shí)踐HDFS的原理、數(shù)據(jù)讀寫(xiě)的原理ECliPSeHDFS進(jìn)行目錄創(chuàng)建刪除，列目錄以及文件的上傳下載HDFS的介紹HDFS的設(shè)計(jì)前提與目標(biāo)教學(xué)內(nèi)容

NamenOde和Datanode文件系統(tǒng)的名字空間數(shù)據(jù)復(fù)制，及英中的特性HDFS的讀寫(xiě)流程HDFS中Sheil及JaVaAPlECIiPSeHDFS的操作1、教學(xué)方法：（1）介紹/HDFS相關(guān)知識(shí)點(diǎn)；教學(xué)方法與手段設(shè)計(jì)

ECliPSeHDFS項(xiàng)目，及常規(guī)操作。2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突岀。章節(jié)名稱5MaPRedUCe分布式計(jì)算授課形式章節(jié)名稱5MaPRedUCe分布式計(jì)算授課形式理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□MaPRedUCe架構(gòu)，原理及工作機(jī)制教學(xué)目的及要求MaPRedUCeWOrdCOUnt編程實(shí)例MaPRedUCe倒排索引編程實(shí)例教學(xué)重點(diǎn)?MaPRedUCe的基本原理、架構(gòu)以及工作機(jī)制等知識(shí)內(nèi)容教學(xué)難點(diǎn)??MapReduceWOrdCOUnt編程實(shí)例；MapReduce倒排索引編程實(shí)例MaPRedUCe架構(gòu)和原理MaPRedUCe的工作機(jī)制教學(xué)內(nèi)容IDLEMaPRedUCeWOrdCOUnt實(shí)例IDLEMaPRedUCe倒排索引實(shí)例（PPt課件）（1）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注：板書(shū)設(shè)計(jì)（2）HDFS的創(chuàng)建及操作時(shí)，通過(guò)示例演示；（3）PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。思考題和作業(yè)4章習(xí)題：簡(jiǎn)答題實(shí)驗(yàn)內(nèi)容HDFS的應(yīng)用1、教學(xué)方法：1、教學(xué)方法：（1）MaPRedUCe架構(gòu)，原理及工作機(jī)制：（2）IDLEMaPRedUCe倒排教學(xué)方法與手段設(shè)計(jì)索引實(shí)例（3）IDLEMaPRedUCeWOrdCount實(shí)例2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突岀。（PPt課件）（1）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注：板書(shū)設(shè)計(jì)（2）MapReduce實(shí)例時(shí)，通過(guò)示例演示；（3）PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。思考題和作業(yè)5章復(fù)習(xí)題：填空題&思考題實(shí)驗(yàn)內(nèi)容MaPRedUCeWOrdCOUntMaPRedUCe倒排索引編程章節(jié)名稱授課形式

662+26HBaS分布式數(shù)據(jù)庫(kù)應(yīng)用理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□HBaSe的架構(gòu)及存儲(chǔ)教學(xué)目的及要求

HBaSe的集群部署，SheII操作，過(guò)濾器HBaSe編程HBaSe架構(gòu)與存儲(chǔ)的介紹HBaSe部署時(shí)，參數(shù)配置，運(yùn)行與測(cè)試教學(xué)重點(diǎn)教學(xué)難點(diǎn)

HBaSeSheIl操作命令HBaSe的各種過(guò)濾器HBaSe的表編程及過(guò)濾查詢編程HBaSeSheIl各種操作命令HBaSe相關(guān)過(guò)濾器HBaSe的編程HBaSe簡(jiǎn)介，包括架構(gòu)與存儲(chǔ)教學(xué)內(nèi)容

HBaSeHBaSe參數(shù)配置HBaSe運(yùn)行與測(cè)試HBaSe的general操作，namespace操作，DDL操作以及授權(quán)HBaSe過(guò)濾器，包括行，列，列名，值，前綴，列前綴，行鍵，首次行鍵，單列值，單列排除，包含結(jié)束，列計(jì)數(shù)等。HBaSeJaVaAPI,實(shí)現(xiàn)表的創(chuàng)建刪除，數(shù)據(jù)查詢等HBaSe提供的過(guò)濾類(lèi)進(jìn)行査詢1、教學(xué)方法：（1）HBaSeHBaSe的配宜及相關(guān)操作：教學(xué)方法與手段設(shè)計(jì)（2）HBaSeSheIl操作命令，過(guò)濾器及編程。2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突出。（PPt課件）（1）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注：板書(shū)設(shè)計(jì)（2）HBaSe代碼時(shí)，通過(guò)示例描述：（3）PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。思考題和作業(yè)6章習(xí)題：簡(jiǎn)答題&實(shí)踐題HBaSeSheIlH實(shí)驗(yàn)內(nèi)容BaSe的使用。章節(jié)名稱授課形式教學(xué)目的及要求

772+27YARN資源分配理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□了解統(tǒng)一資源調(diào)度平臺(tái)YARN架構(gòu)及其工作流程YARN的基本原理、架構(gòu)及其工作流程教學(xué)重點(diǎn) ?YARNSheIl實(shí)例操作教學(xué)難點(diǎn)

YARNShell實(shí)例的命令及其操作統(tǒng)一資源管理和調(diào)度平臺(tái)介紹YARN的優(yōu)勢(shì)對(duì)比教學(xué)內(nèi)容 ?YARN架構(gòu)及工作流程YARNShell實(shí)例的具體操作1、教學(xué)方法：介紹統(tǒng)一資源管理和調(diào)度平臺(tái)：教學(xué)方法與手

YARNYARN的架構(gòu)和工作流程，介紹段設(shè)計(jì) YARN的優(yōu)勢(shì)，具體操作YARNSheIl實(shí)例。2、輔助手段：多媒體演示。3PPt課件)以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注：板書(shū)設(shè)計(jì)

YARNSheIl實(shí)例的具體命令和操作，通過(guò)示例演示；PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。章節(jié)名稱授課形式

882+28SPark集群計(jì)算理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□SPark的生態(tài)系統(tǒng)及架構(gòu)教學(xué)目的及要求

熟悉SParkRDDSPark集群部署及應(yīng)用案例SParkRDD工作流程思考題和作業(yè)7章復(fù)習(xí)題：填空題&思考題思考題和作業(yè)7章復(fù)習(xí)題：填空題&思考題實(shí)驗(yàn)內(nèi)容YARNSheIl實(shí)例的操作教學(xué)難點(diǎn) ? SPark編程應(yīng)用，SPark算法實(shí)現(xiàn)Spark及其特性SPark生態(tài)系統(tǒng)的組成及應(yīng)用框架RDDs,作業(yè)調(diào)度，內(nèi)存管理，檢査點(diǎn)支持SPark集群部署所需軟件包并解壓教學(xué)內(nèi)容 ?完成參數(shù)配置及運(yùn)行SPark交互RDD的轉(zhuǎn)化操作，行動(dòng)操作PairRDD的轉(zhuǎn)化操作，行動(dòng)操作RDD的其他操作1、教學(xué)方法：（1）1、教學(xué)方法：（1）SParkRDD；（2）PythOnRDD的相關(guān)操作。教學(xué)方法與手段設(shè)計(jì)（3）PythOnSParkW法實(shí)例。2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突岀。（PPt課件）（1）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注；板書(shū)設(shè)計(jì)（2）RDDSpark算法時(shí)，通過(guò)示例描述：（3）PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。思考題和作業(yè)8章習(xí)題：簡(jiǎn)答題&實(shí)踐題8-1?8-50PythOn進(jìn)實(shí)驗(yàn)內(nèi)容RDD相關(guān)操作章節(jié)名稱9SPark機(jī)器學(xué)習(xí)章節(jié)名稱9SPark機(jī)器學(xué)習(xí)授課形式理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□SParkMLlibLOCalVeCtOr數(shù)據(jù)類(lèi)型（本地向雖:）、教學(xué)目的及要求LabeIedPOint類(lèi)型（標(biāo)簽向量）、LOCalmatrix數(shù)拯類(lèi)型（本地矩陣）、ROWMatriX類(lèi)型（分布式矩陣）、IndeXedRoWMatriX類(lèi)型、COOrdinateMatrix類(lèi)型、BIOCkMatriX類(lèi)型DataFrameAPlRDDAPl的基本統(tǒng)計(jì)SParkMLIib的LOCalVeCtOr數(shù)據(jù)類(lèi)型（本地向量）、LabeledPOint類(lèi)型（標(biāo)簽向量）、LOCalmatrix數(shù)據(jù)類(lèi)型（本地矩陣）、R教學(xué)重點(diǎn) OWMatriX類(lèi)型（分布式矩陣）、IndeXedRoWMatriX類(lèi)型、nateMatrix類(lèi)型、BlOCkMatriX類(lèi)型DataFrameAPlRDDAPI體步驟比較Spark實(shí)例中的聚類(lèi)問(wèn)題和隨機(jī)森林問(wèn)題K-MeanS算法教學(xué)難點(diǎn) ?分析鶯尾花數(shù)據(jù)，學(xué)習(xí)隨機(jī)森林算法，掌握數(shù)據(jù)集的訓(xùn)練、評(píng)與預(yù)測(cè)方法SParkMLIib數(shù)據(jù)類(lèi)型槪述LOCalVeCtOr數(shù)據(jù)類(lèi)型（本地向量）LabeledPOint類(lèi)型（標(biāo)簽向量）LOCalmatrix數(shù)據(jù)類(lèi)型（本地矩陣）教學(xué)內(nèi)容

ROWMatriX類(lèi)型（分布式矩陣）IndeXedROWMatriX類(lèi)型COOrdinateMatriX類(lèi)型BIOCkMatriX類(lèi)型DataFrameAPIRDDAPI的基本統(tǒng)計(jì)比較聚類(lèi)問(wèn)題和隨機(jī)森林問(wèn)題的實(shí)例操作1、教學(xué)方法：1、教學(xué)方法：通過(guò)示例說(shuō)明常用內(nèi)置數(shù)據(jù)類(lèi)型的泄義、聲明和使用。教學(xué)方法與手段設(shè)計(jì)2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突岀。（PPt課件）（1）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注：板書(shū)設(shè)計(jì)（2）涉及有關(guān)常用數(shù)據(jù)類(lèi)型的使用以及聚類(lèi)問(wèn)題和隨機(jī)森林問(wèn)題，通過(guò)示例描述：（3）PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。思考題和作業(yè)9章復(fù)習(xí)題：填空題&思考題求HiVe編程?HiVe原理及數(shù)據(jù)處理教學(xué)重點(diǎn)求HiVe編程?HiVe原理及數(shù)據(jù)處理教學(xué)重點(diǎn)HiVe的數(shù)據(jù)類(lèi)型和文件格式教學(xué)難點(diǎn)?HiVe實(shí)例，如表、數(shù)據(jù)的命令應(yīng)用章節(jié)名稱IOHiVe數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用授課形式理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□HiVe的數(shù)據(jù)類(lèi)型和文件格式教學(xué)目的及要熟悉數(shù)據(jù)定義，數(shù)據(jù)操作以及數(shù)據(jù)查詢HiVe組成模塊，執(zhí)行流程概述MetaStOre存儲(chǔ)模式教學(xué)內(nèi)容教學(xué)方法與手

Hive,配置參數(shù)并運(yùn)行測(cè)試HiVeBeeline了解基本數(shù)據(jù)類(lèi)型與文件格式數(shù)據(jù)的定義，操作，查詢HiVe編程1、教學(xué)方法：（L）HiVe運(yùn)行環(huán)境，數(shù)據(jù)類(lèi)型和文件格式；HiVe進(jìn)行數(shù)據(jù)相關(guān)操作。段設(shè)計(jì) （3）示例說(shuō)明HiVe中，JDBC函數(shù)應(yīng)用及相關(guān)實(shí)例。2、輔助手段：多媒體演示。3、對(duì)于重點(diǎn)和難點(diǎn)，通過(guò)例題討論講解、師生互動(dòng)、作業(yè)等來(lái)突岀。（PPt課件）（1）以文字描述為主，要點(diǎn)及關(guān)鍵詞用不同顏色標(biāo)注；板書(shū)設(shè)計(jì)

HiVe數(shù)據(jù)操作及編程時(shí)，通過(guò)示例描述：PPt的播放做到適時(shí)呈現(xiàn)、對(duì)過(guò)程有動(dòng)態(tài)演示。思考題和作業(yè)10章習(xí)題：簡(jiǎn)答題&實(shí)踐題實(shí)驗(yàn)內(nèi)容 完成課本中的實(shí)例，熟悉HiVe的使用11112+2章節(jié)名稱授課形式教學(xué)目的及要

ZOOKeePer協(xié)調(diào)服務(wù)理論課■案例討論課□實(shí)驗(yàn)課■習(xí)題課□其他□ZOOKeePerZAB及數(shù)拯模型，集群部署的過(guò)程和配置ZOOKeePer在HadOOPYARNHA、SParkHA和HiV求 eHA的應(yīng)用及配置方法ZOOKeePer在單節(jié)點(diǎn)故障的解決辦法ZOOKeePer基本的讀寫(xiě)操作編程案例實(shí)現(xiàn)教學(xué)重點(diǎn)

ZOoKeePer的特性及其應(yīng)用

ZOOKeePer集群的操作編程ZOOKeePer的數(shù)據(jù)模型和事件監(jiān)聽(tīng)器的工作機(jī)制ZOOKeePer集群部署的操作及相關(guān)基本命令了解ZOOKeePer在Hadoop,HBas