《Hadoop大數(shù)據(jù)原理與應(yīng)用》教學(xué)大綱

西京學(xué)院《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程教學(xué)大綱課程基本信息（一）課程中文名稱：大數(shù)據(jù)技術(shù)原理及應(yīng)用代碼：00000410124（二）課程英文名稱：PrinciplesandApplicationsofBigDataTechnology（三）課程性質(zhì)：專業(yè)必修課程（四）課程學(xué)分：3學(xué)分（理論2學(xué)分實(shí)驗(yàn)1學(xué)分）（五）適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)，計(jì)算機(jī)科學(xué)與技術(shù)（六）開課單位：計(jì)算機(jī)學(xué)院課程教學(xué)目標(biāo)（一）課程定位《大數(shù)據(jù)技術(shù)原理及應(yīng)用》是學(xué)習(xí)大數(shù)據(jù)技術(shù)的入門課程，是計(jì)算機(jī)科學(xué)與技術(shù)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)等專業(yè)的一門學(xué)科基礎(chǔ)與專業(yè)核心課程。該課程著重講述大數(shù)據(jù)技術(shù)的知識(shí)體系，闡明其基本原理，引導(dǎo)學(xué)生進(jìn)行初級(jí)實(shí)踐和了解相關(guān)應(yīng)用，培養(yǎng)學(xué)生運(yùn)用大數(shù)據(jù)平臺(tái)搭建、數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)遷移、大數(shù)據(jù)存儲(chǔ)與管理、大數(shù)據(jù)處理與分析、數(shù)據(jù)可視化等方法和技術(shù)工具完成大數(shù)據(jù)應(yīng)用的能力，在整個(gè)大數(shù)據(jù)課程體系中起著承前啟后重要作用。該課程由理論教學(xué)和實(shí)驗(yàn)教學(xué)兩個(gè)部分組成，其先修課程包括面向?qū)ο蟪绦蛟O(shè)計(jì)、Python語(yǔ)言程序設(shè)計(jì)、操作系統(tǒng)、數(shù)據(jù)庫(kù)原理，后續(xù)課程包括數(shù)據(jù)采集與預(yù)處理、大數(shù)據(jù)存儲(chǔ)與管理技術(shù)、數(shù)據(jù)挖掘、大數(shù)據(jù)開發(fā)技術(shù)、大數(shù)據(jù)高級(jí)編程、數(shù)據(jù)可視化技術(shù)。（二）課程目標(biāo)《大數(shù)據(jù)技術(shù)原理及應(yīng)用》圍繞“構(gòu)建知識(shí)體系、闡明基本原理、引導(dǎo)初級(jí)實(shí)踐、了解相關(guān)應(yīng)用”的指導(dǎo)思想，著重講述大數(shù)據(jù)技術(shù)的基本原理、基本方法、技術(shù)工具和相關(guān)應(yīng)用，幫助學(xué)生構(gòu)建完整的大數(shù)據(jù)技術(shù)知識(shí)體系，使學(xué)生了解大數(shù)據(jù)技術(shù)在行業(yè)領(lǐng)域中的最新發(fā)展趨勢(shì)和前沿知識(shí)，熟悉大數(shù)據(jù)應(yīng)用的整個(gè)生命周期，能夠熟練使用Hadoop等主流大數(shù)據(jù)平臺(tái)及其生態(tài)系統(tǒng)中的技術(shù)工具完成基本的大數(shù)據(jù)應(yīng)用閉環(huán)操作，達(dá)到知行合一、以用促學(xué)的目的。知識(shí)目標(biāo)：1.理解大數(shù)據(jù)基本概念，了解大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能的關(guān)系，了解當(dāng)前大數(shù)據(jù)的崗位及需求、學(xué)習(xí)路線；2.認(rèn)識(shí)大數(shù)據(jù)處理平臺(tái)Hadoop，熟練掌握全分布模式Hadoop集群的部署基本過程；3.理解分布式文件系統(tǒng)HDFS的體系架構(gòu)、文件存儲(chǔ)機(jī)制和數(shù)據(jù)讀寫過程，熟練掌握HDFSWebUI的使用、HDFSShell常用命令的使用和HDFS編程；4.理解分布式計(jì)算框架MapReduce的編程思想和作業(yè)執(zhí)行流程，掌握MapReduce簡(jiǎn)單編程，了解當(dāng)前其他主流的大數(shù)據(jù)計(jì)算框架如Spark、Storm、Flink等；5.理解YARN體系架構(gòu)和工作原理，掌握YARNWebUI、YARNShell的基本使用，了解ResourceManager高可用機(jī)制的原理與配置，了解HDFSNameNode高可用機(jī)制、HDFSNameNodeFederation、HDFSSnapshots；6.理解分布式協(xié)調(diào)框架ZooKeeper的執(zhí)行原理和應(yīng)用場(chǎng)景，掌握Z(yǔ)ooKeeper集群的部署和ZooKeeperShell常用命令的使用；7.理解NoSQL數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別，分布式數(shù)據(jù)庫(kù)HBase的數(shù)據(jù)模型、體系架構(gòu)和運(yùn)行機(jī)制，熟練掌握HBase集群的部署、HBaseShell常用命令的使用；8.理解Hive的體系架構(gòu)和執(zhí)行流程，掌握Hive的部署和連接方式，熟練掌握Hive基本操作包括HiveDDL、HiveDML的書寫和HiveShell命令的使用；9.理解數(shù)據(jù)遷移框架Sqoop、日志采集系統(tǒng)Flume、分布式發(fā)布/訂閱消息系統(tǒng)Kafka的作用、架構(gòu)和工作原理，掌握Sqoop、Flume、Kafka的部署和使用；10.了解數(shù)據(jù)可視化的概念、作用和過程，理解常用的數(shù)據(jù)可視化圖形，了解當(dāng)前主流的數(shù)據(jù)可視化工具。能力目標(biāo)：培養(yǎng)學(xué)生學(xué)以致用，能夠綜合利用Hadoop大數(shù)據(jù)平臺(tái)及其生態(tài)中各個(gè)工具解決實(shí)際大數(shù)據(jù)應(yīng)用方面的基本問題，提高學(xué)生閱讀外文科技文獻(xiàn)能力，增強(qiáng)學(xué)生發(fā)現(xiàn)問題、分析問題、解決問題能力，與學(xué)科競(jìng)賽和項(xiàng)目緊密結(jié)合，穩(wěn)步培養(yǎng)和提高學(xué)生的動(dòng)手實(shí)踐能力、自主創(chuàng)新能力、團(tuán)隊(duì)協(xié)作能力、寫作表達(dá)能力。情感目標(biāo)：通過對(duì)我國(guó)大數(shù)據(jù)技術(shù)、傳統(tǒng)優(yōu)秀文化的介紹，增強(qiáng)學(xué)生的民族自豪感，提升學(xué)生的愛國(guó)主義精神，增強(qiáng)文化自信；將專業(yè)知識(shí)與服務(wù)社會(huì)相結(jié)合，培養(yǎng)學(xué)生的社會(huì)責(zé)任感，樹立正確三觀，使學(xué)生更為深刻的理解專業(yè)內(nèi)涵，提高學(xué)習(xí)內(nèi)驅(qū)力，培養(yǎng)科學(xué)素養(yǎng)，內(nèi)化為道德準(zhǔn)則、科學(xué)思維和行為規(guī)范。課程教學(xué)內(nèi)容1.理論教學(xué)第一章大數(shù)據(jù)概述內(nèi)容與目標(biāo)：理解大數(shù)據(jù)的內(nèi)涵與特征；了解大數(shù)據(jù)的影響、應(yīng)用、關(guān)鍵技術(shù)；了解大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能的關(guān)系；了解當(dāng)前大數(shù)據(jù)的崗位及需求、學(xué)習(xí)路線。1.1大數(shù)據(jù)內(nèi)涵與特征1.2大數(shù)據(jù)影響1.4大數(shù)據(jù)應(yīng)用1.5大數(shù)據(jù)關(guān)鍵技術(shù)1.6大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能的關(guān)系1.7大數(shù)據(jù)崗位介紹1.8大數(shù)據(jù)學(xué)習(xí)路線圖重點(diǎn)難點(diǎn)：重點(diǎn)為理解大數(shù)據(jù)的內(nèi)涵和特征。學(xué)習(xí)要求：課后借閱書籍《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》。思考題（案例）：大數(shù)據(jù)對(duì)思維方式的影響。作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后查閱資料，預(yù)習(xí)大數(shù)據(jù)處理平臺(tái)Hadoop。課程思政：（1）新冠疫情對(duì)人們生產(chǎn)、生活造成很大的影響，疫情期間各部門用大數(shù)據(jù)工具開展疫情篩查、軌跡分析、數(shù)據(jù)統(tǒng)計(jì)等一系列工作，大數(shù)據(jù)分析在疫情態(tài)勢(shì)研判、疫情防控部署等任務(wù)中發(fā)揮了重要的作用?？山M織學(xué)生結(jié)合自身感受和體驗(yàn)，討論大數(shù)據(jù)在疫情控制中還能發(fā)揮哪些作用？還有哪些環(huán)節(jié)可以做得更好？進(jìn)而引申出問題，面對(duì)疫情應(yīng)該怎么做？培養(yǎng)學(xué)生數(shù)據(jù)思維、辯證思維、創(chuàng)新思維等能力，鼓勵(lì)學(xué)生專業(yè)學(xué)習(xí)與服務(wù)社會(huì)相結(jié)合。（2）由大數(shù)據(jù)時(shí)代引入中國(guó)古代大數(shù)據(jù)，推薦閱讀王建編寫的《易經(jīng)：中國(guó)古代的大數(shù)據(jù)》，增強(qiáng)學(xué)生對(duì)我國(guó)古代燦爛文明的自豪感，堅(jiān)定文化自信；另外，由三次信息化浪潮引入數(shù)“數(shù)字中國(guó)”戰(zhàn)略及取得成就，引導(dǎo)學(xué)生深刻認(rèn)識(shí)數(shù)據(jù)資源蘊(yùn)含的巨大能量，為國(guó)家高質(zhì)量發(fā)展貢獻(xiàn)力量，培養(yǎng)學(xué)生愛國(guó)主義精神。（3）由大數(shù)據(jù)思維引入“我為人人、人人為我”，引導(dǎo)學(xué)生培育助人為樂的精神、奉獻(xiàn)社會(huì)的責(zé)任感，培養(yǎng)學(xué)生踐行社會(huì)主義核心價(jià)值觀中的“和諧”。（4）由大數(shù)據(jù)安全引入社會(huì)主義核心價(jià)值觀“法治”，通過案例提高學(xué)生對(duì)信息安全的認(rèn)知，培養(yǎng)學(xué)生的信息安全意識(shí)和國(guó)家信息安全意識(shí)。第二章初識(shí)Hadoop內(nèi)容與目標(biāo)：了解大數(shù)據(jù)處理平臺(tái)Hadoop的來源、發(fā)展史、應(yīng)用、版本、生態(tài)系統(tǒng)；理解Hadoop的體系架構(gòu)、運(yùn)行模式；熟練掌握全分布模式Hadoop集群的部署基本過程。2.1Hadoop概述2.2Hadoop生態(tài)系統(tǒng)2.3Hadoop體系架構(gòu)2.4Hadoop應(yīng)用現(xiàn)狀2.5部署Hadoop重點(diǎn)難點(diǎn)：重點(diǎn)為理解Hadoop的體系架構(gòu)、運(yùn)行模式；難點(diǎn)為熟練掌握全分布模式Hadoop集群的部署。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)大數(shù)據(jù)處理平臺(tái)Hadoop；課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐部署Hadoop。思考題（案例）：部署Hadoop單機(jī)模式、偽分布模式、全分布模式的異同點(diǎn)。作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐部署Hadoop。（3）課后查閱資料，試讀Google論文《TheGoogleFileSystem》，預(yù)習(xí)分布式文件系統(tǒng)HDFS。課程思政：（1）介紹Hadoop發(fā)展史，學(xué)習(xí)前輩們刻苦鉆研、攻堅(jiān)克難的科學(xué)素養(yǎng)。（2）將唯物辯證法中整體與局部思想融入Hadoop設(shè)計(jì)原理講述中，Hadoop版本選擇可以和“具體問題具體分析”思想融合。（3）部署Hadoop實(shí)驗(yàn)部分則可以培養(yǎng)學(xué)生的自學(xué)能力和實(shí)踐能力，將提高學(xué)生科學(xué)素養(yǎng)滲透到實(shí)驗(yàn)中。第三章分布式文件系統(tǒng)HDFS內(nèi)容與目標(biāo)：了解HDFS的來源、功能、優(yōu)缺點(diǎn)；理解HDFS的體系架構(gòu)、文件存儲(chǔ)機(jī)制和數(shù)據(jù)讀寫過程；熟練掌握HDFSWebUI、HDFSShell常用命令的使用；掌握HDFS常用JavaAPI的編程。3.1HDFS簡(jiǎn)介3.2HDFS體系架構(gòu)3.3HDFS文件存儲(chǔ)機(jī)制3.4HDFS數(shù)據(jù)讀寫過程3.5實(shí)戰(zhàn)HDFS3.5.1HDFSWebUI3.5.2HDFSShell3.5.3HDFSJavaAPI編程3.6HDFS高可靠機(jī)制重點(diǎn)難點(diǎn)：重點(diǎn)為理解HDFS的體系架構(gòu)、文件存儲(chǔ)機(jī)制和數(shù)據(jù)讀寫過程，熟練掌握HDFSWebUI、HDFSShell常用命令的使用，掌握HDFS常用JavaAPI的編程；難點(diǎn)為理解HDFS的文件存儲(chǔ)機(jī)制，掌握HDFS常用JavaAPI的編程。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)Hadoop分布式文件系統(tǒng)HDFS；課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐HDFSWebUI的基本使用，HDFSShell常用命令的使用，HDFS常用JavaAPI的編程。思考題（案例）：分布式文件系統(tǒng)的設(shè)計(jì)需求和設(shè)計(jì)目標(biāo)。作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐HDFSWebUI、HDFSShell、HDFSJavaAPI。（3）課后查閱資料，試讀Google論文《MapReduce:SimplifiedDataProcessingonLargeClusters》，預(yù)習(xí)分布式計(jì)算框架MapReduce。課程思政：（1）由HDFS的優(yōu)缺點(diǎn)引入唯物辯證法中“矛盾是對(duì)立統(tǒng)一的”，因引入中國(guó)優(yōu)秀傳統(tǒng)文化《呂氏春秋·用眾》：“物固莫不有長(zhǎng)；莫不有短；人亦然。故善學(xué)者假人之長(zhǎng)補(bǔ)其短?！迸囵B(yǎng)學(xué)生要樹立終身學(xué)習(xí)的意識(shí)，取長(zhǎng)補(bǔ)短，不斷完善自我、超越自我。（2）由HDFS單點(diǎn)故障問題引入“主次矛盾思維——瓶頸法”，培養(yǎng)學(xué)生的科學(xué)素養(yǎng)。第四章分布式計(jì)算框架MapReduce內(nèi)容與目標(biāo)：了解MapReduce的來源；理解MapReduce計(jì)算框架思想、MapReduce1.0體系架構(gòu)；深刻理解MapReduce作業(yè)的執(zhí)行流程；理解MapReduce的數(shù)據(jù)類型；了解MapReduceWebUI、MapReduceShell的基本使用；掌握MapReduce簡(jiǎn)單編程；了解當(dāng)前其他主流的大數(shù)據(jù)計(jì)算框架如內(nèi)存計(jì)算框架Spark的生態(tài)系統(tǒng)、體系架構(gòu)、部署方式，以及如流計(jì)算框架Storm、Flink等的設(shè)計(jì)思想、體系架構(gòu)等。4.1MapReduce簡(jiǎn)介4.2第一個(gè)MapReduce案例：WordCount4.3MapReduce作業(yè)執(zhí)行流程4.4MapReduce數(shù)據(jù)類型與格式4.5Shuffle機(jī)制4.6在MapReduce中自定義組件4.7實(shí)戰(zhàn)MapReduce4.7.1MapReduceWebUI4.7.2MapReduceShell4.7.3MapReduceJavaAPI編程4.8MapReduce調(diào)優(yōu)4.9其它主流計(jì)算框架重點(diǎn)難點(diǎn)：重點(diǎn)為理解MapReduce計(jì)算框架思想、MapReduce1.0體系架構(gòu)，深刻理解MapReduce作業(yè)的執(zhí)行流程，掌握MapReduce基本編程；難點(diǎn)為深刻理解MapReduce作業(yè)的執(zhí)行流程，掌握MapReduce基本編程。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)Hadoop分布式計(jì)算框架MapReduce；課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐MapReduceWebUI、MapReduceShell的基本使用，MapReduce基本編程。思考題（案例）：MapReduce可用于對(duì)數(shù)據(jù)進(jìn)行排序，一種想法是利用MapReduce的自動(dòng)排序功能，即默認(rèn)情況下，Reduce的輸出結(jié)果是有序的，則可以只使用一個(gè)Reducer來對(duì)數(shù)據(jù)進(jìn)行處理、輸出，則結(jié)果就是有序的了。但這樣的排序過程無法充分利用MapReduce的分布式優(yōu)點(diǎn)。試設(shè)計(jì)一個(gè)基于MapReduce的排序算法，假設(shè)數(shù)據(jù)均位于[1,100]，Reducer數(shù)量為4，升序輸出或降序輸出均可。作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐MapReduceWebUI、MapReduceShell，并嘗試簡(jiǎn)單的MapReduce編程。（3）課后查閱資料，預(yù)習(xí)Hadoop新特性，包括YARN新特性和HDFS新特性。課程思政：由MapReduce設(shè)計(jì)思想“分而治之”，引入秦始皇實(shí)施的郡縣制，并引入《孫子兵法》的《兵勢(shì)》篇“治眾如治寡，分?jǐn)?shù)是也”，讓學(xué)生感受中國(guó)璀璨歷史，增強(qiáng)民族自信心和自豪感，培養(yǎng)學(xué)生踐行社會(huì)主義核心價(jià)值觀中的“愛國(guó)”。第五章統(tǒng)一資源管理和調(diào)度框架YARN內(nèi)容與目標(biāo)：了解MapReduce1.0存在的問題及YARN產(chǎn)生背景；理解YARN體系架構(gòu)和工作流程；掌握YARNWebUI、YARNShell的基本使用；了解ResourceManagerRestart、ResourceManagerHA、YARNFederation的原理與配置；了解其他統(tǒng)一資源管理調(diào)度框架。5.1初識(shí)YARN5.1.1MapReduce1.0存在的問題5.1.2YARN簡(jiǎn)介5.1.3YARN發(fā)展目標(biāo)5.2YARN體系架構(gòu)5.3YARN工作流程5.4實(shí)戰(zhàn)YARN5.4.1YARNWebUI5.4.2YARNShell5.4.3YARNJavaAPI編程5.5YARN新特性5.5.1ResourceManagerRestart自動(dòng)重啟機(jī)制5.5.2ResourceManagerHA高可用機(jī)制5.5.3YARNFederation聯(lián)邦機(jī)制5.6其他統(tǒng)一資源管理調(diào)度框架重點(diǎn)難點(diǎn)：重點(diǎn)為理解YARN體系架構(gòu)和工作原理，掌握YARNWebUI、YARNShell的基本使用；難點(diǎn)為了解ResourceManager自動(dòng)重啟、ResourceManager高可用機(jī)制和YARN聯(lián)邦機(jī)制的原理與配置。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)YARN；課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐YARNWebUI、YARNShell的基本使用。思考題（案例）：完成HDFSNameNode高可用機(jī)制和YARNResourceManager高可用機(jī)制環(huán)境的搭建。作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐YARNWebUI、YARNShell，再次嘗試MapReduce編程。（3）課后查閱資料，預(yù)習(xí)分布式協(xié)調(diào)框架ZooKeeper。課程思政：由Hadoop1.0到2.0的巨大變化，引入我國(guó)科技創(chuàng)新情況，向?qū)W生介紹蛟龍?zhí)?、北斗三?hào)、墨子號(hào)等科技創(chuàng)新成果，鼓勵(lì)學(xué)生樹立遠(yuǎn)大志向、腳踏實(shí)地、艱苦奮斗，承擔(dān)起民族復(fù)興的歷史重任，培養(yǎng)學(xué)生愛國(guó)主義精神。第六章分布式協(xié)調(diào)框架ZooKeeper內(nèi)容與目標(biāo)：了解ZooKeeper的設(shè)計(jì)目標(biāo)、數(shù)據(jù)模型；理解ZooKeeper的執(zhí)行原理；了解ZooKeeper的典型應(yīng)用場(chǎng)景；熟練掌握Z(yǔ)ooKeeper集群的部署、ZooKeeperShell常用命令的使用；了解ZooKeeper編程。6.1初識(shí)ZooKeeper6.2ZooKeeper工作原理6.3ZooKeeper典型應(yīng)用場(chǎng)景6.4部署ZooKeeper集群6.5實(shí)戰(zhàn)ZooKeeper6.5.1ZooKeeper四字命令6.5.2ZooKeeperShell6.5.3ZooKeeperJavaAPI編程重點(diǎn)難點(diǎn)：重點(diǎn)為理解ZooKeeper的執(zhí)行原理，熟練掌握Z(yǔ)ooKeeper集群的部署、ZooKeeperShell常用命令的使用；難點(diǎn)為了解ZooKeeper編程。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)分布式協(xié)調(diào)框架ZooKeeper；課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐ZooKeeper集群的部署，ZooKeeperShell常用命令的使用。思考題（案例）：假設(shè)有兩個(gè)線程，兩個(gè)線程要同時(shí)到MySQL中更新一條數(shù)據(jù)，對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行累加更新。由于在分布式環(huán)境下，這兩個(gè)線程可能存在于不同機(jī)器上的不同JVM進(jìn)程中，所以這兩個(gè)線程的關(guān)系就是跨主機(jī)和跨進(jìn)程的，使用Java中的synchronized鎖是無法實(shí)現(xiàn)的。思考如何使用ZooKeeper實(shí)現(xiàn)分布式鎖？作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐ZooKeeper集群的部署，ZooKeeperShell常見命令的使用。（3）課后查閱資料，試讀Google論文《Bigtable:ADistributedStorageSystemforStructuredData》，預(yù)習(xí)分布式數(shù)據(jù)庫(kù)HBase。課程思政：ApacheZooKeeper是GoogleChubby的開源實(shí)現(xiàn)，和Chubby相比，Zookeeper做了很多突破，由此引入魯迅先生的《拿來主義》，“運(yùn)用腦髓，放出眼光，自己來拿”，培養(yǎng)學(xué)生批判地繼承文化遺產(chǎn)，取其精華去其糟粕，繼而延伸到專業(yè)編程能力培養(yǎng)上，先模仿后修改再創(chuàng)新。第七章分布式數(shù)據(jù)庫(kù)HBase內(nèi)容與目標(biāo)：理解NoSQL數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別、NoSQL的四大類型；了解HBase的發(fā)展歷程、功能和特點(diǎn)；理解HBase的數(shù)據(jù)模型、體系架構(gòu)、運(yùn)行機(jī)制；熟練掌握HBase集群的部署、HBaseShell常用命令的使用；了解HBaseWebUI的使用、HBaseJavaAPI簡(jiǎn)單編程；了解HBase性能優(yōu)化策略。7.1NoSQL簡(jiǎn)介7.2初識(shí)HBase7.3HBase數(shù)據(jù)模型7.4HBase體系架構(gòu)7.5HBase運(yùn)行機(jī)制7.6部署HBase集群7.7實(shí)戰(zhàn)HBase7.7.1HBaseWebUI7.7.2HBaseShell7.7.3HBaseJavaAPI編程7.8HBase性能優(yōu)化重點(diǎn)難點(diǎn)：重點(diǎn)為理解HBase的數(shù)據(jù)模型、體系架構(gòu)、運(yùn)行機(jī)制，熟練掌握HBase集群的部署、HBaseShell常用命令的使用；難點(diǎn)為熟練掌握HBaseShell常見命令的使用，了解HBase常用JavaAPI的簡(jiǎn)單編程。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)分布式數(shù)據(jù)庫(kù)HBase；課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐HBase集群的部署、HBaseShell常見命令的使用。思考題（案例）：當(dāng)一臺(tái)Region服務(wù)器意外終止時(shí)，Master如何發(fā)現(xiàn)這種意外終止情況？為了恢復(fù)這臺(tái)發(fā)生意外的Region服務(wù)器上的Region，Master應(yīng)該做出哪些處理?作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐HBase集群的部署、HBaseShell常用命令的使用。（3）課后查閱資料，預(yù)習(xí)數(shù)據(jù)倉(cāng)庫(kù)Hive。課程思政：（1）介紹數(shù)據(jù)庫(kù)在大數(shù)據(jù)時(shí)代的創(chuàng)新機(jī)遇，鼓勵(lì)學(xué)生勇于創(chuàng)新。（2）由HBase存儲(chǔ)原理引入馬克思主義哲學(xué)“整體與部分”，進(jìn)而引入歌曲《國(guó)家》“家是最小國(guó)，國(guó)是千萬(wàn)家”，推薦觀看公益短篇《家國(guó)天下》，強(qiáng)調(diào)重視家庭、注重家教、培育家風(fēng)的重要性，使學(xué)生承擔(dān)起對(duì)家庭和國(guó)家的使命與擔(dān)當(dāng)，培養(yǎng)學(xué)生家國(guó)情懷。（3）HBaseShell命令實(shí)踐時(shí)，缺少一個(gè)空格、一個(gè)引號(hào)等微小問題就會(huì)導(dǎo)致結(jié)果不正確，引導(dǎo)學(xué)生遵守工程技術(shù)規(guī)范，養(yǎng)成認(rèn)真嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度。第八章數(shù)據(jù)倉(cāng)庫(kù)Hive內(nèi)容與目標(biāo)：了解Hive的產(chǎn)生背景和設(shè)計(jì)目的；理解Hive的體系架構(gòu)和執(zhí)行流程；熟練掌握Hive的部署和Hive的連接方式包括CLI、HiveServer2/beeline、HWI；熟練掌握Hive基本操作包括HiveDDL、HiveDML的書寫和HiveShell命令的使用；了解Hive的函數(shù)和優(yōu)化策略。8.1初識(shí)Hive8.2Hive體系架構(gòu)和執(zhí)行流程8.3Hive數(shù)據(jù)存儲(chǔ)模型8.4Hive函數(shù)8.5部署Hive8.6實(shí)戰(zhàn)Hive8.6.1HiveQL之DDL8.6.2HiveQL之DML8.6.3HiveShell8.6.4HiveAPI8.7Hive優(yōu)化策略重點(diǎn)難點(diǎn)：重點(diǎn)為理解Hive的體系架構(gòu)和執(zhí)行流程，熟練掌握Hive表、分區(qū)、分桶的定義、應(yīng)用場(chǎng)景和使用方法，熟練掌握Hive的部署和連接方式，熟練掌握Hive基本操作包括HiveShell命令和HiveQL語(yǔ)句的使用；難點(diǎn)為Hive函數(shù)，HiveQL語(yǔ)句，HiveAPI和優(yōu)化策略。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)數(shù)據(jù)倉(cāng)庫(kù)Hive；課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐Hive的部署、HiveShell命令的使用、HiveQL語(yǔ)句的書寫。思考題（案例）：使用Hive完成用戶訪問量TOP5統(tǒng)計(jì)。數(shù)據(jù)字段格式為：url、session_id、referer、ip、end_user_id、city_id，分隔符為制表符。作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐Hive集群的部署、Hive表的DDL和DML操作、Hive內(nèi)置函數(shù)的使用、HiveShell命令的使用。（3）課后查閱資料，預(yù)習(xí)數(shù)據(jù)遷移和采集。課程思政：由Hive數(shù)據(jù)倉(cāng)庫(kù)引入商業(yè)智能（BusinessIntelligence，簡(jiǎn)稱：BI），指用現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、線上分析處理技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)進(jìn)行數(shù)據(jù)分析以實(shí)現(xiàn)商業(yè)價(jià)值?，F(xiàn)代信息技術(shù)日新月異，引導(dǎo)學(xué)生實(shí)時(shí)關(guān)注大數(shù)據(jù)最新技術(shù)和發(fā)展趨勢(shì)，培養(yǎng)學(xué)生建立起終身學(xué)習(xí)的目標(biāo)、勇攀高峰的科學(xué)精神。第九章數(shù)據(jù)采集和遷移內(nèi)容與目標(biāo)：了解Sqoop的產(chǎn)生背景；理解Sqoop的作用、架構(gòu)、工作原理；掌握Sqoop的部署；掌握使用Sqoop完成數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)到Hadoop生態(tài)系統(tǒng)的導(dǎo)入、導(dǎo)出；理解Flume的作用、架構(gòu)、工作原理；了解Flume的部署類型；掌握Flume的部署和簡(jiǎn)單使用；理解Kafka的作用、架構(gòu)、工作原理；掌握Kafka的部署和簡(jiǎn)單使用。9.1數(shù)據(jù)遷移框架Sqoop9.1.1初識(shí)Sqoop9.1.2Sqoop架構(gòu)與工作原理9.1.3安裝Sqoop9.1.4使用Sqoop9.2日志采集系統(tǒng)Flume9.2.1初識(shí)Flume9.2.2Flume架構(gòu)與工作原理9.2.3安裝Flume9.2.4Flume簡(jiǎn)單使用9.3分布式發(fā)布/訂閱消息系統(tǒng)Kafka9.3.1初識(shí)Kafka9.3.2Kafka架構(gòu)與工作原理9.3.3部署Kafka集群9.3.4Kafka簡(jiǎn)單使用9.4ETL工具Kettle9.4.1初識(shí)Kettle9.4.2Kettle架構(gòu)與工作原理9.4.3安裝Kettle9.4.4使用Kettle重點(diǎn)難點(diǎn)：重點(diǎn)為理解Sqoop、Flume、Kafka和Kettle的作用、架構(gòu)、工作原理，掌握Sqoop、Flume、Kafka和Kettle的安裝和簡(jiǎn)單使用。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)Sqoop、Flume、Kafka和Kettle；課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐Sqoop、Flume、Kafka和Kettle的安裝和簡(jiǎn)單使用。思考題（案例）：（1）使用Sqoop以增量的方式導(dǎo)入數(shù)據(jù)，要求只導(dǎo)入符合某指定條件的數(shù)據(jù)到HDFS。（2）Flume的部署類型包括單一流程、多代理流程、流的合并、多路復(fù)用流，參考官網(wǎng)嘗試實(shí)踐各種類型的配置。（3）在Kafka在0.8以前的版本中，一旦某一個(gè)Broker宕機(jī)，則其上所有的Partition數(shù)據(jù)都不可被消費(fèi)，這與Kafka數(shù)據(jù)持久性及DeliveryGuarantee的設(shè)計(jì)目標(biāo)相悖。隨著集群規(guī)模的增加，整個(gè)集群中出現(xiàn)該類異常的幾率大大增加，因此在實(shí)際生產(chǎn)系統(tǒng)中，如何解決這種問題？作業(yè)：（1）完成章節(jié)測(cè)試。（2）課后參照實(shí)驗(yàn)指導(dǎo)書，自行實(shí)踐Sqoop、Flume和Kafka部署和簡(jiǎn)單使用。（3）課后查閱資料，預(yù)習(xí)數(shù)據(jù)可視化。課程思政：由課程教學(xué)中的Sqoop全量導(dǎo)入引發(fā)學(xué)生思考如何實(shí)現(xiàn)Sqoop增量導(dǎo)入，養(yǎng)成批判性思維，培養(yǎng)學(xué)生文獻(xiàn)檢索能力、獨(dú)立解決問題能力。第十章數(shù)據(jù)可視化內(nèi)容與目標(biāo)：了解數(shù)據(jù)可視化的概念、作用和過程；理解常用的數(shù)據(jù)可視化圖形；了解數(shù)據(jù)可視化工具；了解數(shù)據(jù)可視化的典型案例。10.1可視化概念10.2可視化作用與意義10.3可視化圖表類型10.4可視化工具重點(diǎn)難點(diǎn)：重點(diǎn)為理解常用的數(shù)據(jù)可視化圖形；難點(diǎn)為了解數(shù)據(jù)可視化工具。學(xué)習(xí)要求：課前查閱資料，預(yù)習(xí)數(shù)據(jù)可視化；課后自行實(shí)踐幾種數(shù)據(jù)可視工具的簡(jiǎn)單使用。思考題（案例）：查閱資料，找出幾個(gè)數(shù)據(jù)可視化的有趣案例。作業(yè)：完成章節(jié)測(cè)試。課程思政：幾組看似完全不同的散點(diǎn)圖，其背后的數(shù)據(jù)統(tǒng)計(jì)特征卻是相同的，由此引入辯證唯物主義思想，引導(dǎo)學(xué)生要透過現(xiàn)象看本質(zhì)，在看待問題時(shí)，不能只看表面，要深入調(diào)查思考其前因后果。2.其它教學(xué)環(huán)節(jié)（如實(shí)習(xí)、實(shí)驗(yàn)、上機(jī)等）實(shí)驗(yàn)一部署全分布模式Hadoop集群任務(wù)：在Linux下部署全分布模式Hadoop集群。場(chǎng)所：計(jì)算機(jī)實(shí)驗(yàn)室。內(nèi)容：（1）規(guī)劃部署。（2）準(zhǔn)備機(jī)器。（3）準(zhǔn)備軟件環(huán)境：配置靜態(tài)IP；修改主機(jī)名；編輯域名映射；安裝和配置Java；安裝和配置SSH免密登錄。（4）下載和安裝Hadoop。（5）配置全分布模式Hadoop集群。（6）關(guān)閉防火墻。（7）格式化文件系統(tǒng)。（8）啟動(dòng)和驗(yàn)證Hadoop。（9）關(guān)閉Hadoop。教學(xué)方法：演示法，實(shí)驗(yàn)教學(xué)法，任務(wù)驅(qū)動(dòng)法，小組討論。基本要求：（1）理解Hadoop的體系架構(gòu)、運(yùn)行模式。（2）熟練掌握Linux基本命令。（3）掌握靜態(tài)IP地址的配置、主機(jī)名和域名映射的修改。（4）掌握Linux環(huán)境下Java的安裝、環(huán)境變量的配置、Java基本命令的使用。（5）理解為何需要配置SSH免密登錄，掌握Linux環(huán)境下SSH的安裝、免密登錄的配置。（6）熟練掌握在Linux環(huán)境下如何部署全分布模式Hadoop集群。重點(diǎn)難點(diǎn)：重點(diǎn)為熟練掌握在Linux環(huán)境下如何部署全分布模式Hadoop集群；難點(diǎn)為理解為掌握Linux環(huán)境下SSH的安裝、免密登錄的配置，熟練掌握在Linux環(huán)境下如何部署全分布模式Hadoop集群。說明：注意用電安全。實(shí)驗(yàn)二實(shí)戰(zhàn)HDFS任務(wù)：使用HDFSWebUI和HDFSShell常用命令，編寫HDFSJavaAPI常規(guī)操作程序如創(chuàng)建目錄、創(chuàng)建文件、重命名、上傳本地文件到HDFS、查看文件位置等。場(chǎng)所：計(jì)算機(jī)實(shí)驗(yàn)室。內(nèi)容：（1）查看HDFSWebUI界面。（2）練習(xí)HDFSShell文件級(jí)命令。（3）練習(xí)HDFSShell系統(tǒng)級(jí)命令。（4）搭建HDFS項(xiàng)目開發(fā)環(huán)境。（5）使用HDFSJavaAPI編寫HDFS文件操作程序，完成上傳本地文件到HDFS的功能，采用本地執(zhí)行和集群執(zhí)行的兩種執(zhí)行方式測(cè)試，觀察結(jié)果。（6）使用HDFSJavaAPI編寫HDFS文件操作程序，完成查看上一步所上傳的文件在HDFS集群的位置的功能，采用本地執(zhí)行和集群執(zhí)行的兩種執(zhí)行方式測(cè)試，觀察結(jié)果。教學(xué)方法：演示法，實(shí)驗(yàn)教學(xué)法，任務(wù)驅(qū)動(dòng)法，小組討論?；疽螅海?）理解HDFS體系架構(gòu)。（2）理解HDFS文件存儲(chǔ)機(jī)制，讀取和寫入HDFS文件的工作流程。（3）熟練掌握HDFSWebUI和HDFSShell常用命令的使用。（4）掌握HDFS項(xiàng)目開發(fā)環(huán)境的搭建。（5）掌握使用HDFSJavaAPI編寫HDFS文件操作程序。重點(diǎn)難點(diǎn)：重點(diǎn)為熟練掌握HDFSWebUI和HDFSShell常用命令的使用；難點(diǎn)為掌握使用HDFSJavaAPI編寫HDFS文件操作程序。說明：注意用電安全。實(shí)驗(yàn)三MapReduce編程(1)任務(wù)：基于MapReduce計(jì)算框架，使用Java語(yǔ)言編寫MapReduce應(yīng)用程序，用于實(shí)現(xiàn)統(tǒng)計(jì)多個(gè)文件中英文單詞出現(xiàn)的頻次。場(chǎng)所：計(jì)算機(jī)實(shí)驗(yàn)室。內(nèi)容：（1）使用Java語(yǔ)言編寫MapReduce應(yīng)用程序，用于實(shí)現(xiàn)統(tǒng)計(jì)多個(gè)文件中英文單詞出現(xiàn)的頻次，并在Hadoop集群上運(yùn)行該MR-App，查看運(yùn)行結(jié)果。（2）查看MapReduceWebUI界面。（3）練習(xí)MapReduceShell常用命令。教學(xué)方法：演示法，實(shí)驗(yàn)教學(xué)法，任務(wù)驅(qū)動(dòng)法，小組討論?；疽螅海?）理解MapReduce計(jì)算框架思想、MapReduce1.0體系架構(gòu)。（2）深刻理解MapReduce作業(yè)的執(zhí)行流程。（3）了解MapReduceWebUI的使用。（4）了解MapReduceShell常用命令的使用。（5）理解MapReduce的數(shù)據(jù)類型，了解MapReduce應(yīng)用程序編寫步驟，編寫簡(jiǎn)單的MapReduce應(yīng)用程序，熟練掌握在Hadoop集群上運(yùn)行MapReduce應(yīng)用程序并查看運(yùn)行結(jié)果。重點(diǎn)難點(diǎn)：重點(diǎn)為理解MapReduce計(jì)算框架思想、MapReduce1.0體系架構(gòu)，深刻理解MapReduce作業(yè)的執(zhí)行流程，熟練掌握在Hadoop集群上運(yùn)行MR-App并查看運(yùn)行結(jié)果；難點(diǎn)為深刻理解MapReduce作業(yè)的執(zhí)行流程，理解MapReduce的數(shù)據(jù)類型，編寫簡(jiǎn)單的MapReduce應(yīng)用程序。說明：注意用電安全。實(shí)驗(yàn)四MapReduce編程(2)任務(wù)：基于MapReduce計(jì)算框架，使用Java語(yǔ)言編寫MapReduce應(yīng)用程序，用于實(shí)現(xiàn)統(tǒng)計(jì)對(duì)象中的某些屬性。場(chǎng)所：計(jì)算機(jī)實(shí)驗(yàn)室。內(nèi)容：（1）使用Java語(yǔ)言編寫MapReduce應(yīng)用程序，已知某個(gè)超市的結(jié)算記錄，從左往右各字段的含義依次是會(huì)員編號(hào)、結(jié)算時(shí)間、消費(fèi)金額和用戶身份，要求計(jì)算出會(huì)員和非會(huì)員的平均消費(fèi)金額，并在Hadoop集群上運(yùn)行該MR-App，查看運(yùn)行結(jié)果。（2）查看YARNWebUI界面。（3）練習(xí)YARNShell常用命令。教學(xué)方法：演示法，實(shí)驗(yàn)教學(xué)法，任務(wù)驅(qū)動(dòng)法，小組討論?；疽螅海?）繼續(xù)深刻理解MapReduce作業(yè)的執(zhí)行流程。（2）掌握MapReduce應(yīng)用程序的編寫。重點(diǎn)難點(diǎn)：重點(diǎn)為掌握MapReduce應(yīng)用程序的編寫；難點(diǎn)為掌握MapReduce應(yīng)用程序的編寫。說明：注意用電安全。實(shí)驗(yàn)五部署ZooKeeper集群和實(shí)戰(zhàn)ZooKeeper任務(wù)：部署ZooKeeper集群，練習(xí)ZooKeeperShell常用命令，進(jìn)行簡(jiǎn)單ZooKeeper編程。場(chǎng)所：計(jì)算機(jī)實(shí)驗(yàn)室。內(nèi)容：（1）部署ZooKeeper集群。（2）練習(xí)ZooKeeperShell常用命令。（3）實(shí)戰(zhàn)ZooKeeper編程，實(shí)現(xiàn)對(duì)zookeeper文件系統(tǒng)的增刪改查。教學(xué)方法：演示法，實(shí)驗(yàn)教學(xué)法，任務(wù)驅(qū)動(dòng)法，小組討論?；疽螅海?）理解ZooKeeper執(zhí)行原理。（2）熟練掌握Z(yǔ)ooKeeper集群的部署。（3）熟練掌握Z(yǔ)ooKeeperShell常用命令的使用。（4）了解ZooKeeperJavaAPI，進(jìn)行簡(jiǎn)單的ZooKeeper編程。重點(diǎn)難點(diǎn)：重點(diǎn)為熟練掌握Z(yǔ)ooKeeper集群的部署、ZooKeeperShell常用命令的使用；難點(diǎn)為了解ZooKeeperJavaAPI，進(jìn)行簡(jiǎn)單的ZooKeeper編程。說明：注意用電安全。實(shí)驗(yàn)六部署HBase集群和實(shí)戰(zhàn)HBase任務(wù)：部署HBase集群，查看HBaseWeb界面，練習(xí)HBaseShell常用命令，進(jìn)行簡(jiǎn)單HBase編程。場(chǎng)所：計(jì)算機(jī)實(shí)驗(yàn)室。內(nèi)容：（1）部署全分布式HBase集群。（2）查看HBaseWeb界面。（3）練習(xí)HBaseShell常用命令。（4）實(shí)戰(zhàn)HBase編程。教學(xué)方法：演示法，實(shí)驗(yàn)教學(xué)法，任務(wù)驅(qū)動(dòng)法，小組討論?；疽螅海?）理解HBase數(shù)據(jù)模型。（2）理解HBase體系架構(gòu)和運(yùn)行機(jī)制。（3）熟練掌握HBase集群的部署。（4）了解HBaseWeb的使用。（5）熟練掌握HBaseShell常用命令的使用。（6）了解HBaseJavaAPI，進(jìn)行簡(jiǎn)單的HBase編程。重點(diǎn)難點(diǎn)：重點(diǎn)為熟練掌握HBase集群的部署、HBaseShell常用命令的使用；難點(diǎn)為了解HBaseJavaAPI，進(jìn)行簡(jiǎn)單的HBase編程。說明：注意用電安全。實(shí)驗(yàn)七部署Hive和實(shí)戰(zhàn)Hive任務(wù)：部署Hive，練習(xí)HiveQL和HiveShell，進(jìn)行簡(jiǎn)單Hive編程。場(chǎng)所：計(jì)算機(jī)實(shí)驗(yàn)室。內(nèi)容：（1）部署Hive。（2）配置和查看HiveWeb界面。（3）練習(xí)HiveDDL、HiveDML。（4）練習(xí)HiveShell命令。（5）實(shí)戰(zhàn)Hive編程。教學(xué)方法：演示法，實(shí)驗(yàn)教學(xué)法，任務(wù)驅(qū)動(dòng)法，小組討論?；疽螅海?）理解Hive體系架構(gòu)和執(zhí)行流程。（2）了解Hive的部署模式，熟練掌握本地模式Hive的部署。（3）熟練掌握Hive的連接方式包括CLI、HiveServer2/beeline、HiveWeb。（4）掌握HiveWeb的配置和使用。（5）熟練掌握Hive表的DDL、DML操作和HiveShell命令的使用。（6）了解HiveJavaAPI，進(jìn)行簡(jiǎn)單的Hive編程。重點(diǎn)難點(diǎn)：重點(diǎn)為熟練掌握本地模式Hive的部署，熟練掌握Hive的連接方式包括CLI、HiveServer2/beeline、HiveWeb，熟練掌握Hive表的DDL、DML操作和HiveShell命令的使用；難點(diǎn)為了解HiveJavaAPI，進(jìn)行簡(jiǎn)單的Hive編程。說明：注意用電安全。實(shí)驗(yàn)八安裝和簡(jiǎn)單使用Sqoop、Flume、Kafka任務(wù)：安裝Sqoop，練習(xí)Sqoop基本命令，使用Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)；安裝Flume和簡(jiǎn)單使用；安裝Kafka和簡(jiǎn)單使用。場(chǎng)所：計(jì)算機(jī)實(shí)驗(yàn)室。內(nèi)容：（1）安裝Sqoop，練習(xí)Sqoop基本命令的使用，使用Sqoop導(dǎo)入MySQL數(shù)據(jù)到HDFS，使用Sqoop導(dǎo)出HDFS數(shù)據(jù)到MySQL。（2）安裝Flume和簡(jiǎn)單使用。（3）部署Kafka集群和簡(jiǎn)單使用。教學(xué)方法：演示法，實(shí)驗(yàn)教學(xué)法，任務(wù)驅(qū)動(dòng)法，小組討論。基本要求：（1）理解Sqoop的作用、架構(gòu)、工作原理，掌握Sqoop的安裝，掌握使用Sqoop完成數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)到Hadoop生態(tài)系統(tǒng)的導(dǎo)入、導(dǎo)出。（2）理解Flume的作用、架構(gòu)、工作原理，了解Flume的安裝類型，掌握Flume的安裝和簡(jiǎn)單使用。（3）理解Kafka的作用、架構(gòu)、工作原理，掌握Kafka集群的部署和簡(jiǎn)單使用。（4）理解Kettle的作用、架構(gòu)、工作原理。重點(diǎn)難點(diǎn)：重點(diǎn)為掌握Sqoop的安裝，掌握使用Sqoop完成數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)到Hadoop生態(tài)系統(tǒng)的導(dǎo)入、導(dǎo)出，掌握Flume的安裝和簡(jiǎn)單使用，掌握Kafka集群的部署和簡(jiǎn)單使用；難點(diǎn)無。說明：注意用電安全。教學(xué)內(nèi)容學(xué)時(shí)分配課程教學(xué)學(xué)時(shí)分配表教學(xué)環(huán)節(jié)教學(xué)時(shí)數(shù)課程內(nèi)容理論（學(xué)時(shí)）實(shí)驗(yàn)/上機(jī)（學(xué)時(shí)）小計(jì)（學(xué)時(shí)）第一章大數(shù)據(jù)概述202第二章初識(shí)Hadoop224第三章分布式文件系統(tǒng)HDFS428第四章分布式計(jì)算框架MapReduce6410第五章統(tǒng)一資源管理和調(diào)度框架YARN202第六章分布式協(xié)調(diào)框架ZooKeeper426第七章分布式數(shù)據(jù)庫(kù)HBase426第八章數(shù)據(jù)倉(cāng)庫(kù)Hive426第九章數(shù)據(jù)采集和遷移224第十章數(shù)據(jù)可視化202合計(jì)321648教學(xué)參考資料教材：[1]徐魯輝.Hadoop大數(shù)據(jù)原理與應(yīng)用[M].西安:西安電子科技大學(xué)出版社,2020年3月.參考資料：[2]徐魯輝.Hadoop大數(shù)據(jù)原理與應(yīng)用實(shí)驗(yàn)教程[M].西安:西安