職業(yè)技術(shù)學院《Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)》課程教學大綱

13/14《Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)》教學大綱課程基本信息課程代碼課程名稱（中/英）Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)開課學院智能制造與信息工程學院適用專業(yè)大數(shù)據(jù)技術(shù)學分2分總學時32學時理論學時16實踐學時16課程性質(zhì)必修課程類別考核方式考查先修課程計算機應用基礎(chǔ)、數(shù)據(jù)庫技術(shù)及應用（MySQL)選用教材1.《Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)》張軍張良均主編人民郵電出版社2021.11,ISBN978-7-115-57562-3網(wǎng)絡(luò)課程超星創(chuàng)建課程課程簡介本課程是大數(shù)據(jù)技術(shù)專業(yè)的必修課程。隨著時代的發(fā)展，大數(shù)據(jù)已經(jīng)成為一個耳熟能詳?shù)脑~匯。與此同時，針對大數(shù)據(jù)處理的新技術(shù)也在不斷的開發(fā)和運用中，逐漸成為數(shù)據(jù)處理挖掘行業(yè)廣泛使用的主流技術(shù)之一。Hadoop分布式集群系統(tǒng)架構(gòu)，具有高可用性、高容錯性和高擴展性等優(yōu)點，由于它提供了一個開放式的平臺，用戶可以在不了解底層實現(xiàn)細節(jié)的情形下，開發(fā)適合自身應用的分布式程序。經(jīng)過多年的發(fā)展，目前Hadoop已經(jīng)成長為一個全棧式的大數(shù)據(jù)技術(shù)生態(tài)圈，包括了Hive、HBase、Spark等一系列組件，成為應用最廣泛、最具有代表性的大數(shù)據(jù)技術(shù)之一。因此，學習Hadoop技術(shù)是從事大數(shù)據(jù)行業(yè)工作所必不可少的一步。為了滿足企業(yè)的大數(shù)據(jù)人才需求，幫助學者掌握相關(guān)技術(shù)知識解決實際的業(yè)務(wù)需求，特開設(shè)Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)課程。通過本課程的學習，使學生掌握Hadoop、Hive和HBase集群的安裝配置，能夠根據(jù)具體需求編寫MapReduce程序解決實際業(yè)務(wù)問題，使用Hive、HBase進行數(shù)據(jù)存儲、查詢、分析，最后詳細拆解并學習電影網(wǎng)站用戶影評分析案例，將理論與實踐相結(jié)合，為將來從事數(shù)據(jù)分析挖掘研究、工作奠定基礎(chǔ)。課程目標課程目標1：課程思政目標——用審辯思維（criticalthinking）理性看待事物，明辨是非；引導學生形成積極向上的世界觀、價值觀和人生觀。課程目標2：依據(jù)階段練習與維護典型工作任務(wù)的能力要求，確定各教學單元的能力、知識和素質(zhì)目標，并以此進一步進行教學單元設(shè)計，使學生掌握Hadoop基本原理與架構(gòu)、集群安裝及配置，MapReduce編程等，能夠理論結(jié)合實踐，運用相關(guān)技術(shù)解決實際的業(yè)務(wù)需求。全書按照解決實際任務(wù)的工作流程路線，逐步展開介紹相關(guān)的理論知識點，推導生成可行的解決方案，最后落實任務(wù)實現(xiàn)環(huán)節(jié)。培養(yǎng)學生分析問題和解決問題的能力。課程目標3：掌握Hadoop的相關(guān)知識，包括Hadoop集群的搭建及配置、基礎(chǔ)操作、MapReduce入門編程、MapReduce進階編程、Hive數(shù)據(jù)倉庫和HBase分布式數(shù)據(jù)庫等等，能夠獨立完成電影網(wǎng)站用戶影評分析。課程內(nèi)容與教學要求第一章Hadoop介紹（一）課程內(nèi)容1.通過直接引入的方式導入新課、補充線上學習的相關(guān)習題和背景知識。在大數(shù)據(jù)時代，Hadoop作為處理大數(shù)據(jù)的分布式存儲和計算框架，在國內(nèi)外大、中、小型企業(yè)中已得到廣泛應用，掌握Hadoop技術(shù)是從事大數(shù)據(jù)行業(yè)工作必不可少的一步。本章主要介紹Hadoop框架的理論知識，包括Hadoop框架及其發(fā)展歷史、特點；然后重點講解Hadoop的三大核心組件HDFS、MapReduce和YARN；接著對Hadoop生態(tài)系統(tǒng)中常用的組件進行簡單的介紹，包括組件的特點和應用；最后簡要介紹Hadoop的應用場景。2.通過講解知識點，然后提出問題，讓學生分析問題并獨立解決問題，然后將自己理解的答案分享給同學們。3.示例操作部分，通過教師先演示，學生接著完成的方式，學生遇到問題及時解決，可以找老師幫忙，也可以同學之間相互幫忙。4.課程思政：鍛煉學生工匠精神，一個標點符號都會影響整個代碼的輸出。還要鍛煉團隊合作精神，同學間相互幫助，完成代碼的效果會更高。（二）教學要求1.了解Hadoop框架及其發(fā)展歷史、特點；2.了解Hadoop核心組件；3.了解Hadoop生態(tài)系統(tǒng)；4.了解Hadoop應用場景；5.掌握Hadoop的三大核心組件HDFS、MapReduce和YARN；重點：1.掌握Hadoop生態(tài)系統(tǒng)；2.掌握Hadoop的三大核心組件HDFS、MapReduce和YARN。難點：1.掌握Hadoop的三大核心組件HDFS、MapReduce和YARN。第二章數(shù)據(jù)Vue.js開發(fā)基礎(chǔ)（一）課程內(nèi)容1.復習鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學生吸收不好的知識點進行再次鞏固講解。2.教學導入。為了更好的學習Hadoop，我們要先搭建好Hadoop集群環(huán)境。本章將詳細講解Hadoop集群的搭建及配置。3.通過講解知識點，然后提出問題，讓學生分析問題并獨立解決問題，然后將自己理解的答案分享給同學們。4.示例操作部分，通過教師先演示，學生接著完成的方式，學生遇到問題及時解決，可以找老師幫忙，也可以同學之間相互幫忙。5.前面的示例是按照源代碼練習，最后的代碼只給部分代碼學生，自己在運行過程中補齊補全代碼。6.課程思政：鍛煉學生工匠精神，一個標點符號都會影響整個代碼的輸出。還要鍛煉團隊合作精神，同學間相互幫助，完成代碼的效果會更高。（二）教學要求1.掌握虛擬機的安裝及配置方法2.掌握在Linux下JDK的安裝方法3.掌握Hadoop完全分布式集群環(huán)境的搭建過程4.掌握Hadoop集群的監(jiān)控方法重點：Hadoop集群的搭建及配置成功。難點：Hadoop集群的搭建及配置成功。第三章Hadoop基礎(chǔ)操作（一）課程內(nèi)容1.復習鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學生吸收不好的知識點進行再次鞏固講解。2.教學導入。在學習完第2章的基礎(chǔ)知識后，Hadoop集群的環(huán)境搭配好了，Hadoop框架的核心設(shè)計為HDFS和MapReduce，HDFS負責數(shù)據(jù)的存儲，MapReduce則負責數(shù)據(jù)的計算。對海量數(shù)據(jù)進行計算前，數(shù)據(jù)的存儲是一步必要的操作，因此，需要先掌握HDFS的基本操作方法。3.通過講解知識點，然后提出問題，讓學生分析問題并獨立解決問題，然后將自己理解的答案分享給同學們。4.示例操作部分，通過教師先演示，學生接著完成的方式，學生遇到問題及時解決，可以找老師幫忙，也可以同學之間相互幫忙。5.前面的示例是按照源代碼練習，最后的代碼只給部分代碼學生，自己在運行過程中補齊補全代碼。6.課程思政：鍛煉學生工匠精神，一個標點符號都會影響整個代碼的輸出。還要鍛煉團隊合作精神，同學間相互幫助，完成代碼的效果會更高。（二）教學要求1.了解Hadoop安全模式2.掌握查看、解除與開啟Hadoop安全模式的操作3.掌握查看Hadoop集群存儲系統(tǒng)和計算資源信息的方法4.了解HDFS分布式文件系統(tǒng)5.掌握HDFS的基本操作6.掌握提交MapReduce任務(wù)的基本操作7.掌握多個MapReduce任務(wù)的管理方法重點：掌握如何查看Hadoop集群存儲系統(tǒng)和計算資源信息的方法；掌握提交MapReduce任務(wù)的基本操作難點：掌握多個MapReduce任務(wù)的管理方法第四章MapReduce入門編程（一）課程內(nèi)容1.復習鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學生吸收不好的知識點進行再次鞏固講解。2.教學導入。隨著互聯(lián)網(wǎng)的發(fā)展，加入互聯(lián)網(wǎng)的用戶越來越多，互聯(lián)網(wǎng)的用戶規(guī)模已不容小覷。互聯(lián)網(wǎng)市場潛力巨大，各大網(wǎng)站的運營商都在積極采取措施，分析用戶的特征，根據(jù)不同的用戶群體向其提供差異化的服務(wù)，進而達到精準營銷的目的。接下來，本章編寫基礎(chǔ)的MapReduce程序處理簡單任務(wù)的方法。3.通過講解知識點，然后提出問題，讓學生分析問題并獨立解決問題，然后將自己理解的答案分享給同學們。4.示例操作部分，通過教師先演示，學生接著完成的方式，學生遇到問題及時解決，可以找老師幫忙，也可以同學之間相互幫忙。5.前面的示例是按照源代碼練習，最后的代碼只給部分代碼學生，自己在運行過程中補齊補全代碼。6.課程思政：鍛煉學生工匠精神，一個標點符號都會影響整個代碼的輸出。還要鍛煉團隊合作精神，同學間相互幫助，完成代碼的效果會更高。（二）教學要求1.掌握在Windows下安裝Javat和IntelliJIDEA的方法2.掌握IntelliJIDEA中創(chuàng)建MapReduce工程和配置MapReduce環(huán)境的方法3.熟練掌握MapReduce的工作原理及執(zhí)行流程4.了解Hadoop官方示例中的WordCount源碼5.了解MapReduce編程的基本思路6.掌握map()方法與reduce()方法的處理邏輯7.掌握編寫基礎(chǔ)的MapReduce程序處理簡單任務(wù)的方法重點：掌握編寫基礎(chǔ)的MapReduce程序處理簡單任務(wù)的方法難點：掌握MapReduce編程的基本思路第五章MapReduce進階編程（一）課程內(nèi)容1.復習鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學生吸收不好的知識點進行再次鞏固講解。2.教學導入。通過對MapReduce入門編程的學習，我們實現(xiàn)了對某競賽網(wǎng)站每日訪問次數(shù)的統(tǒng)計任務(wù)。本章將繼續(xù)學習MapReduce編程，通過一些高級的編程技巧，使得整個編程過程更加高效。3.通過講解知識點，然后提出問題，讓學生分析問題并獨立解決問題，然后將自己理解的答案分享給同學們。4.示例操作部分，通過教師先演示，學生接著完成的方式，學生遇到問題及時解決，可以找老師幫忙，也可以同學之間相互幫忙。5.前面的示例是按照源代碼練習，最后的代碼只給部分代碼學生，自己在運行過程中補齊補全代碼。6.課程思政：鍛煉學生工匠精神，一個標點符號都會影響整個代碼的輸出。還要鍛煉團隊合作精神，同學間相互幫助，完成代碼的效果會更高。（二）教學要求1.掌握MapReduce輸入和輸出格式的設(shè)置方法2.掌握HadoopJavaAPI的使用方法3.掌握自定義鍵值類型的方法4.了解Combiner的工作原理5.掌握Combiner、Partitioner和自定義計數(shù)器的使用方法6.掌握MapReduce參數(shù)傳遞流程7.掌握使用IntelliJIDEA自動打包并提交MapReduce任務(wù)的方法重點：掌握MapReduce輸入和輸出格式的設(shè)置方法；掌握HadoopJavaAPI的使用方法；掌握自定義鍵值類型的方法；掌握Combiner、Partitioner和自定義計數(shù)器的使用方法。難點：掌握MapReduce參數(shù)傳遞流程；掌握使用IntelliJIDEA自動打包并提交MapReduce任務(wù)的方法。第六章Hive數(shù)據(jù)倉庫（一）課程內(nèi)容1.復習鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學生吸收不好的知識點進行再次鞏固講解。2.教學導入。隨著信息技術(shù)的普及和企業(yè)信息化建設(shè)步伐的加快，企業(yè)逐步認識到建立企業(yè)范圍內(nèi)的統(tǒng)一數(shù)據(jù)存儲的重要性，越來越多的企業(yè)已經(jīng)建立或正著手建立企業(yè)數(shù)據(jù)倉庫。為了保證較高的處理效率與靈活性，選用Hive數(shù)據(jù)倉庫對基站數(shù)據(jù)進行存儲與處理分析。本章將詳細講解如何通過Hive編程解決實際問題，首先介紹Hive數(shù)據(jù)倉庫的系統(tǒng)架構(gòu)、數(shù)據(jù)模型和執(zhí)行流程；其次講解訪問Hive的3種試及其配置過程；接著介紹Hive數(shù)據(jù)倉庫中表的創(chuàng)建與修改的基本語法，并結(jié)合官方的示例介紹Hive表數(shù)據(jù)的增刪查改；最后通過編寫Hive語句實現(xiàn)基站掉話率的統(tǒng)計分析。3.通過講解知識點，然后提出問題，讓學生分析問題并獨立解決問題，然后將自己理解的答案分享給同學們。4.示例操作部分，通過教師先演示，學生接著完成的方式，學生遇到問題及時解決，可以找老師幫忙，也可以同學之間相互幫忙。5.前面的示例是按照源代碼練習，最后的代碼只給部分代碼學生，自己在運行過程中補齊補全代碼。6.課程思政：鍛煉學生工匠精神，一個標點符號都會影響整個代碼的輸出。還要鍛煉團隊合作精神，同學間相互幫助，完成代碼的效果會更高。（二）教學要求1.了解Hive的概念及Hive與傳統(tǒng)數(shù)據(jù)庫的對比2.了解Hive系統(tǒng)架構(gòu)、數(shù)據(jù)模型和執(zhí)行流程3.熟悉3種訪問Hive的方式及配置過程4.掌握Hive中數(shù)據(jù)庫與表的創(chuàng)建、修改操作方法5.掌握Hive表數(shù)據(jù)增刪查改的操作方法重點：Hive系統(tǒng)架構(gòu)、數(shù)據(jù)模型和執(zhí)行流程；掌握Hive中數(shù)據(jù)庫與表的創(chuàng)建、修改操作方法；掌握Hive表數(shù)據(jù)增刪查改的操作方法。難點：熟悉3種訪問Hive的方式及配置過程。第七章HBase分布式數(shù)據(jù)庫（一）課程內(nèi)容1.復習鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學生吸收不好的知識點進行再次鞏固講解。2.教學導入。對于推動企業(yè)發(fā)展新動能而言，大數(shù)據(jù)的價值表現(xiàn)在掌握業(yè)務(wù)戰(zhàn)略決策，提高服務(wù)水平，提高商品購買率，研發(fā)創(chuàng)新產(chǎn)品等，不斷塑造發(fā)展新動能新優(yōu)勢。為了保證較高的處理效率與靈活性，一般選擇使用HBase分布式數(shù)據(jù)庫存儲通話記錄，并采用HBaseJavaAPI實現(xiàn)通話記錄數(shù)據(jù)的查詢分析。本章首先詳細講解HBase分布式數(shù)據(jù)庫的系統(tǒng)架構(gòu)、數(shù)據(jù)模型、讀/寫流程；其次介紹HBaser的安裝及配置過程和HBase常用的Shell命令；接著重點介紹采用HBaseJavaAPI實現(xiàn)表創(chuàng)建、表數(shù)據(jù)導入；最后通過編寫HBaseJavaAPI實現(xiàn)通話記錄數(shù)據(jù)表的創(chuàng)建與查詢分析。3.通過講解知識點，然后提出問題，讓學生分析問題并獨立解決問題，然后將自己理解的答案分享給同學們。4.示例操作部分，通過教師先演示，學生接著完成的方式，學生遇到問題及時解決，可以找老師幫忙，也可以同學之間相互幫忙。5.前面的示例是按照源代碼練習，最后的代碼只給部分代碼學生，自己在運行過程中補齊補全代碼。6.課程思政：鍛煉學生工匠精神，一個標點符號都會影響整個代碼的輸出。還要鍛煉團隊合作精神，同學間相互幫助，完成代碼的效果會更高。（二）教學要求1.了解分布式數(shù)據(jù)庫HBase2.熟悉HBase的系統(tǒng)架構(gòu)、數(shù)據(jù)模型和讀/寫流程3.了解ZooKeeper的概念、集群角色及選舉機選4.了解ZooKeeper集群的安裝部署方法5.掌握HBase的安裝部署方法6.掌握HBase常用的Shell命令7.掌握HBaseJavaAPI的使用方法重點：HBase常用的Shell命令；掌握HBaseJavaAPI的使用方法。難點：掌握HBaseJavaAPI的使用方法。第八章項目案例——電影網(wǎng)站用戶影評分析（一）課程內(nèi)容1.復習鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學生吸收不好的知識點進行再次鞏固講解。2.教學導入。常規(guī)的數(shù)據(jù)分析工具在大數(shù)據(jù)場景下，處理數(shù)據(jù)的效率低，顯然不選用于大數(shù)據(jù)處理分析。分析式計算框架的出現(xiàn)，為分析處理大數(shù)據(jù)提供了很好的解決方案。本章將使用Hadoop框架并結(jié)合電影評分數(shù)據(jù)，編寫MapReduce程序?qū)崿F(xiàn)對用戶影評的分析，從多維度分析用戶的觀影興趣偏好。3.通過講解知識點，然后提出問題，讓學生分析問題并獨立解決問題，然后將自己理解的答案分享給同學們。4.示例操作部分，通過教師先演示，學生接著完成的方式，學生遇到問題及時解決，可以找老師幫忙，也可以同學之間相互幫忙。5.前面的示例是按照源代碼練習，最后的代碼只給部分代碼學生，自己在運行過程中補齊補全代碼。6.課程思政：鍛煉學生工匠精神，一個標點符號都會影響整個代碼的輸出。還要鍛煉團隊合作精神，同學間相互幫助，完成代碼的效果會更高。（二）教學要求1.掌握根據(jù)業(yè)務(wù)場景設(shè)計map()方法和reduce()方法的計算邏輯2.掌握編寫MapReduce程序解決常見的數(shù)據(jù)處理問題3.掌握編寫MapReduce程序?qū)崿F(xiàn)電影網(wǎng)站用戶影評分析的方法重點：掌握根據(jù)業(yè)務(wù)場景設(shè)計map()方法和reduce()方法的計算邏輯；掌握編寫MapReduce程序解決常見的數(shù)據(jù)處理問題；掌握編寫MapReduce程序?qū)崿F(xiàn)電影網(wǎng)站用戶影評分析的方法。難點：掌握根據(jù)業(yè)務(wù)場景設(shè)計map()方法和reduce()方法的計算邏輯；掌握編寫MapReduce程序解決常見的數(shù)據(jù)處理問題；掌握編寫MapReduce程序?qū)崿F(xiàn)電影網(wǎng)站用戶影評分析的方法。五、學時分配、教學方法及支撐課程目標序號教學單元名稱學時主要教學方法支撐的課程目標1第一章Hadoop介紹4講授法、演示法、討論法、練習課課程目標1，2，32第二章Hadoop集群的搭建及配置6講授法、演示法、討論法、練習課