大數(shù)據(jù)項目實戰(zhàn)第2章 搭建大數(shù)據(jù)集群環(huán)境 -教學(xué)設(shè)計

PAGE7黑馬程序員《大數(shù)據(jù)項目實戰(zhàn)》教學(xué)設(shè)計課程名稱：大數(shù)據(jù)項目實戰(zhàn)授課年級：20xx年級授課學(xué)期：20xx學(xué)年第一學(xué)期教師姓名：某某老師2019年9月1日課題名稱第2章搭建大數(shù)據(jù)集群環(huán)境計劃學(xué)時10課時內(nèi)容分析“磨刀不誤砍柴工”，要想順利完成本項目各個步驟實驗，首先必須得學(xué)會搭建一個屬于自己的大數(shù)據(jù)集群環(huán)境。本章將針對項目所應(yīng)用到相關(guān)技能搭建大數(shù)據(jù)集群環(huán)境。教學(xué)目標及基本要求了解虛擬機的安裝和克隆熟悉Linux系統(tǒng)的網(wǎng)絡(luò)配置和SSH配置掌握Hadoop集群的搭建和配置掌握Hive安裝掌握Sqoop的安裝教學(xué)重點Hadoop集群的搭建和配置Hive安裝Sqoop安裝教學(xué)難點Hadoop集群的搭建和配置虛擬機安裝與配置Hive安裝教學(xué)方式教師課堂教學(xué)要以講演法講授為主，并結(jié)合多媒體進行教學(xué)教學(xué)過程第一課時（虛擬機安裝和克隆、Linux系統(tǒng)的網(wǎng)絡(luò)配置、SSH服務(wù)配置）一、回顧第一章內(nèi)容，講解Hadoop集群構(gòu)建的準備工作1.回顧第一章學(xué)習(xí)知識，引出本節(jié)主題帶領(lǐng)學(xué)生回顧第一章與項目相關(guān)的內(nèi)容，要想順利開展后續(xù)項目內(nèi)容，首先得學(xué)會搭建基于Hadoop的大數(shù)據(jù)集群環(huán)境。因此，本章將針對構(gòu)建大數(shù)據(jù)集群環(huán)境的準備工作進行詳細講解。2.明確學(xué)習(xí)目標（1）了解虛擬機安裝（2）了解虛擬機克?。?）熟悉Linux系統(tǒng)網(wǎng)絡(luò)配置（4）熟悉SSH服務(wù)配置二、進行重點知識講解1．虛擬機安裝教師可以參考課件以講演法的方式講解虛擬機的安裝。先介紹創(chuàng)建虛擬機的步驟；使用ISO鏡像文件來初始化Linux系統(tǒng)；通過重啟虛擬機的引導(dǎo)系統(tǒng)完成虛擬機安裝。2．虛擬機克隆教師可以參考課件以講演法的方式講解虛擬機的克隆。先介紹虛擬機的克隆有兩種方式，再具體介紹一下這兩種克隆的方式，最后針對完整克隆方式進行分步驟演示克隆虛擬機。3．Linux系統(tǒng)網(wǎng)絡(luò)配置教師可以參考課件以講演法的方式講述Linux系統(tǒng)網(wǎng)絡(luò)配置。先介紹虛擬機的主機名的配置和IP地址的映射配置，再介紹配置Linux系統(tǒng)的網(wǎng)絡(luò)參數(shù)的步驟，最后通過重啟Linux系統(tǒng)，執(zhí)行“ifconfig”指令查看IP的配置是否生效，在執(zhí)行“ping”指令檢測網(wǎng)絡(luò)連接是否正常，若連接正常，說明Linux系統(tǒng)網(wǎng)絡(luò)配置成功，否則不成功。4．SSH服務(wù)配置教師可以參考課件以講演法的方式講述SSH服務(wù)配置。先介紹SSH服務(wù)的作用；介紹SSH遠程登錄功能和SSH免密登錄功能的配置；通過在hadoop01主機上輸入“sshhadoop02”指令訪問hadoop02主機做測試，若是不再需要輸入密碼，則說明hadoop01到hadoop02的單向SSH服務(wù)配置成功，需要說明的是Hadoop集群的所有機器上都需要進行SSH服務(wù)配置。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對課堂上講解的知識點進行總結(jié)。2．讓學(xué)生自己動手操作安裝虛擬機、克隆虛擬機、配置Linux系統(tǒng)的網(wǎng)絡(luò)以及SSH服務(wù)，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第二課時（上機操作）上機一：搭建大數(shù)據(jù)集群環(huán)境的安裝準備按照教材中2.1小節(jié)的內(nèi)容及在教師輔導(dǎo)下完成。第三課時（Hadoop集群部署模式、JDK安裝、Hadoop安裝）一、回顧前兩節(jié)課內(nèi)容，講述Hadoop集群搭建1．對前兩節(jié)課遇到的問題進行答疑2．回顧上節(jié)課內(nèi)容，引出本節(jié)課的主題通過前兩節(jié)課的學(xué)習(xí)與實際操作，學(xué)生完成了大數(shù)據(jù)集群環(huán)境搭建的準備工作。本節(jié)課將針對Hadoop集群的構(gòu)建進行詳細講解。3．明確學(xué)習(xí)目標（1）熟悉Hadoop集群部署模式（2）掌握JDK安裝（3）掌握Hadoop安裝二、進行重點知識的講解1.Hadoop集群部署模式教師可以參考課件以講演法的方式來講述Hadoop集群部署模式。先介紹Hadoop集群部署一共有三種方式；然后對每一種部署模式進行詳細介紹；最后針對完全分布式模式安裝、配置Hadoop集群進行介紹。2.JDK安裝教師可以參考課件以講演法的方式來講述JDK安裝。先介紹安裝JDK的原因，由于Hadoop是由Java語言開發(fā)的，Hadoop集群的使用依賴于Java環(huán)境，因此在安裝Hadoop集群前，需要先安裝并配置好JDK；再介紹JDK下載的路徑和安裝的步驟；接著介紹配置JDK環(huán)境變量；最后通過執(zhí)行“java-version”驗證JDK安裝、配置是否成功，若出現(xiàn)JDK的版本則說明JDK安裝、配置成功。3.Hadoop安裝教師可以參考課件以講演法的方式講述Hadoop安裝。先介紹Hadoop的下載路徑和安裝；再介紹配置Hadoop環(huán)境變量；介紹通過執(zhí)行“hadoopversion”指令查看Hadoop安裝是否成功，若出現(xiàn)Hadoop的版本號，則說明Hadoop安裝成功。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對課堂上講解的知識點進行總結(jié)。2．讓學(xué)生自己動手操作安裝JDK和Hadoop，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第四課時（Hadoop集群配置、Hadoop集群測試、通過UI界面查看Hadoop運行狀態(tài)）一、回顧上節(jié)課內(nèi)容，1.對上節(jié)課留的作業(yè)進行答疑2．回顧上節(jié)課內(nèi)容，引出本節(jié)課的主題上一節(jié)中，主要講解了Hadoop集群部署模式、JDK和Hadoop的安裝。本節(jié)將針對Hadoop集群的配置、Hadoop集群測試以及通過UI界面查看Hadoop運行狀態(tài)進行詳細講解。3．明確學(xué)習(xí)目標（1）掌握Hadoop集群配置（2）掌握Hadoop集群測試（3）了解通過UI界面查看Hadoop運行狀態(tài)二、進行重點知識的講解1．Hadoop集群配置教師可以參考課件以講演法的方式來講述Hadoop集群配置。介紹配置文件的重要性，通過對Hadoop提供的只讀配置文件和自定義配置文件進行相關(guān)的修改，來保證Hadoop集群可以協(xié)調(diào)運行；接著針對每個配置文件進行詳細介紹；介紹Hadoop集群的配置，先通過修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件來配置Hadoop集群主節(jié)點；再將集群主節(jié)點的配置文件分發(fā)到其他子節(jié)點；在hadoop01、hadoop02以及hadoop03節(jié)點上分別執(zhí)行“source/etc/profile”指令，使得配置文件生效；至此，Hadoop集群的安裝配置以及完成。2．Hadoop集群測試教師可以參考課件以講演法的方式來講述Hadoop集群測試。（1）介紹完成Hadoop集群的安裝和配置暫且不能啟動集群，需要對文件系統(tǒng)進行初始化后才能啟動集群，因此需要對主節(jié)點的文件系統(tǒng)進行格式化處理。介紹執(zhí)行格式化處理的指令后，若出現(xiàn)“successfullyformatted”信息則說明格式化文件系統(tǒng)成功，可以正常啟動Hadoop集群了。（2）介紹啟動和關(guān)閉Hadoop集群有兩種方式和過兩種方式分別演示啟動和關(guān)閉Hadoop集群3．通過UI界面查看Hadoop集群運行狀態(tài)教師可以參考課件以講演法的方式來講述通過UI界面查看Hadoop集群運行狀態(tài)。先介紹Hadoop集群啟動后開放的端口號50070和8088；在本地宿主機的hosts文件中添加集群服務(wù)IP映射，以便后續(xù)通過UI界面查看Hadoop的運行狀態(tài)；關(guān)閉Hadoop集群所有節(jié)點的防火墻；最后通過宿主機的瀏覽器分別訪問http://hadoop01:50070和查看HDFS和YARN集群狀態(tài)。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對課堂上講解的知識點進行總結(jié)。2．讓學(xué)生自己動手進行Hadoop集群配置、Hadoop集群測試以及通過UI界面查看Hadoop集群運行狀態(tài)的操作，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第五-六課時（上機練習(xí)）上機二：Hadoop完全分布式集群搭建按照教材中2.2小節(jié)的內(nèi)容及在教師輔導(dǎo)下完成。第七課時（Hive的安裝模式、Hive的安裝）一、回顧前幾節(jié)課內(nèi)容，1.對Hadoop完全分布式集群搭建遇到的問題進行答疑2．回顧Hadoop完全分布式集群搭建內(nèi)容，引出本節(jié)課的主題在前幾節(jié)中，主要講解了搭建大數(shù)據(jù)集群環(huán)境的準備工作和Hadoop完全分布式集群搭建內(nèi)容，接下來在已有環(huán)境的基礎(chǔ)上實現(xiàn)Hive的安裝。3．明確學(xué)習(xí)目標（1）了解Hive的安裝模式（2）掌握Hive的安裝與配置二、進行重點知識的講解1．Hive安裝模式講解教師對Hive的三種安裝模式，嵌入模式、本地模式、遠程模式進行講解。2．Hive安裝（1）教師在虛擬機中演示安裝Mysql數(shù)據(jù)庫為后續(xù)安裝本地模式Hive提供外部數(shù)據(jù)庫儲存元數(shù)據(jù)。（2）教師在虛擬機中安裝Hive演示Hive的嵌入模式。（3）教師在虛擬機中對Hive進行配置實現(xiàn)Hive的本地模式安裝。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對課堂上講解的知識點進行總結(jié)。2．讓學(xué)生自己動手進行Hive安裝配置的操作，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第八課時（上機練習(xí)）上機三：Hive安裝配置按照教材中2.3小節(jié)的內(nèi)容及在教師輔導(dǎo)下完成。第九課時（Sqoop安裝，上機操作）一、回顧前幾節(jié)課內(nèi)容，1.對Hive安裝遇到的問題進行答疑2．回顧Hive安裝內(nèi)容，引出本節(jié)課的主題在前幾節(jié)中，我們完成了Hadoop和Hive的安裝，本節(jié)課將安裝Sqoop數(shù)據(jù)遷移工具實現(xiàn)將Hadoop和Hive中儲存的數(shù)據(jù)內(nèi)容轉(zhuǎn)移到關(guān)系型數(shù)據(jù)庫Mysql中，為實現(xiàn)web程序的可視化數(shù)據(jù)做準備。3．明確學(xué)習(xí)目標（1）掌握Sqoop的安裝二、