數(shù)據(jù)倉庫Hive應(yīng)用實(shí)戰(zhàn) 教案1-4課時(shí)-Hadoop簡(jiǎn)介

湖南汽車工程職業(yè)學(xué)院教師授課教案第1周第1-4課時(shí)累計(jì)4課時(shí)課程名稱大數(shù)據(jù)倉庫HIVE授課課題Hadoop簡(jiǎn)介授課專業(yè)班級(jí)大數(shù)據(jù)1801教學(xué)目標(biāo)能闡述清楚Hadoop產(chǎn)生的原因；能闡述清楚Hive在Hadoop生態(tài)中的意義；能闡述清楚Pig在Hadoop生態(tài)中的意義；能闡述清楚HBase在Hadoop生態(tài)中的意義。教學(xué)要點(diǎn)教學(xué)重點(diǎn)Hadoop生態(tài)系統(tǒng)的主要組件教學(xué)難點(diǎn)MapReduce的工作原理課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成智課堂作業(yè)、看書復(fù)習(xí)教學(xué)后記（教師課后填寫）授課教師王海霞【智課堂簽到】【課程簡(jiǎn)介及考核方式】一、課程簡(jiǎn)介二、課程考核方式平時(shí)成績(jī)占40%，期末考試占60%。平時(shí)成績(jī)考核包括：1、考勤和6s管理2、課堂測(cè)試和課后作業(yè)三、學(xué)習(xí)機(jī)房管理制度及上機(jī)要求【學(xué)習(xí)資源推薦】1、傳統(tǒng)學(xué)習(xí)資源： 權(quán)威教材2、在線學(xué)習(xí)資源：Hadoop生態(tài)系統(tǒng)中各大官方網(wǎng)站【互動(dòng)】現(xiàn)居住地的學(xué)習(xí)環(huán)境調(diào)研？學(xué)習(xí)準(zhǔn)備【新課講授】一、Hadoop綜述1、Hadoop概述Hadoop是由Apache基金會(huì)開發(fā)的分布式存儲(chǔ)與計(jì)算框架。用戶不需要了解底層的分布式計(jì)算原理就可以輕松開發(fā)出分布式計(jì)算程序，可以充分利用集群中閑置的計(jì)算資源，將集群的真正威力調(diào)動(dòng)起來。Hadoop由兩個(gè)重要模塊組成。一個(gè)是Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem，簡(jiǎn)稱HDFS），顧名思義，就是一個(gè)分布式的文件系統(tǒng)，可以將文件數(shù)據(jù)分布式地存儲(chǔ)在集群中的不同節(jié)點(diǎn)上。另一個(gè)是MapReduce系統(tǒng)，是一個(gè)針對(duì)大量數(shù)據(jù)的分布式計(jì)算系統(tǒng)，其可以將計(jì)算任務(wù)分割成多個(gè)處理單元然后分散到一群家用的或服務(wù)器級(jí)別的硬件機(jī)器上，從而降低成本并提供水平可伸縮性。2、ApacheHadoop的主要特點(diǎn)：3、Hadoop名字由來二、MapReduce綜述1、MapReduce簡(jiǎn)介用戶無需精通MapReduce就可以學(xué)習(xí)和使用Hive，但是掌握MapReduce的基本原理將有助于用戶理解Hive的底層運(yùn)作模式，以及了解如何操作才能更高效地運(yùn)用Hive，因此本書中提供關(guān)于MapReduce的簡(jiǎn)要描述，更多關(guān)于MapReduce細(xì)節(jié)知識(shí)，請(qǐng)參考Tomwhite（O’Reilly）所著的<<Hadoop權(quán)威指南>>一書。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"，"Reduce（歸約）"，和其主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。2、MapReduce運(yùn)行機(jī)制Hadoop框架下MapReduce的運(yùn)行機(jī)制《MapReduce:SimplifiedDataProcessingonLargeCluster》翻譯/YaoDD/p/6017397.html，用一個(gè)典型的架構(gòu)圖來表示，如圖1-1《MapReduce:SimplifiedDataProcessingonLargeCluster》翻譯/YaoDD/p/6017397.html圖1-1MapReduce運(yùn)行機(jī)制（1）用戶應(yīng)用程序提交給Master機(jī)（主節(jié)點(diǎn)，負(fù)責(zé)管理文件系統(tǒng)的命名空間以及客戶端對(duì)文件的訪問）。（2）依據(jù)程序確定運(yùn)行的worker機(jī)（數(shù)據(jù)節(jié)點(diǎn)，充當(dāng)一個(gè)node（節(jié)點(diǎn)），啟動(dòng)一個(gè)Datanode的守護(hù)進(jìn)程，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)）。（3）在運(yùn)行Mapper前進(jìn)行分片（split）處理。（4）在多臺(tái)worker本地啟用眾多的Mapper運(yùn)行分配的小任務(wù)，并將Mapper運(yùn)行的結(jié)果寫入上下文，然后進(jìn)行Shuffle處理。（5）負(fù)責(zé)運(yùn)行少量Reducer任務(wù)的worker機(jī)從shuffle中將數(shù)據(jù)拉取回來。（6）將Reducer運(yùn)算結(jié)果寫入輸出文件（Outputfiles）?！净?dòng)提問】如果你不是一名Java程序員，那就不能編寫JavaMapreduce代碼了，但是，如果你已經(jīng)熟悉SQL，那學(xué)習(xí)Hive將會(huì)相當(dāng)?shù)厝菀祝液芏喑绦蚨寄芎苋菀浊铱焖賹?shí)現(xiàn)。【新課講授】三、Hadoop生態(tài)系統(tǒng)中的Hive1、hive簡(jiǎn)介Hive不僅提供了熟悉SQL的用戶所能熟悉的編程模型，還消除了大量的通用代碼，甚至是那些有時(shí)是不得不使用Java編寫的令人棘手的代碼。這就是為什么Hive對(duì)于Hadoop是如此重要的原因，無論用戶是DBA還是Java開發(fā)工程師。Hive可以讓你花費(fèi)相當(dāng)少的精力就可以完成大量的工作。圖1-2顯示了Hive的主要“模塊”以及Hive是如何與Hadoop交互工作的。圖1-2Hive組成模塊有多種方式可以與Hive進(jìn)行交互。本書中，我們將主要關(guān)注于CLI，也就是命令行界面?！净?dòng)提問】以下那個(gè)不是Hive發(fā)行版中附帶的能進(jìn)行編程訪問的模塊（）CLIB、HWIC、MapReduceD、JDBC【新課講授】四、Hadoop生態(tài)系統(tǒng)中的Pig1、pig簡(jiǎn)介2、pig的缺點(diǎn)【互動(dòng)提問】1、Pig被描述成一種數(shù)據(jù)流語言，而不是一種查詢語言。（）2、Hive的替代工具中最有名的就是Pig了，Pig是由Fackbook開發(fā)完成的。（）【新課講授】五、Hadoop生態(tài)系統(tǒng)中的HBase六、Java和Hive：詞頻統(tǒng)計(jì)算法1、簡(jiǎn)單分析代碼2、比較兩者異同【互動(dòng)：提問】1、以下不屬于ApacheHadoop生態(tài)系統(tǒng)中的是（）DA、HiveB、HBase