《大數(shù)據(jù)技術(shù)基礎（第2版）》792-4（覃事剛）教案 第8課 數(shù)據(jù)存儲與管理（二）

PAGE2PAGE2PAGE3PAGE3

課題數(shù)據(jù)存儲與管理（二）課時2課時（90min）教學目標知識技能目標：（1）了解HBase的概念、數(shù)據(jù)模型和工作原理。（2） 了解Hive的概念、工作原理和執(zhí)行流程。思政育人目標：感受我國科技企業(yè)對全球基礎軟件開源做出的重要貢獻，深刻理解企業(yè)堅持走自主創(chuàng)新路線、構(gòu)建開源生態(tài)的重要意義，不斷增強創(chuàng)新自信教學重難點教學重點：HBase的概念、數(shù)據(jù)模型和工作原理，Hive的概念、工作原理教學難點：Hive的執(zhí)行流程教學方法案例分析法、問答法、討論法、講授法教學用具電腦、投影儀、多媒體課件、教材教學設計第1節(jié)課：→→傳授新知（18min）→實戰(zhàn)演練（20min）第2節(jié)課：→傳授新知（15min）→實戰(zhàn)演練（20min）→課堂小結(jié)（3min）→作業(yè)布置（2min）教學過程主要教學內(nèi)容及步驟設計意圖第一節(jié)課考勤

（2min）【教師】使用文旌課堂APP【學生】按照老師要求簽到培養(yǎng)學生的組織紀律性，掌握學生的出勤情況問題導入（5min）【教師】提出以下問題：隨著大數(shù)據(jù)時代的到來，需要存儲與管理的數(shù)據(jù)越來越多，數(shù)據(jù)的結(jié)構(gòu)也變得越來越復雜。我們已經(jīng)學習了分布式系統(tǒng)HDFS，那么分布式數(shù)據(jù)庫是什么呢？它是如何工作和運行的呢？【學生】聆聽、思考、舉手回答通過問題導入的方法，引導學生主動思考，激發(fā)學生的學習興趣傳授新知

（18min）【教師】通過學生的回答引入要講的知識，介紹分布式數(shù)據(jù)庫HBase一、HBase簡介?【教師】提出問題：什么是HBase？?【學生】思考、舉手回答HBase是一個開源的、分布式的、非關系型的列式數(shù)據(jù)庫。?【教師】提出問題：Hbase的特點有哪些？?【學生】思考、舉手回答?【教師】總結(jié)學生的回答（1）它彌補了Hadoop不能進行實時數(shù)據(jù)處理的缺陷，是一種非關系型數(shù)據(jù)庫（NoSQL數(shù)據(jù)庫），因此不能保證關系型數(shù)據(jù)庫的原子性、一致性、隔離性和持久性。（2）它采用了稀疏矩陣的存儲方式，對于空值（null）數(shù)據(jù)的存儲并不占用存儲空間。HBase表中的列可根據(jù)需求來動態(tài)增加，并且每個cell（由行和列來確定）的數(shù)據(jù)可以存在多個版本。（3）它可以通過增加節(jié)點的方式進行線性擴展，使得可以在用廉價計算機構(gòu)建的集群上管理超大規(guī)模的稀疏表。（詳見教材）?【教師】提出以下學習任務：閱讀教材“高手點撥”部分，總結(jié)數(shù)據(jù)管理技術(shù)的發(fā)展的階段特點，時間段和優(yōu)缺點。?【學生】自主學習、思考、理解二、HBase的數(shù)據(jù)模型?【教師】利用多媒體輔助講解HBase的數(shù)據(jù)模型Base是一個類似于Bigtable的分布式數(shù)據(jù)庫，它是一個稀疏的、長期存儲的（存在HDFS上）、多維度的、排序的映射表。HBase的數(shù)據(jù)都是字符串，沒有類型。HBase中的表一般由行鍵（rowkey）、時間戳（timestamp）、列族（columnfamily）、列（column）組成。（詳見教材）HBase的邏輯視圖三、HBase的工作原理?【教師】提出以下問題：對照HBase的體系結(jié)構(gòu)圖說一說HBase每一部分的組成和作用?【學生】思考、舉手回答?【教師】總結(jié)學生的回答（1）Client（客戶端）?？蛻舳税L問HBase的接口，可做一些本地緩存，如借助ZooKeeper服務器從主服務器HBaseMaster獲取Region位置信息，并從Region（HRegion）服務器上讀取數(shù)據(jù)。（2）Master（HMaster）。管理運行不同的Region服務器，也為客戶端操作HBase的所有元數(shù)據(jù)提供接口，同時負責RegionServer的故障處理和Region的切分。（詳見教材）【學生】聆聽、記錄、理解通過教師的講解和演示，互動以及案例，使學生了解分布式數(shù)據(jù)庫HBase實戰(zhàn)演練（20min）【教師】演示安裝并使用HBase數(shù)據(jù)庫的操作，然后組織學生上機操作（1）安裝和啟動HBase（2）HBase表和數(shù)據(jù)操作【學生】【教師】巡視課堂紀律，對操作有困難的學生進行指導通過實戰(zhàn)演練，加深學生對HBase數(shù)據(jù)庫相關操作的熟練度第二節(jié)課問題導入（5min）【教師】提出問題：我們已經(jīng)學習了管理數(shù)據(jù)的系統(tǒng)，那么數(shù)據(jù)是如何存儲的呢？【學生】聆聽、思考、舉手回答通過問題導入，引導學生主動思考，激發(fā)學生的學習興趣傳授新知（15min）【教師】通過學生的回答引入新的知識，介紹數(shù)據(jù)倉庫Hive一、Hive簡介Hive是一個基于Hadoop的數(shù)據(jù)倉庫框架，它使用SQL語句讀、寫和管理大型分布式數(shù)據(jù)集。Hive可以將SQL語句轉(zhuǎn)化為MapReduce（或Spark、Tez）任務執(zhí)行，大大降低了Hadoop的使用門檻，減少了開發(fā)MapReduce程序的時間成本?！ㄔ斠娊滩模?【教師】提出以下問題：HDFS有哪些優(yōu)缺點？?【學生】思考、舉手回答?【教師】對學生的回答進行總結(jié)Hive是Hadoop的頂級項目之一，也是Hadoop生態(tài)系統(tǒng)中的第一個SQL框架。它提供了一種類SQL的數(shù)據(jù)查詢語言——HiveQL（Hive查詢語言），并且通常被用來對歷史數(shù)據(jù)進行挖掘與分析。Hive并不能解決所有的大數(shù)據(jù)問題，例如，它不提供在線事務處理、實時數(shù)據(jù)查詢及記錄級的數(shù)據(jù)更新，不適合實現(xiàn)復雜的機器學習算法等。但是，Hive對于批量處理海量數(shù)據(jù)表現(xiàn)良好?！ㄔ斠娊滩模?【教師】提出以下學習任務：閱讀教材“提示”部分，了解Hive和HDFS的區(qū)別。?【學生】自主學習、思考、理解?【教師】利用多媒體輔助講解Hive支持的文件存儲格式，數(shù)據(jù)類型和數(shù)據(jù)模型Hive支持的文件存儲格式主要包括TextFile（文本文件）、SequenceFile（序列文件）、RCFile（列式記錄文件）等。Hive的數(shù)據(jù)類型分為基本數(shù)據(jù)類型和復合數(shù)據(jù)類型。其中，基本數(shù)據(jù)類型包括INT（整型）、BOOLEAN（布爾型）、STRING（字符串型）和TIMESTAMP（時間戳）等。Hive的數(shù)據(jù)模型包括數(shù)據(jù)庫、表、視圖、分區(qū)和表數(shù)據(jù)等。數(shù)據(jù)庫、表、分區(qū)等都對應HDFS上的一個目錄；表數(shù)據(jù)對應HDFS對應目錄下的文件。Hive中所有的數(shù)據(jù)都存儲在HDFS中，沒有專門的數(shù)據(jù)存儲格式，因為Hive是讀模式。二、Hive的工作原理?【教師】利用多媒體輔助講解Hive的工作原理Hive的體系主要由4部分組成：用戶接口、元數(shù)據(jù)存儲（Metastore）、跨語言服務（ThriftServer）和引擎（Driver）。（1）用戶接口。用戶接口負責接收用戶的輸入命令，主要有3個接口：CLI、JDBC/ODBC和WebUI。?！ㄔ斠娊滩模?【教師】提出以下學習任務：根據(jù)Hive的體系結(jié)構(gòu)圖進一步理解Hive每一部分的任務。?【學生】思考、分析、理解三、Hive的執(zhí)行流程?【教師】利用多媒體輔助講解Hive的執(zhí)行流程Hive作業(yè)通過命令行或者客戶端提交，經(jīng)過編譯器Compiler，借助Metastore中的元數(shù)據(jù)進行類型檢測和語法分析，生成一個邏輯方案（LogicalPlan），通過優(yōu)化處理，產(chǎn)生一個MapReduce任務?！ㄔ斠娊滩模緦W生】聆聽、記錄、理解通過講授，提問，討論等教學方式，讓學生了解數(shù)據(jù)倉庫Hive實戰(zhàn)演練（20min）【教師】演示安裝并使用Hive數(shù)據(jù)倉庫的基本操作，然后組織學生上機操作（1）安裝MySQL（2）安裝和配置Hive（3）Hive數(shù)據(jù)庫、表和數(shù)據(jù)查詢操作【學生】【教師】巡視課堂紀律，對操作有困難的學生進行指導通過實戰(zhàn)演練，使學生熟悉Hive數(shù)據(jù)倉庫基本操作，為后面的學習打好基礎課堂小結(jié)

（3min）【教師】簡要總結(jié)本節(jié)課的要點本節(jié)課學習了分布式文件數(shù)據(jù)庫HBase數(shù)據(jù)模型和工作原理，了解了數(shù)據(jù)倉庫Hive的工作原理和執(zhí)行流程。希望大家在課下多加練習，鞏固所學知識?！緦W生】總結(jié)回顧知識點總結(jié)知識點，鞏固學生對分布式文件數(shù)據(jù)庫HBase和數(shù)據(jù)倉庫Hive相關知識的印象作業(yè)布置

（2min）【教師】布置課后作業(yè)（1）對HBase表和數(shù)據(jù)進行操作（2）進行Hive的數(shù)據(jù)庫、表和數(shù)據(jù)查詢操作（3）完成本章節(jié)課后相關習題。【學生】完成課后任務通過課后作業(yè)復習鞏固學到的