數(shù)據(jù)倉(cāng)庫(kù)Hive應(yīng)用實(shí)戰(zhàn) 教案57-60課時(shí)-導(dǎo)入數(shù)據(jù)到分區(qū)表

湖南汽車工程職業(yè)學(xué)院教師授課教案第8周第1-4課時(shí)累計(jì)60課時(shí)課程名稱大數(shù)據(jù)倉(cāng)庫(kù)HIVE授課課題管理分區(qū)表中的數(shù)據(jù)授課專業(yè)班級(jí)大數(shù)據(jù)2101、大數(shù)據(jù)2102、大數(shù)據(jù)2103教學(xué)目標(biāo)1.在靜態(tài)分區(qū)中導(dǎo)入數(shù)據(jù)2.在動(dòng)態(tài)分區(qū)中導(dǎo)入數(shù)據(jù)3.混合使用動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)導(dǎo)入數(shù)據(jù)教學(xué)要點(diǎn)教學(xué)重點(diǎn)混合使用動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)導(dǎo)入數(shù)據(jù)教學(xué)難點(diǎn)混合使用動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)導(dǎo)入數(shù)據(jù)課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成智課堂作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫(xiě)）授課教師王海霞、黃史記【課前復(fù)習(xí)】Hive表中數(shù)據(jù)導(dǎo)入的基本語(yǔ)法是什么？【作業(yè)點(diǎn)評(píng)】展示智課堂學(xué)生作業(yè)完成情況，并做點(diǎn)評(píng)。【學(xué)習(xí)目標(biāo)】能熟練使用多種方式將表中數(shù)據(jù)導(dǎo)出到Hive表中；【課程導(dǎo)入】前面成功創(chuàng)建了分區(qū)表，并且每個(gè)分區(qū)表對(duì)應(yīng)一個(gè)HDFS目錄，當(dāng)前表目錄均為空，此時(shí)需要將實(shí)際業(yè)務(wù)數(shù)據(jù)導(dǎo)入相應(yīng)分區(qū)表的分區(qū)中，即將數(shù)據(jù)存儲(chǔ)到每個(gè)子分區(qū)所對(duì)應(yīng)的HDFS子目錄中?！拘抡n講授】一、在靜態(tài)分區(qū)中導(dǎo)入數(shù)據(jù)在靜態(tài)分區(qū)中導(dǎo)入數(shù)據(jù)時(shí)，必須通過(guò)LOADDATA語(yǔ)句和INSERT語(yǔ)句中的PARTITION(partcol1[=val1],partcol2[=val2]...)為分區(qū)字段指定值，即必須有val1、val2等?！纠?-6】創(chuàng)建內(nèi)部分區(qū)表phy_course_static_partition，設(shè)置opt_cour為分區(qū)字段，把phy_course_hdfs表中選修了“basketball”課程和“football”課程的學(xué)生信息以靜態(tài)分區(qū)方式分別加載到分區(qū)表phy_course_static_partition中。第1步：創(chuàng)建分區(qū)表phy_course_static_partition。CREATETABLEphy_course_static_partition(stnameSTRINGCOMMENT'姓名',stidSTRINGCOMMENT'學(xué)號(hào)',classSTRINGCOMMENT'班級(jí)')PARTITIONEDBY(opt_courSTRINGCOMMENT'選修課程');第2步：使用PARTITION子句將查詢到的選修了“basketball”課程的數(shù)據(jù)插入指定分區(qū)。INSERTINTOTABLEphy_course_static_partitionPARTITION(opt_cour='basketball')SELECTstname,stid,classFROMphy_course_hdfsWHEREopt_cour='basketball';第3步：使用PARTITION子句將查詢到的選修了“football”課程的數(shù)據(jù)插入指定分區(qū)中。INSERTINTOTABLEphy_course_static_partitionPARTITION(opt_cour='football')SELECTstname,stid,classFROMphy_course_hdfsWHEREopt_cour='football';第4步：查看分區(qū)表phy_course_static_partition中的數(shù)據(jù)存儲(chǔ)目錄及目錄下的數(shù)據(jù)，發(fā)現(xiàn)該表已經(jīng)創(chuàng)建了opt_cour=basketball和opt_cour=football的2個(gè)分區(qū)，并且分區(qū)目錄下存儲(chǔ)了選修了basketball和football選修課的學(xué)生信息。二、在動(dòng)態(tài)分區(qū)中導(dǎo)入數(shù)據(jù)當(dāng)在動(dòng)態(tài)分區(qū)中導(dǎo)入數(shù)據(jù)時(shí)，必須通過(guò)LOADDATA語(yǔ)句和INSERT語(yǔ)句中的PARTITION(partcol1[=val1],partcol2[=val2]...)不需要為分區(qū)字段指定值，即不需要val1、val2等。例4-6展示的靜態(tài)分區(qū)在數(shù)據(jù)量巨大、分區(qū)很多的情況下需要使用非常多的HiveQL。例如，假定原始表phy_course_hdfs中包含100門(mén)選修課程，需要把這些數(shù)據(jù)按照選修課程拆分到分區(qū)表phy_course_static_partition的各分區(qū)中，就需要使用100條HiveQL語(yǔ)句。為了解決這類問(wèn)題，Hive提供了動(dòng)態(tài)分區(qū)。使用動(dòng)態(tài)分區(qū)必須滿足如下條件。開(kāi)啟動(dòng)態(tài)分區(qū)。sethive.exec.dynamic.partition=true;將分區(qū)模式設(shè)置為非嚴(yán)格的。sethive.exec.dynamic.partition.mode=nonstrict;當(dāng)hive.exec.dynamic.partition.mode屬性的值是strict時(shí)，要求分區(qū)字段必須有一個(gè)是靜態(tài)的分區(qū)值；當(dāng)hive.exec.dynamic.partition.mode屬性的值是nonstrict時(shí)，允許所有分區(qū)為動(dòng)態(tài)?！纠?-7】創(chuàng)建內(nèi)部分區(qū)表phy_course_dynamic_partition，將phy_course_hdfs中的數(shù)據(jù)動(dòng)態(tài)分區(qū)方式按照選修課程分區(qū)插入分區(qū)表phy_course_dynamic_partition。第1步：創(chuàng)建分區(qū)表phy_course_dynamic_partition。CREATETABLEphy_course_dynamic_partition(stnameSTRINGCOMMENT'姓名',stidSTRINGCOMMENT'學(xué)號(hào)',classSTRINGCOMMENT'班級(jí)')PARTITIONEDBY(opt_courSTRINGCOMMENT'選修課程');第2步：使用動(dòng)態(tài)分區(qū)語(yǔ)法將phy_course_hdfs中數(shù)據(jù)分區(qū)插入分區(qū)表phy_course_dynamic_partition中。INSERTINTOTABLEphy_course_dynamic_partitionPARTITION(opt_cour)SELECTstname,stid,class,opt_courFROMphy_course_hdfs;第3步：查看分區(qū)表phy_course_dynamic_partition中的存儲(chǔ)目錄及目錄下的數(shù)據(jù)，發(fā)現(xiàn)該表已經(jīng)為所有選修課程自動(dòng)創(chuàng)建了分區(qū)，并且分區(qū)目錄下存儲(chǔ)了選修了該門(mén)選修課程的學(xué)生信息，三、混合使用動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)導(dǎo)入數(shù)據(jù)當(dāng)使用INSERT語(yǔ)句導(dǎo)入數(shù)據(jù)時(shí)可以混合使用動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)?！纠?-8】創(chuàng)建分區(qū)表phy_course_static_dynamic_partition，設(shè)置opt_cour、class為分區(qū)字段，將phy_course_hdfs中的數(shù)據(jù)以混合分區(qū)方式把選修課程為“football”的學(xué)生信息分班級(jí)存儲(chǔ)到分區(qū)表phy_course_static_dynamic_partition中。第1步：創(chuàng)建分區(qū)表phy_course_static_dynamic_partition。CREATETABLEphy_course_static_dynamic_partition(stnameSTRINGCOMMENT'姓名',stidSTRINGCOMMENT'學(xué)號(hào)')PARTITIONEDBY(opt_courSTRINGCOMMENT'選修課程',classSTRINGCOMMENT'班級(jí)');第2步：使用混合分區(qū)的方式導(dǎo)入數(shù)據(jù)。INSERTINTOTABLEphy_course_static_dynamic_partitionPARTITION(opt_cour='football',class)SELECTstname,stid,classFROMphy_course_hdfsWHEREopt_cour='football';第3步：查看分區(qū)表phy_course_static_dynamic_partition中的存儲(chǔ)目錄及目