實(shí)訓(xùn)11 數(shù)據(jù)操縱操作DML

實(shí)訓(xùn)5.3數(shù)據(jù)操縱操作DML1.實(shí)訓(xùn)目的通過本實(shí)訓(xùn)，理解內(nèi)部表與外部表的概念，理解表數(shù)據(jù)加載的四種方式與區(qū)別，理解DDL的概念以及實(shí)際操作。2.實(shí)訓(xùn)內(nèi)容本實(shí)訓(xùn)通過創(chuàng)建內(nèi)部表與外部表，并對(duì)其進(jìn)行刪除，對(duì)比操作結(jié)果來理解內(nèi)部表與外部表的概念，并進(jìn)行了其他的DML操作，最后操作數(shù)據(jù)加載與導(dǎo)出相關(guān)的四種操作。3.實(shí)訓(xùn)要求以小組為單元進(jìn)行實(shí)訓(xùn)，每小組5人，小組自主協(xié)商選一位組長(zhǎng)，由組長(zhǎng)安排和分配實(shí)訓(xùn)任務(wù)。4.準(zhǔn)備知識(shí)所需要具備的準(zhǔn)備知識(shí)，主要是前面所學(xué)過的內(nèi)容，此處一起回顧一下。（1）內(nèi)部表與外部表①概念未被external修飾的是內(nèi)部表，被external修飾的為外部表，默認(rèn)情況下是內(nèi)部表；

②區(qū)別內(nèi)部表數(shù)據(jù)由Hive自身管理，外部表數(shù)據(jù)由HDFS管理；刪除內(nèi)部表會(huì)直接刪除元數(shù)據(jù)及存儲(chǔ)數(shù)據(jù)；刪除外部表僅僅會(huì)刪除元數(shù)據(jù)，HDFS上的文件并不會(huì)被刪除；5.實(shí)訓(xùn)步驟（1）創(chuàng)建內(nèi)部表①創(chuàng)建內(nèi)部表usetest2;createtableemp_managedasselect*fromemp;②切換終端，查看表是否在HDFS的/myhive/mydb目錄中（在實(shí)訓(xùn)5.2中emp表的路徑為/myhive/mydb）hdfsdfs-ls/myhive/mydb 操作結(jié)果如圖5-34所示。圖5-34查詢emp_managed表路徑③查看Hive的元數(shù)據(jù)信息在登錄了MySQL的終端操作usehive;select*fromTBLS; 查詢結(jié)果如圖5-35所示。圖5-35查詢TBLS④切換回登錄hive的終端，刪除表emp_manageddroptableifexistsemp_managed;showtables;發(fā)現(xiàn)emp_managed表已經(jīng)被刪除，結(jié)果如圖5-36所示。圖5-36查看表結(jié)果同樣，在MySQL中是已經(jīng)看不到emp_managed表相關(guān)的數(shù)據(jù)了。執(zhí)行語句為：select*fromTBLS;此時(shí)，查看HDFS上/myhive/mydb目錄下的數(shù)據(jù)hdfsdfs-ls/myhive/mydb 發(fā)現(xiàn)數(shù)據(jù)也已經(jīng)被刪除，操作結(jié)果如圖5-37所示。圖5-37查看數(shù)據(jù)是否刪除由此可知，Hive中的內(nèi)部表被刪除時(shí)，MySQL中Hive的元數(shù)據(jù)也被刪除，內(nèi)部表所對(duì)應(yīng)HDFS中的數(shù)據(jù)也會(huì)被刪除。（2）外部表①創(chuàng)建外部表createexternaltableemp_external(empnoint,enamestring,jobstring,mgrint,hiredatestring,saldouble,commdouble,deptnoint)rowformatdelimitedfieldsterminatedby','location'/hive_external/emp';②查看Hive的元數(shù)據(jù)信息（實(shí)訓(xùn)5.2中已配置在MySQL中）切換到登錄MySQL的終端，查詢：select*fromTBLS; 可以看到emp_external的表類型為外部表。如圖5-38所示。圖5-38查看emp_external表類型③切換終端，上傳數(shù)據(jù)到emp_external所指定的HDFS文件夾中hdfsdfs-put/root/datas/emp.txt/hive_external/emp/④切換回登錄了Hive的終端，查看emp_external表數(shù)據(jù)select*fromemp_external; 發(fā)現(xiàn)emp_external表已經(jīng)有數(shù)據(jù)了。如圖5-39所示。圖5-39查看emp_external表數(shù)據(jù)⑤刪除表emp_externaldroptableifexistsemp_external;⑥重新查看表是否在HDFS中showtables; 操作結(jié)果如圖5-40所示。圖5-40刪除emp_external表后重新查看同樣，在MySQL中是已經(jīng)看不到emp_managed表相關(guān)的數(shù)據(jù)了。執(zhí)行語句為：select*fromTBLS;切換終端，查看emp_managed表所指向目錄的數(shù)據(jù)是否被刪除：hdfsdfs-ls/hive_external/emp 發(fā)現(xiàn)HDFS中/hive_external/emp目錄的數(shù)據(jù)并沒有被刪除。如圖5-41所示。圖5-41查看HDFS中emp_external的數(shù)據(jù)由此可知，Hive所定義的外部表被刪除時(shí)，MySQL中Hive的元數(shù)據(jù)也會(huì)被刪除，但是外部表所對(duì)應(yīng)的HDFS數(shù)據(jù)不會(huì)被刪除。（1）加載與導(dǎo)出表數(shù)據(jù)①加載表數(shù)據(jù)從本地文件加載數(shù)據(jù)到hive表中

：loaddatalocalinpath'/root/datas/emp.txt'intotableemp;select*fromemp; 發(fā)現(xiàn)數(shù)據(jù)已經(jīng)加載到了emp表中了，方式是追加數(shù)據(jù)。如圖5-42所示。圖5-42加載數(shù)據(jù)并查看Hive表數(shù)據(jù)切換終端，創(chuàng)建HDFS目錄與上傳數(shù)據(jù)：hdfsdfs-mkdir-p/datas/hivehdfsdfs-put/root/datas/emp.txt/datas/hive/切換到登錄了Hive的終端，從HDFS加載數(shù)據(jù)到Hive表中（覆蓋掉之前的數(shù)據(jù)）：loaddatainpath'/datas/hive/emp.txt'overwriteintotableemp;select*fromemp; 發(fā)現(xiàn)原來的數(shù)據(jù)已經(jīng)被覆蓋，方式是覆蓋數(shù)據(jù)，而不是追加。結(jié)果如圖5-43所示。圖5-43從HDFS加載數(shù)據(jù)并查看同時(shí)，可以發(fā)現(xiàn)/datas/hive/emp.txt的數(shù)據(jù)已經(jīng)沒有了。②導(dǎo)出表數(shù)據(jù)導(dǎo)出數(shù)據(jù)到本地目錄/root/datas/tmp下（如果目錄不存在，會(huì)自動(dòng)建立）insertoverwritelocaldirectory'/root/datas/tmp'rowformatdelimitedfieldsterminatedby','select*fromemp; 操作結(jié)果如圖5-44所示。圖5-44導(dǎo)出數(shù)據(jù)到本地并查看切換終端，查看本地目錄/root/datas/tmp導(dǎo)出的文件cd/root/datas/tmpmore000000_0 操作結(jié)果如圖5-45所示。圖5-45本地查看導(dǎo)出的文件切換到登錄了Hive的終端，導(dǎo)出數(shù)據(jù)到HDFS的/data/hive目錄（目前此目錄已經(jīng)沒有數(shù)據(jù)）insertoverwritedirectory'/datas/hive'rowformatdelimitedfieldsterminatedby','select*fromemp; 操作結(jié)果如圖5-46所示。圖5-46導(dǎo)出數(shù)據(jù)到HDFS切換終端，查看HDFS的/data/hive目錄是否有數(shù)據(jù)hdfsdfs-ls/datas/hive 發(fā)現(xiàn)此目錄下，已經(jīng)有到處的數(shù)據(jù)了