16分組和連接Group運(yùn)算符

分組和連接Group運(yùn)算符2學(xué)習(xí)任務(wù)ApachePig分組和連接分組運(yùn)算符用于在一個(gè)或多個(gè)關(guān)系中對(duì)數(shù)據(jù)進(jìn)行分組，它收集具有相同key的數(shù)據(jù)。Group運(yùn)算符Cogroup運(yùn)算符3ApachePigGroup運(yùn)算符GROUP運(yùn)算符用于在一個(gè)或多個(gè)關(guān)系中對(duì)數(shù)據(jù)進(jìn)行分組，它收集具有相同key的數(shù)據(jù)。語法grunt>Group_data=GROUPRelation_nameBYage;4例假設(shè)在HDFS目錄/pig_data/中有一個(gè)名為student_details.txt的文件，如下所示。001,Rajiv,Reddy,21,9848022337,Hyderabad002,siddarth,Battacharya,22,9848022338,Kolkata003,Rajesh,Khanna,22,9848022339,Delhi004,Preethi,Agarwal,21,9848022330,Pune005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar006,Archana,Mishra,23,9848022335,Chennai007,Komal,Nayak,24,9848022334,trivendram008,Bharathi,Nambiayar,24,9848022333,Chennai5例將這個(gè)文件加載到ApachePig中，關(guān)系名稱為student_details，如下所示。grunt>student_details=LOAD'hdfs://localhost:9000/pig_data/student_details.txt'USINGPigStorage(',')as(id:int,firstname:chararray,lastname:chararray,age:int,phone:chararray,city:chararray);使用DUMP運(yùn)算符驗(yàn)證關(guān)系group_data，如下所示。grunt>group_data=GROUPstudent_detailsbyage;現(xiàn)在，讓我們按照年齡關(guān)系中的記錄/元組進(jìn)行分組，如下所示。grunt>Dumpgroup_data;6輸出將獲得顯示名為group_data關(guān)系的內(nèi)容的輸出，如下所示。在這里你可以觀察到結(jié)果模式有兩列:一個(gè)是age，通過它我們將關(guān)系分組。另一個(gè)是bag，其中包含一組元組，有各自年齡的學(xué)生記錄。7輸出在使用describe命令分組數(shù)據(jù)后，可以看到表的模式，如下所示。以同樣的方式，可以使用illustrate命令獲取模式的示例說明，如下所示。$Illustrategroup_data;grunt>Describegroup_data;8按多列分組讓我們按年齡和城市對(duì)關(guān)系進(jìn)行分組，如下所示。可以使用Dump運(yùn)算符驗(yàn)證名為group_multiple的關(guān)系的內(nèi)容，如下所示。grunt>Dumpgroup_multiple;grunt>group_multiple=GROUPstudent_detailsby(age,city);9GroupAll你可以按所有的列對(duì)關(guān)系進(jìn)行分組，如下所示。現(xiàn)在，請(qǐng)驗(yàn)證關(guān)系group_all的內(nèi)容，如下所示。grunt>Dumpgroup_all;grunt>group_all=GROUPstudent_detailsAll;10知識(shí)點(diǎn)小結(jié)通過本課的學(xué)習(xí)，我們了解了分組語句將數(shù)據(jù)是如