課題一分組去topN統(tǒng)計(jì)溫度案例

分組取topN統(tǒng)計(jì)溫度案例掌握分組取topN統(tǒng)計(jì)溫度案例

1、需求2、設(shè)計(jì)思路3、階段4、代碼編寫5、結(jié)果展示需求：從一組數(shù)據(jù)中，統(tǒng)計(jì)每一年的每一個(gè)月中，氣溫最高的前兩天。輸入樣例：1949-10-0114:21:0234c1949-10-0214:01:0236c1950-01-0111:21:0232c1950-10-0112:21:0237c1951-12-0112:21:0223c1950-10-0212:21:0241c1950-10-0312:21:0227c1951-07-0112:21:0245c 1951-07-0212:21:0246c1951-07-0312:21:0347c需求輸出樣例：1949-10-2-361949-10-1-341.對(duì)于輸出結(jié)果，如何保證，選取兩條氣溫最高的記錄？將相同的年月下的記錄按照溫度降序排列。這樣，在最終獲取結(jié)果時(shí)，前兩條記錄一定是氣溫最高的兩天。2.如何獲得相同的年月下的氣溫最高的記錄呢？對(duì)于reduce端拉取的數(shù)據(jù)，保證reduce每次處理的數(shù)據(jù)為同一年同一個(gè)月份下的數(shù)據(jù)，將同年同月的數(shù)據(jù)排序（這個(gè)階段可由group做），取前兩條記錄，即為該年該月下，氣溫最高的前兩條記錄。3．上一個(gè)wordCount案例中的排序，是按照MapReduce程序默認(rèn)的字典排序規(guī)則，進(jìn)行排序，但對(duì)于本示例，既要對(duì)日期進(jìn)行升序排列（默認(rèn)），又要對(duì)溫度做降序排列，那么如何操作？設(shè)計(jì)思路map階段：負(fù)責(zé)將數(shù)據(jù)切分，對(duì)應(yīng)存入JavaBean中。將JavaBean傳入partition階段。partition階段：繼承Partitioner，復(fù)寫getPartition()方法，指定相同年份的數(shù)據(jù)分到同一個(gè)reduce中，這樣，一個(gè)reduce任務(wù)，對(duì)應(yīng)輸出一個(gè)文件。sort階段：確保每個(gè)傳遞過來的JavaBean，確定排序規(guī)則：相同的年份，比較月份；月份相同，比較溫度。group階段：此階段為shufflereduce端的分組排序。Reduce階段：統(tǒng)計(jì)每一年中每一個(gè)月中每天的溫度，并選擇其中溫度最高的兩條記錄。階段Configurationconf=newConfiguration();conf.set("fs.defaultFS","HDFS://Master:9000");Jobjob=Job.getInstance(conf);//設(shè)置程序入口job.setJarByClass(runJob.class);//設(shè)置map類job.setMapperClass(mapper.class);//設(shè)置map的輸出類型job.setMapOutputKeyClass(weather.class);job.setMapOutputValueClass(IntWritable.class);//設(shè)置reduce類job.setReducerClass(reduce.class);job.setPartitionerClass(TQpartition.class);job.setSortComparatorClass(sort.class);job.setGroupingComparatorClass(group.class);job.setNumReduceTasks(3