2023學(xué)年完整公開課版partitioner詳解

partitioner詳解2學(xué)習(xí)任務(wù)了解partitioner的工作機制了解partitioner的種類3知識目標默認Hadoop分區(qū)器是什么Hadoop共有幾種分區(qū)器類型01能力目標了解Partitioner的工作原理了解Partitioner的有優(yōu)勢了解Partitioner的種類02學(xué)習(xí)目標4目錄01HadoopPartitioner分區(qū)程序02Hadoop提供的Partitioner種類5HadoopPartitioner分區(qū)程序MapReduce的Partitioner分區(qū)程序控制中間映射器輸出鍵的分區(qū)。通過散列函數(shù)，密鑰（或密鑰的子集）用于導(dǎo)出分區(qū)。分區(qū)總數(shù)取決于reduce任務(wù)的數(shù)量。Partitioner的作用是對Mapper產(chǎn)生的中間結(jié)果進行分片，以便將同一分組的數(shù)據(jù)交給同一個Reducer處理，它直接影響Reduce階段的負載均衡。6HadoopPartitioner分區(qū)程序如何使用Hadoop產(chǎn)生一個全局排序的文件？最簡單的方法就是使用一個分區(qū)，但是該方法在處理大型文件時效率極低，因為一臺機器必須處理所有輸出文件，從而完全喪失了MapReduce所提供的并行架構(gòu)的優(yōu)勢。事實上我們可以這樣做，首先創(chuàng)建一系列排好序的文件；其次，串聯(lián)這些文件（類似于歸并排序）；最后得到一個全局有序的文件。主要的思路是使用一個partitioner來描述全局排序的輸出。使用partitioner的原因7HadoopPartitioner分區(qū)程序比方說有1000個1-10000的數(shù)據(jù)，跑10個ruduce任務(wù)，如果我們運行進行partition的時候，能夠?qū)⒃?-1000中數(shù)據(jù)的分配到第一個reduce中，1001-2000的數(shù)據(jù)分配到第二個reduce中，以此類推。即第n個reduce所分配到的數(shù)據(jù)全部大于第n-1個reduce中的數(shù)據(jù)。這樣，每個reduce出來之后都是有序的了，我們只要cat所有的輸出文件，變成一個大的文件，就都是有序的。partitioner的使用例子8HadoopPartitioner分區(qū)程序HadoopMapReduce中的默認Hadoop分區(qū)程序是HashPartitioner，用于計算密鑰的哈希值并根據(jù)此結(jié)果分配分區(qū)。MAX_VALUE默認使用key的hash值與上int的最大值，避免出現(xiàn)數(shù)據(jù)溢出。MapReduce默認分區(qū)程序packageorg.apache.hadoop.mapreduce.lib.partition;importorg.apache.hadoop.mapreduce.Partitioner;publicclassHashPartitioner<K,V>extendsPartitioner<K,V>{publicintgetPartition(Kkey,Vvalue,intnumReduceTasks){return(key.hashCode()&Integer.MAX_VALUE)%numReduceTasks;}}9Hadoop提供的Partitioner種類Partitioner<k,v>是partitioner的基類，如果需要定制partitioner也需要繼承該類。patition類結(jié)構(gòu)packageorg.apache.hadoop.mapred;@DeprecatedpublicinterfacePartitioner<K2,V2>extendsJobConfigurable{intgetPartition(K2key,V2value,intnumPartitions);}10Hadoop提供的Partitioner種類HadoopMapReduce中的默認Hadoop分區(qū)程序是HashPartitioner。計算方法是whichreducer=(key.hashCode()&Integer.MAX_VALUE)%numReduceTasks，得到當前的目的reducer。HashPartitionerpackageorg.apache.hadoop.mapreduce.lib.partition;importorg.apache.hadoop.mapreduce.Partitioner;publicclassHashPartitioner<K,V>extendsPartitioner<K,V>{publicintgetPartition(Kkey,Vvalue,intnumReduceTasks){return(key.hashCode()&Integer.MAX_VALUE)%numReduceTasks;}}11Hadoop提供的Partitioner種類BinaryPatitioner繼承于Partitioner<BinaryComparable,V>，是Partitioner<k,v>的偏特化子類。該類提供leftOffset和rightOffset在計算whichreducer時僅對鍵值K的[rightOffset，leftOffset]這個區(qū)間取hash。計算方法是Whichreducer=(hash&Integer.MAX_VALUE)%numReduceTasks。BinaryPatitionerreducer=(hash&Integer.MAX_VALUE)%numReduceTasks12Hadoop提供的Partitioner種類BinaryPatitionerpublicintgetPartition(BinaryComparablekey,Vvalue, intnumPartitions){ intlength=key.getLength(); intleftIndex=(leftOffset+length)%length; intrightIndex=(rightOffset+length)%length; inthash=WritableComparator.hashBytes(key.getBytes(), leftIndex,rightIndex-leftIndex+1); return(hash&Integer.MAX_VALUE)%numPartitions;}13Hadoop提供的Partitioner種類KeyFieldBasedPartitioner也是基于hash的個partitioner。和BinaryPatitioner不同，它提供了多個區(qū)間用于計算hash。當區(qū)間數(shù)為0時KeyFieldBasedPartitioner退化成