大數(shù)據(jù)應(yīng)用的中存儲和處理問題剖析2

大數(shù)據(jù)問題紐約證券交易所每天產(chǎn)生1TB的交易數(shù)據(jù)社交網(wǎng)站facebook的主機(jī)存儲著約10億張照片，占據(jù)PB級存儲空間互聯(lián)網(wǎng)檔案館存儲著約2PB數(shù)據(jù)，并以每月至少20TB的速度增長。瑞士日內(nèi)瓦附近的大型強(qiáng)子對撞機(jī)每年產(chǎn)生約15PB的數(shù)據(jù)這么大的數(shù)據(jù)該怎么存儲和讀??？傳統(tǒng)關(guān)系型數(shù)據(jù)庫（oracle）的成本Facebook的服務(wù)器大概1萬臺，按照oracle的標(biāo)準(zhǔn)10g版本計算大約需要21億元Hadoop簡介Hadoop一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲。由HDFS、MapReduce、HBase、Hive和ZooKeeper等成員組成。其中，HDFS和MapReduce是兩個最基礎(chǔ)最重要的成員。HDFS是GoogleGFS的開源版本，一個高度容錯的分布式文件系統(tǒng)，它能夠提供高吞吐量的數(shù)據(jù)訪問，適合存儲海量（PB級）的大文件（通常超過64M），其原理如圖所示：Hadoop優(yōu)點(diǎn)可擴(kuò)展：不論是存儲的可擴(kuò)展還是計算的可擴(kuò)展都是Hadoop的設(shè)計根本。經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上?？煽浚悍植际轿募到y(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。（元數(shù)據(jù)磁盤錯誤，心跳測試，副本數(shù)，快照（目前還沒實(shí)現(xiàn)））高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合LocalData處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。Hadoop在國內(nèi)的分布情況Hadoop作業(yè)調(diào)度默認(rèn)調(diào)度算法FIFO公平份額調(diào)度算法FairScheduler計算能力調(diào)度算法CapacityScheduler作業(yè)調(diào)度總結(jié)

默認(rèn)調(diào)度算法FIFO簡介最早的HadoopMap/Reduce計算架構(gòu)中，JobTracker在進(jìn)行作業(yè)調(diào)度時使用的是FIFO(FirstInFirstOut)算法。所有用戶的作業(yè)都被提交到一個隊列中，然后由JobTracker先按照作業(yè)的優(yōu)先級高低，再按照作業(yè)提交時間的先后順序選擇將被執(zhí)行的作業(yè)。優(yōu)點(diǎn)調(diào)度算法簡單明了，JobTracker工作負(fù)擔(dān)輕。缺點(diǎn)忽略了不同作業(yè)的需求差異。例如如果類似對海量數(shù)據(jù)進(jìn)行統(tǒng)計分析的作業(yè)長期占據(jù)計算資源，那么在其后提交的交互型作業(yè)有可能遲遲得不到處理，從而影響到用戶的體驗。新的調(diào)度算法當(dāng)前，新的調(diào)度器已經(jīng)作為插件的形式集成在Hadoop當(dāng)中。公平份額調(diào)度算法FairSchedulerFairScheduler提出背景FairScheduler基礎(chǔ)知識FairScheduler兩個關(guān)鍵問題FairScheduler的配置FairScheduler提出背景提出背景Facebook要處理生產(chǎn)型作業(yè)(數(shù)據(jù)統(tǒng)計分析,hive)、大型批處理作業(yè)(數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí))、小型交互型作業(yè)(hive查詢)。不同用戶提交的作業(yè)在計算時間、存儲空間、數(shù)據(jù)流量和響應(yīng)時間上都有不同需求。為使hadoopmapreduce框架能夠應(yīng)對多種類型作業(yè)并行執(zhí)行，使得用戶具有良好的體驗，F(xiàn)acebook公司提出該算法。FairScheduler基礎(chǔ)知識設(shè)計思想盡可能保證所有的作業(yè)都能夠獲得等量的資源份額。系統(tǒng)中只有一個作業(yè)執(zhí)行時，它將獨(dú)占集群所有資源。有其他作業(yè)被提交時就會有TaskTracker被釋放并分配給新提交的作業(yè)，以保證所有的作業(yè)都能夠獲得大體相同的計算資源。作業(yè)池用戶提交的作業(yè)將會放進(jìn)一個能夠公平共享資源的pool(池)中。每個作業(yè)池設(shè)定了一個最低資源保障(aguaranteedminimumshare)，當(dāng)一個池中包含job時，它至少可以獲得minimumshare的資源——最低保障資源份額機(jī)制。池中的作業(yè)獲得一定份額的資源?？梢酝ㄟ^配置文件限制每個池中的作業(yè)數(shù)量。缺省情況下，每個作業(yè)池中選擇將要執(zhí)行的作業(yè)的策略是FIFO策略，先按照優(yōu)先級高低排序，然后再按照提交時間排序。FairScheduler基礎(chǔ)礎(chǔ)知識作業(yè)和作作業(yè)池的的權(quán)值weight缺省情況況下，F(xiàn)airScheduler會為每一一個用戶戶建立一一個單獨(dú)獨(dú)的pool。所有用用戶能夠夠獲得等等量的資資源份額額而無論論他提交交了多少少作業(yè)，，而每個個pool中，各個作業(yè)業(yè)將平分分配配給所在池的的資源。實(shí)際應(yīng)用中，，無論是作業(yè)業(yè)池還是作業(yè)業(yè)，都被賦予予一定的權(quán)值，并以此為依依據(jù)獲得相應(yīng)應(yīng)比例的資源源。這種情況況下，作業(yè)池池和作業(yè)在資資源分配時不不是嚴(yán)格的平平均分配，但但這有利于根根據(jù)作業(yè)的重重要程度及實(shí)實(shí)際需求合理理分配資源。。FairScheduler兩個個關(guān)鍵問題如何選擇合適適的作業(yè)執(zhí)行行默認(rèn)是FIFO策略，此外還還有一種基于于缺額的策略略。FairScheduler為每個作業(yè)定定義了一個deficit(缺額)指標(biāo)。Deficit是一個作業(yè)在在理想情況下的的獲得的計算算資源和實(shí)際際中獲得的計計算資源之間間的差距。FairScheduler會每隔幾百毫毫秒觀察每個個作業(yè)中有多多少任務(wù)已經(jīng)經(jīng)在這個時間間間隔內(nèi)執(zhí)行行，并將結(jié)果果與它應(yīng)得的的資源份額比比較，以更新新該作業(yè)的deficit值。一旦有空空閑的tasktracker出現(xiàn)，首先分分配給當(dāng)前具具有最高deficit值的作業(yè)。例外——如果系統(tǒng)中存存在著尚未獲獲得最低資源源保障的作業(yè)業(yè)池，那么該該池中的作業(yè)業(yè)將會優(yōu)先調(diào)調(diào)度，而選擇擇池中的作業(yè)業(yè)需要根據(jù)它它們的deficit來決定。這樣樣做是為了盡盡可能滿足作作業(yè)池最低保保障資源份額額的機(jī)制。FairScheduler兩個個關(guān)鍵問題如何確定每個個作業(yè)的資源源份額缺省情況是平平分資源，此此外提供一種種基于權(quán)值的的資源分配方方法。作業(yè)資源份額額的計算是根根據(jù)作業(yè)的權(quán)權(quán)值將集群的的資源總量劃劃分給各個可可以運(yùn)行的作作業(yè)。默認(rèn)情況下，，權(quán)值基于作作業(yè)優(yōu)先級，，每個優(yōu)先級級對應(yīng)的權(quán)值值是低一個優(yōu)優(yōu)先級的2倍(優(yōu)先級共有VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW五個等級，則則VERY_HIGH具有4倍NORMAL的權(quán)值)。作業(yè)和作業(yè)池池的權(quán)值可以以在池配置文文件中進(jìn)行設(shè)設(shè)定，例如可可以基于作業(yè)業(yè)的大小和提提交時間來設(shè)設(shè)定。作業(yè)池的最低低資源保障也也是按照權(quán)值值比例分配給給其中的作業(yè)業(yè)。計算能力調(diào)度度CapacitySchedulerCapcityScheduler基礎(chǔ)知識CapcityScheduler一個關(guān)鍵問題題CapcityScheduler內(nèi)存管理CapcityScheduler的配置CapcitySchedule基礎(chǔ)知識基礎(chǔ)知識CapacityScheduler是由雅虎提出出的作業(yè)調(diào)度度算法，它提提供了類似于于FairScheduler算法的功能。。CapacityScheduler中可以定義多多個作業(yè)隊列列(multiplequeues)，作業(yè)提交時時將直接放入入到一個隊列列中。每個隊列都可可以通過配置置獲得一定數(shù)數(shù)量的tasktracker資源用于處理理map/reduce操作，調(diào)度算算法將按照配配置文件為隊隊列分配相應(yīng)應(yīng)的計算資源源量。對于已經(jīng)分配配給了某隊列列但處于空閑閑的資源各個個“忙”的隊隊列會分享它它們。當(dāng)某一一隊列沒有能能夠按照配置置的數(shù)量值獲獲得足夠資源源但是它的作作業(yè)壓力增加加了時，之前前那些曾分配配給它但又由由于之前空閑閑被別的隊列列所占用了的的資源會在完完成當(dāng)前task后立即分配給給回應(yīng)屬的隊隊列。CapcitySchedule基礎(chǔ)知識基礎(chǔ)知識CapacityScheduler的每個隊列中中采用的調(diào)度度策略是FIFO算法。CapacityScheduler默認(rèn)情況下不不支持優(yōu)先級級，但是可以以在配置文件件中開啟此選選項，如果支支持優(yōu)先級，，調(diào)度算法就就是帶有優(yōu)先先級的FIFO。CapacityScheduler不支持優(yōu)先級級搶占，一旦旦一個作業(yè)開開始執(zhí)行，在在執(zhí)行完之前前它的資源不不會被高優(yōu)先先級作業(yè)所搶搶占。CapacityScheduler對隊列中同一一用戶提交的的作業(yè)能夠獲獲得的資源百百分比進(jìn)行了了限制以使同同屬于一用戶戶的作業(yè)不能能出現(xiàn)獨(dú)占資資源的情況。。CapcityScheduler一個關(guān)鍵鍵問題如何選擇合適適的作業(yè)去執(zhí)執(zhí)行為隊列定義了了一個指標(biāo)—隊列中正在運(yùn)運(yùn)行的任務(wù)數(shù)數(shù)與其應(yīng)該分分得的計算資資源(配置文件中為為此隊列分配配了相應(yīng)數(shù)量量的資源，而而實(shí)際中該隊隊列可能沒有有分配到)之間的比值。當(dāng)系統(tǒng)中出出現(xiàn)空閑的tasktracker，算法會首先先選擇一個該該比值最低的的隊列。隊列被選中后后，將按照作作業(yè)優(yōu)先級(如果支持的話話)和提交時間順順序選擇執(zhí)行行的作業(yè)。在選擇作業(yè)的的時候，還需需要考慮作業(yè)業(yè)所屬的用戶戶是否已經(jīng)超超出了他所能能使用的資源源限制。此外，還會考考慮tasktracker內(nèi)存資源是否否滿足作業(yè)的的要求。CapcityScheduler內(nèi)存管理理內(nèi)存資源的有有效管理CapacityScheduler能有效地對hadoop集群的內(nèi)存資資源進(jìn)行管理理，以支持內(nèi)內(nèi)存密集型應(yīng)應(yīng)用。作業(yè)對內(nèi)存資資源需求高時時，調(diào)度算法法將把該作業(yè)業(yè)的相關(guān)任務(wù)務(wù)分配到內(nèi)存存資源充足的的tasktracker上。在作業(yè)選擇過過程中，CapacityScheduler會檢查空閑tasktracker上的內(nèi)存資源源是否滿足作作業(yè)要求。tasktracker上的空閑資源源(內(nèi)存)數(shù)量值可以通通過tasktracker的內(nèi)存資源總總量減去當(dāng)前前已經(jīng)使用的的內(nèi)存數(shù)量得得到，而后者者包含在tasktracker向jobtracker發(fā)送的周期性性心跳信息中中。目前，基于內(nèi)內(nèi)存的調(diào)度只只能在linux平臺下起作用用，關(guān)于內(nèi)存存調(diào)度的相關(guān)關(guān)參數(shù)可以通通過配置文件件來設(shè)置。Hadoop公平調(diào)度器器算法解析※公平調(diào)度介介紹※公平調(diào)度算法法分析基于缺額的調(diào)調(diào)度算法變量定義相關(guān)算法※公平調(diào)度算法法分析層次調(diào)度算法法公平調(diào)度介紹紹公平調(diào)度器按按資源池（pool）來組織作業(yè)，，并把資源公公平的分到這這些資源池里里。默認(rèn)情況況下，每一個個用戶擁有一一個獨(dú)立的資資源池，以使使每個用戶都都能獲得一份份等同的集群群資源而不管管他們提交了了多少作業(yè)。。按用戶的Unix群組或作業(yè)配配置（jobconf）屬性來設(shè)置置作業(yè)的資源源池也是可以以的。在每一一個資源池內(nèi)內(nèi)，會使用公公平共享（fairsharing）的方法在運(yùn)運(yùn)行作業(yè)之間間共享容量（capacity）。用戶也可以以給予資源池池相應(yīng)的權(quán)重重，以不按比比例的方式共共享集群。公平調(diào)度介紹紹除了提供公平平共享方法外外，公平調(diào)度度器允許賦給給資源池保證證（guaranteed）最小共享資資源，這個用用在確保特定定用戶、群組組或生產(chǎn)應(yīng)用用程序總能獲獲取到足夠的的資源時是很很有用的。當(dāng)當(dāng)一個資源池池包含作業(yè)時時，它至少能能獲取到它的的最小共享資資源，但是當(dāng)當(dāng)資源池不完完全需要它所所擁有的保證證共享資源時時，額外的部部分會在其它它資源池間進(jìn)進(jìn)行切分。公平調(diào)度介紹紹主要特點(diǎn)如下下：?支持多用戶多多隊列?資源公平共享享（公平共享享量由優(yōu)先級級決定）?保證最小共享享量?支持時間片搶搶占?限制作業(yè)并發(fā)發(fā)量，以防止止中間數(shù)據(jù)塞塞滿磁盤Pool資源池，或者者作業(yè)池。每每個pool里有一定量的的資源（管理理員配置），，每個用戶屬屬于某個pool，其作業(yè)可使使用這個pool中的資源，可可限定每個pool中最大并發(fā)作作業(yè)數(shù)和每個個用戶最多提提交作業(yè)數(shù)。。默認(rèn)情況下下，一個linux用戶對應(yīng)一個個pool，而管理員也也可以配以一一個linuxgroup對應(yīng)一個pool。pool實(shí)際上也可以以稱為group或者隊列。最小共享量管理員可給每每個pool配置一個最小小共享量，調(diào)調(diào)度器在分配配資源時，需需要保證每個個pool中的作業(yè)至少少獲取該數(shù)目目的資源。一一個常見的應(yīng)應(yīng)用場景是，，對產(chǎn)品pool設(shè)置最小共享享量，而測試試pool不設(shè)置，這樣樣，當(dāng)可用資資源有限時時時，優(yōu)先保證證產(chǎn)品pool有資源可用。。公平共享量當(dāng)集群中存在在多個pool時，某些pool中的資源可能能用不了，這這時候調(diào)度器器會自動將這這些pool中剩余的資源源共享給其他他需要的pool，其他這些pool獲取的共享資資源多少主要要由其poolweight決定，poolweight越大，獲取的的資源越多。。一個pool的最小共享量量加上其獲取取的共享資源源數(shù)目，就是是公平共享量量。公平調(diào)度算法法分析——變變量定義★描述job信息的變量量(JobInfo)jobWeight：作作業(yè)的權(quán)重。。實(shí)際計算時時，map階階段和reduce階段段分開，分別別記為mapWeight，reduceWeightjobDeficit：：作業(yè)的缺額額，即作業(yè)在在理想調(diào)度器器上所應(yīng)得的的計算時間與與實(shí)際所獲得得的計算時間間的缺額，這這個是測量作作業(yè)的“不公平”待遇的度量標(biāo)標(biāo)準(zhǔn)。實(shí)際運(yùn)運(yùn)算時將map階段和reduce階段分開，，分別記為mapDeficit和和reduceDeficit。公平調(diào)度算法法分析——變變量定義runningTasks：作業(yè)正在運(yùn)運(yùn)行的task數(shù)。實(shí)際計算算時，maptask和reducetask需分開，分別別記為：runningMaps和runningReducesminSlots：作業(yè)在相應(yīng)應(yīng)的pool中的最小slot保證量，實(shí)際際計算時，map階段和reduce階段分開，分分別記為：minMaps和minReducesjobFairShare：上次更新給給該job分配的公平共共享量，實(shí)際際計算時，map階段和reduce階段分開，分分別記為mapFairShare和reduceFairShare公平調(diào)度算法法分析——變變量定義★計算過程的的中間變量poolWeight：：pool的的權(quán)重，這個個可由用戶自自己設(shè)定，默默認(rèn)為1。tasksNum：某個個作業(yè)正在運(yùn)運(yùn)行任務(wù)與尚尚未運(yùn)行的任任務(wù)（包括Speculative任務(wù)）數(shù)數(shù)量和，有兩兩種task類型：maptask和reducetask，計計算時需要分分開priorityFactor：與與作業(yè)優(yōu)先級級相關(guān)的因子子，用于計算算作業(yè)的權(quán)重重，具體如圖圖：prioritypriorityFactorVERY_HIGH4.0HIGH2.0NORMAL1.0LOW0.5Default0.25公平調(diào)度算法法分析——變變量定義poolRunningJobsWeightSum：pool中已經(jīng)開始運(yùn)運(yùn)行的所有作作業(yè)的權(quán)重之之和poolLowJobsWeightSum：在某個pool中，已經(jīng)開始始運(yùn)行的，但但尚需slot（tasksNum數(shù)量大于其最最小共享量））的那些作業(yè)業(yè)權(quán)重之和systemJobsWeightSum：系統(tǒng)（可能能有很多pool）中可以運(yùn)行行的所有作業(yè)業(yè)的權(quán)重之和和timeDelta：兩次信息更更新的時間間間隔公平調(diào)度算法法分析——相相關(guān)算法當(dāng)出現(xiàn)一個空空閑slot時，公平調(diào)度度器會將此slot分配給缺額最最大的作業(yè)。。系統(tǒng)每隔500毫秒（UPDATE_INTERVAL）更新一次信信息（有一個個專門的更新新線程對job信息進(jìn)行更新新），包括：：作業(yè)缺額（（作業(yè)的其他他屬性，如權(quán)權(quán)重、最小共共享量、公平平共享量等，，均是為計算算缺額服務(wù)的的）、權(quán)重、、最小共享量量、公平共享享量等。公平調(diào)度算法法分析——相相關(guān)算法1)作業(yè)權(quán)權(quán)重計算方法法（1）默認(rèn)情情況下，權(quán)重重是基于作業(yè)業(yè)優(yōu)先權(quán)的，，但也可以基基于作業(yè)的大大小和年齡。。權(quán)重的計算算方法如下：：（2）根據(jù)優(yōu)優(yōu)先權(quán)計算權(quán)權(quán)重：（3）根據(jù)用用戶自定義的的weightAdjuster類類調(diào)整權(quán)重公平調(diào)度算法法分析——相相關(guān)算法2)更新權(quán)權(quán)重每個已經(jīng)運(yùn)行行的作業(yè)權(quán)重重更新公式：：3)初始缺缺額計算每個作業(yè)的初初始缺額mapDeficit,reduceDeficit設(shè)置為為0.4)更新作作業(yè)的最小共共享量在每個pool中，將其其擁有的slot按作業(yè)業(yè)的權(quán)重分配配給各個作業(yè)業(yè)（由步驟(1)完成）），分完之后后將剩余的slot按作作業(yè)的權(quán)重和和缺額分配給給仍需slot的作業(yè)（（由步驟(2)和(3)完成），如如果還有slot剩余，，則將這些slot共享享給其他pool。公平調(diào)度算法法分析——相相關(guān)算法初始化：當(dāng)前所有作業(yè)業(yè)的最小共享享量置零；pool的minMaps數(shù)或者minReduces數(shù)數(shù)（由用戶在在配置文件中中設(shè)定）重復(fù)以下幾步步，直到slotsLeft=0：：公平調(diào)度算法法分析——相相關(guān)算法（1）計算每個job的最小共享量量：jobinfo.minMaps或jobinfo.minReduces首先計算該作作業(yè)可獲得的的共享值：根據(jù)當(dāng)前pool的剩余slot數(shù)，調(diào)整該共共享值：其中runnableNum表示作業(yè)尚需需的slot數(shù)與正在運(yùn)行行的slot數(shù)之和，curMin表示作業(yè)的當(dāng)當(dāng)前最小共享享量（jobinfo.minMaps或jobinfo.minReduces），初始值為為0。將slotsToGive作為最小共享享量賦予相應(yīng)應(yīng)的job。修改值為值值減去slotsToGive。如果此輪循環(huán)環(huán)中，slotsLeft值未變，即沒沒有slot分給任何作業(yè)業(yè)，則將剩余余的slot共享給pool中所有job，即，執(zhí)行（（2）（3）并結(jié)束算法法：公平調(diào)度算法法分析——相相關(guān)算法（2）將pool中的job按weight和deficit排序（3）按順序依次次計算每個job的最小共享量量。首先計算該作作業(yè)可獲得的的共享值：根據(jù)當(dāng)前pool的剩余slot數(shù)，調(diào)整該共共享值：將slotsToGive作為最小共享享量賦予相應(yīng)應(yīng)的job。修改slotsLeft值為slotsLeft值減去slotsToGive。需要注意的是是，當(dāng)執(zhí)行完完（2）（3）后，slotsLeft可能仍大于0，這時候會將將剩余的slotsLeft個slot共享給其他pool。公平調(diào)度算法法分析——相相關(guān)算法5)更新公平共享享量主要思想：基基于作業(yè)權(quán)重重和最小共享享量計算公平平共享量。首首先，根據(jù)權(quán)權(quán)重分配可用用slot數(shù)，如果作業(yè)業(yè)的最小共享享量大于公平平共享量，先先要滿足最小小共享量，更更新可用slot數(shù)，重復(fù)以上上步驟，直到到所有作業(yè)的的最小共享量量小于或等于于公平共享量量，這樣，每每個作業(yè)的最最小共享量都都得到了滿足足，最后，所所有作業(yè)平分分剩下的slot數(shù)。公平調(diào)度算法法分析——相相關(guān)算法算法實(shí)現(xiàn)：初始化：當(dāng)前前所有作業(yè)的的公平共享量量置零；slotsLeft={系系統(tǒng)中mapslot或者reduceslot總總數(shù)}；jobsLeft={系系統(tǒng)中正在運(yùn)運(yùn)行的作業(yè)}(1)遍歷歷集合jobsLeft中的所有作作業(yè)，計算每每個作業(yè)的jobFairShare：如果作業(yè)的最最小共享量（（minSlots）大大于公平共享享量（jobFairShare）），則：將最最小共享量作作為公平共享享量賦值給作作業(yè)。同時將將此作業(yè)從集集合jobsLeft中中刪除。（2）將剩下下的slot按權(quán)重比例例給集合jobsLeft中剩余的的作業(yè)：將jobFairShare作為公公平共享量賦賦值給作業(yè)。。公平調(diào)度算法法分析——相相關(guān)算法6)更新缺缺額實(shí)際計算時，，會分開：7)資源分分配當(dāng)系統(tǒng)中產(chǎn)生生一個空閑slot時，，將此slot分配給缺缺額最大的作作業(yè)。Hadoop-0.21.0版本公公平調(diào)度器新新特性(1)將之之前（0.21.0之前前版本）的基基于缺額的調(diào)調(diào)度算法改為為層次調(diào)度算算法(2)支持持資源搶占(3)添加加delayscheduling機(jī)制，使使調(diào)度策略更更優(yōu)。(4)每個個隊列的調(diào)度度策略可以配配置，支持兩兩種調(diào)度策略略，分別為FIFO和FAIR，不不管采用哪種種調(diào)度策略，，以上三個功功能全部支持持。層次調(diào)度算法法大的思想與CapacityScheduler類似，，首先選擇一一個pool，然后從該該pool中中選擇一個job，最后后從該job中選擇一個個locality的task。其中，選擇pool和job的策略略相同，均采采用了FairShareComparator比較器對對pool或或者job進(jìn)進(jìn)行排序，然然后從頭到尾尾掃描隊列，，選出合適的的pool或或者job。。在FairShareComparator中，Schedulable封裝裝了是一個pool或者者job的基基本信息。資源搶占當(dāng)一定時間（（管理員可配配置）內(nèi)，某某個pool中獲取的資資源量少于最最小共享量，，或者公平共共享量的一半半，則調(diào)度器器會找出哪個個pool搶搶占了該pool的資源源，并殺死相相應(yīng)數(shù)量的task以搶搶占資源。之所以要進(jìn)行行搶占，還是是為了“公平平”，即：保保證每個pool能獲取取到它應(yīng)得到到的資源。delayscheduling機(jī)制當(dāng)出現(xiàn)空閑slot時，，如果排在隊隊列前面的job對應(yīng)的的所有task均沒有l(wèi)ocality特性，，則該作業(yè)會會延遲調(diào)度，，直到一段時時間后，該job出現(xiàn)locality的task或者發(fā)發(fā)生超時，才才不得不調(diào)度度該job的的task。。有些人可能不不了解locality，在此解釋釋如下：當(dāng)出出現(xiàn)空閑slot時，該該slot來來自某個節(jié)點(diǎn)點(diǎn)，而該節(jié)點(diǎn)