集群如何分配資源

主講：朱佳目錄0102限制用戶數(shù)量限制應(yīng)用程序數(shù)量限制用戶數(shù)量1限制用戶數(shù)量容量調(diào)度器使用FIFO原則(這里不是指FIFO調(diào)度器)，因此先前提交的作業(yè)將優(yōu)先于稍后提交的作業(yè)運行。我們可以限制分配給在葉子隊列中運行作業(yè)的用戶的資源?？梢允褂靡韵聟?shù)限制用戶可以消耗多少葉子隊列容量:yarn-scheduler.capacity.root.support.user-limit-factorvalue:2限制用戶數(shù)量該示例演示了如何為支持葉子隊列中的特定用戶設(shè)置最大容量。如果將此參數(shù)的值設(shè)置為大于1，則用戶可以使用超出葉子隊列容量限制的資源。此參數(shù)的默認值為1,這意味著用戶可以使用所有葉子隊列的配置容量(如果可用)?？梢詫⒋藚?shù)設(shè)置為高于或低于1。如果將其設(shè)置為4，則用戶最多可以使用4倍于隊列配置容量的容量，如果將其設(shè)置為0.25，則該用戶僅可以使用隊列配置容量的四分之一。限制用戶數(shù)量設(shè)置用戶容量的硬限制使用maximum-capacity(yarn-scheduler.capacity.<queue-path>.maximum-capacity)參數(shù)。如果要確保用戶不能獲取所有父隊列的容量，則可以設(shè)置此參數(shù)。在我們的例子中，Analytics(分析)葉子隊列的父級研究隊列的配置容量為600GB?？梢灾付ㄈ魏蜗駻nalytics(分析)葉子隊列提交作業(yè)的用戶不能占用研究隊列容量的50%以上，具體如下:，yarn-scheduler.capacity.root.research.analytics.maximum-capacityvalue:50限制用戶數(shù)量假設(shè)配置了可以占用500GBRAM的葉子隊列。如果20個用戶向這個隊列提交作業(yè)會怎么樣?當然，你會讓所有20個用戶的容器占用25GB的RAM,那樣太慢了?？梢耘渲靡韵聦傩詠砜刂品峙浣o葉子隊列用戶的最小資源百分比yarn-scheduler.capacity.root.support.services.minimum-user-limit-percent限制用戶數(shù)量如果將此參數(shù)的值(這里設(shè)置支持頂級隊列的服務(wù)葉子隊列)設(shè)置為20，則意味著通過此隊列運行應(yīng)用程序的用戶至少會被分配20%的已分配給服務(wù)葉子隊列的容量。第一個向這個葉子隊列提交作業(yè)的用戶可以使用100%的葉子隊列的資源分配。隨著其他用戶開始將作業(yè)提交到此隊列，最終每個用戶可以穩(wěn)定地使用隊列20%的資源，即5個用戶可以隨時使用隊列。其他用戶必須等待前5名用戶釋放資源。限制應(yīng)用程序數(shù)量2限制應(yīng)用程序數(shù)量單個用戶或隊列可能壟斷集群的資源。為了避免過度使用集群，可以限制在任何給定時間內(nèi)在集群中能夠調(diào)度的最大應(yīng)用程序數(shù)量。使用yarn.scheduler.capacity.maximum-applications參數(shù)可以對容量調(diào)度器提交的應(yīng)用程序數(shù)量設(shè)置上限。此參數(shù)的默認值為10000。一旦使用yarn.scheduler.capacity.maximum-applications參數(shù)設(shè)置了在集群中運行的最大應(yīng)用程序數(shù)量，就可以在隊列中對可運行的應(yīng)用程序數(shù)量設(shè)置一個限制。以下是一個示例，顯示如何為可以提交給研究隊列的應(yīng)用程序的數(shù)量設(shè)置限制:限制應(yīng)用程序數(shù)量<property><name>yarn.scheduler.capacity.research.maximum-applications</name><value>absolute-capacity*yarn.scheduler.capacity.maximum-applications</value></property>限制應(yīng)用程序數(shù)量可以使用yarn.scheduler.capacity.<queue-path>.maximum-applications參數(shù)為在任何給定時間可以運行的最大應(yīng)用程序數(shù)量設(shè)置硬限制。還可以間接控制在集群中運行的應(yīng)用程序的數(shù)量，設(shè)置yarn.scheduler.capacity.maximum-am-resource-percent參數(shù)即可。限制應(yīng)用程序數(shù)量YARN中的每個應(yīng)用程序都需要一個ApplicationMaster容器。yarn.scheduler.capacity.maximum-am-resource-percent參數(shù)用于設(shè)置所有正在運行的ApplicationMasters可以使用的集群資源的