云計算環(huán)境下的資源調(diào)度模型研究

云計算環(huán)境下的資源調(diào)度模型研究

1云計算數(shù)據(jù)中心資源調(diào)度問題云計算是一種商業(yè)模式和服務(wù)模式。計算任務(wù)分布在大多數(shù)計算機組成的數(shù)據(jù)處理中心，因此不同的應(yīng)用程序系統(tǒng)可以根據(jù)用戶的需要獲得存儲存儲和信息服務(wù)的生產(chǎn)能力、內(nèi)存和信息服務(wù)。學(xué)術(shù)界將云計算列為水、電、氣、油之外的第五種公用資源,云計算是技術(shù)和社會需求發(fā)展的必然結(jié)果,云計算集成了計算機領(lǐng)域大規(guī)模數(shù)據(jù)中心、虛擬化技術(shù)、軟件即服務(wù)等先進技術(shù)。隨著云計算應(yīng)用的開展,產(chǎn)生了大量的數(shù)據(jù)中心聚集現(xiàn)象,如何利用虛擬管理技術(shù)提高云計算數(shù)據(jù)中心利用效率,是當前研究的重點。云計算資源調(diào)度是將虛擬機按用戶需求動態(tài)地、自動化地分配給用戶。由于用戶需求規(guī)格和云計算環(huán)境中資源池數(shù)據(jù)中心所有的物理服務(wù)器的規(guī)格配置不一致,如果采用簡單的分配調(diào)度算法,例如常用的輪轉(zhuǎn)法、加權(quán)輪轉(zhuǎn)法、最小負載優(yōu)先等,很難達到物理服務(wù)器負載均衡。目前,學(xué)術(shù)界在云計算環(huán)境下資源調(diào)度方面已經(jīng)進行了大量研究工作,文獻提出云計算中基于NSGAⅡ的虛擬資源調(diào)度算法研究;文獻提出基于粒子群優(yōu)化策略研究;文獻提出云計算環(huán)境下的DPSO資源負載均衡算法;文獻根據(jù)云計算的彈性化和虛擬化等新特性,提出了云計算下負載均衡的多維QoS約束任務(wù)調(diào)度機制,用戶作業(yè)能按時完成。但是,云計算系統(tǒng)價值最優(yōu)化達不到期望的效果,有關(guān)云計算資源調(diào)度的優(yōu)化問題值得進一步深入研究探討。2云計算資源池云計算是一種建立在互聯(lián)網(wǎng)上的新型信息基礎(chǔ)架構(gòu),云計算是從計算機集群到并行計算模式,進而抽象到云虛擬機,最后得到云計算資源池的概念。云計算資源池如圖1所示,可以分為以下三部分:邊緣部分為云計算資源池的連接服務(wù),連接服務(wù)符合SOA的訪問、發(fā)布、發(fā)現(xiàn)工作方式;方格是計算機集群組成的資源池模塊(R1,R2,R3,…,Rn),其資源描述為接口、綁定、服務(wù);部分資源Ri組成域的概念。云計算資源池邊界不定,可以自由伸縮。云計算資源池處于資源虛擬化層,屏蔽了物理資源層的發(fā)布細節(jié),為上層管理中間件提供支持。云計算資源池是云環(huán)境的有機組成部分,其概念是從云計算中延伸發(fā)展出來的,它將真實的物理資源通過虛擬化的方式進行統(tǒng)一管理和分配,是向用戶提供透明計算服務(wù)和數(shù)據(jù)存儲功能的大規(guī)模分布式系統(tǒng)。用戶只需關(guān)注最終結(jié)果,而無需了解這一結(jié)果產(chǎn)生的內(nèi)部具體細節(jié)。3云計算資源規(guī)劃模型3.1云計算環(huán)境下物理服務(wù)器集群從構(gòu)成數(shù)據(jù)中心的基礎(chǔ)構(gòu)件向上層應(yīng)用的角度分析云計算環(huán)境中的資源,包括物理服務(wù)器(集群)、虛擬服務(wù)器(集群)、安全組、中間件/應(yīng)用服務(wù)、調(diào)度域、數(shù)據(jù)中心等。數(shù)據(jù)中心資源之間包含相互關(guān)系,如圖2所示。云計算環(huán)境下的物理服務(wù)器集群由網(wǎng)絡(luò)、硬盤、內(nèi)存、CPU等組成。虛擬服務(wù)器集群可以把用戶服務(wù)請求透明地分配到合理的服務(wù)器上,當用戶訪問的服務(wù)器出現(xiàn)異常時,智能集群系統(tǒng)就會把用戶的任務(wù)請求轉(zhuǎn)移到正常工作的服務(wù)器上。3.2任務(wù)中心實現(xiàn)云計算工作環(huán)境下用戶任務(wù)調(diào)度管理工作流程如圖3所示,主要由三部分組成:用戶模塊、管理節(jié)點模塊、計算/存儲節(jié)點模塊。用戶提交任務(wù)到資源管理中心,判斷用戶任務(wù)類型和屬性,選擇適合任務(wù)特性的調(diào)度算法;然后把相關(guān)信息發(fā)送給任務(wù)管理中心,任務(wù)管理中心向計算節(jié)點提交任務(wù),當計算節(jié)點處理結(jié)束后把執(zhí)行結(jié)果反饋給任務(wù)管理中心;任務(wù)管理中心再把計算結(jié)果返回給用戶。在云計算環(huán)境下,節(jié)點狀態(tài)監(jiān)控中心動態(tài)監(jiān)控計算/存儲節(jié)點信息和任務(wù)調(diào)度中心,在發(fā)生異常時及時采取相關(guān)處理措施。3.3調(diào)度域內(nèi)負載均衡及任務(wù)部署資源池是云計算的最關(guān)鍵技術(shù)之一,高效地調(diào)度云計算資源池中的資源有其重要的現(xiàn)實意義。云計算數(shù)據(jù)中心分為多個調(diào)度域,一個調(diào)度域內(nèi)包含有多臺物理機,一臺物理機含有多個CPU。(1)假定每一個物理服務(wù)器的負載屬性為Ai(CPU、內(nèi)存、網(wǎng)絡(luò)),物理服務(wù)器綜合負載均值為v,物理服務(wù)器綜合負載報警值為δ,當一臺物理服務(wù)器在時間t內(nèi)的平均負載率不高于δ=c+v(其中c為相對較小的常數(shù))時,我們認為物理服務(wù)器工作正常。(2)假定一個CPU的利用率為此CPU在時間t內(nèi)的平均利用率;一臺物理機上所有CPU的利用率的平均值為這臺物理機CPU利用率pc;一個調(diào)度域內(nèi)所有物理機的CPU利用率為調(diào)度域內(nèi)的CPU負載均值dc。依據(jù)物理機的CPU計算能力進行加權(quán)(wei)平均,得到CPU負載均值負載報警值δc=c+Vc。(3)假定一臺物理機內(nèi)存在時間t內(nèi)的平均利用率為mm,一個調(diào)度域內(nèi)所有物理機的內(nèi)存利用率為dm,物理機各自的內(nèi)存大小為mi,則得到內(nèi)存的負載平均值;負載報警值δm=c+Vm。(4)假定一臺物理機網(wǎng)絡(luò)在時間t內(nèi)的平均利用率為nn,一個調(diào)度域內(nèi)的物理機網(wǎng)絡(luò)利用率為dn,物理機各自的網(wǎng)絡(luò)帶寬為ni,則得到網(wǎng)絡(luò)的負載平均值;負載報警值δn=c+Vn。調(diào)度算法的主要思想是:根據(jù)事先設(shè)置的報警閾值判斷物理服務(wù)器狀態(tài)是否良好,如若存在異常則調(diào)整服務(wù)器;然后找出CPU(個數(shù)加權(quán))、內(nèi)存、網(wǎng)絡(luò)相對這三個屬性的負載均值的方差最小的一個,如下所示:算法1云計算資源池調(diào)度管理輸出任務(wù)部署集群狀態(tài)(VM,IDi,PM)。(1)初始化:令MQ為報警隊列,AQ為人工優(yōu)化隊列,NQ為新任務(wù)隊列,VM為虛擬機集合,IDi為物理機號,PM為物理機集群,SVM為單VM任務(wù)。(2)ifMQ不為空(4)Endif(5)ifAQ不為空(6)將需要優(yōu)化的物理機IDi遷下VM,利用min(vi-優(yōu)化目標值)找出可以移除的虛擬機,將調(diào)度域內(nèi)的n個物理機列成n*(m+2)矩陣,利用公式(1)計算出負載均值方差最小的物理機,將移除的虛擬機部署在此物理機上。(7)Endif(8)ifNQ不為空(9)If任務(wù)類型為SVM(10)將調(diào)度域內(nèi)的n個物理機列成n*(m+2)矩陣,利用公式(1)計算出負載均值方差最小的物理機,輸出給執(zhí)行模塊,任務(wù)部署在此物理機上。(11)Else(12)將調(diào)度域內(nèi)的n個物理機集群列成n*(m+2)矩陣,以集群為單位利用公式(1)計算出負載均值方差最小的物理機集群,任務(wù)部署到此集群上。(13)Endif4資源池負載均衡度實驗結(jié)果本文實驗使用CloudSim平臺模擬云計算環(huán)境,我們約定云計算資源池中有100臺物理主機,用戶任務(wù)請求工作數(shù)量在300到1000之間,任務(wù)請求使用資源池按泊松流到達,又各作業(yè)使用云計算資源池的時間符合負指數(shù)分布。云計算資源綜合利用率乘積法是目前任務(wù)負載較好的算法之一,實驗中用資源池調(diào)度管理算法和綜合利用率乘積法作比較,設(shè)定報警物理機負載閾值為80%,手動優(yōu)化物理機綜合負載目標值設(shè)為50%,對比兩種算法在云計算環(huán)境下資源池負載的均衡度。如圖4所示,本文設(shè)計的云計算資源池模型在不同任務(wù)數(shù)量的情況下,其資源池負載均衡度均比利用率乘積法負載均衡度高。為了進一步測試作業(yè)排隊使用資源池策略的性能,圖5分別為綜合負載資源調(diào)度算法和綜合利用率乘積算法完成相同數(shù)量的任務(wù)所使用的時間分布情況。由圖5可見,綜合負載資源調(diào)度法與綜合利用率乘積法相比,執(zhí)行時相同數(shù)量的用戶任務(wù)所需的執(zhí)行時間更少,時間波動范圍更小,更具有時間可控性。仿真結(jié)果表明,本文的綜合負載資源調(diào)度更能有效地解決云計算環(huán)境下資源負載問題,使得云計算節(jié)點在高效完成任務(wù)的情況下,云計算資源負載均衡效果更好,有利于整個云計算環(huán)境正常工作。5利用主機的主機進行負載均衡的仿真本文介紹了云計算下資源池模型,分析了云計算資源調(diào)度流程和云計算環(huán)境下實體之間的關(guān)系。建立了一種云計算環(huán)境中資源調(diào)度算法,綜合考慮了云計算資源池中各種資源的綜合負載情況,采用人工加自動的虛擬機遷移技術(shù)實現(xiàn)云計算中物理服務(wù)器的負載均衡。仿真實驗表明云計算資源調(diào)度模型具有很好的效果。下一步我們將對云計算環(huán)境下任務(wù)的動態(tài)并