云計(jì)算環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)研究

1、    云計(jì)算環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)研究    陳董摘 要：本文從云計(jì)算資源管理的基本概念入手，分析負(fù)載均衡原理及常用算法，以基于粒子群雙向拍賣為例的探討動(dòng)態(tài)資源競(jìng)價(jià)調(diào)度策略。關(guān)鍵詞：云計(jì)算；動(dòng)態(tài)；資源管理；技術(shù)自云計(jì)算誕生以來，已悄然改變了網(wǎng)絡(luò)世界的格局，改變了用戶的網(wǎng)絡(luò)習(xí)慣。迄今為止，如、阿里巴巴等商業(yè)巨頭紛紛將大規(guī)模的數(shù)據(jù)存儲(chǔ)在云上并參與云計(jì)算領(lǐng)域的競(jìng)爭(zhēng)。隨著云計(jì)算的逐漸成熟和廣泛應(yīng)用，價(jià)格和性能將是決定這場(chǎng)角逐的決定性因素，通過合理的資源管理，最大效率地利用系統(tǒng)資源，在保證服務(wù)質(zhì)量的同時(shí)降低成本是當(dāng)前云計(jì)算領(lǐng)域最熱門的研究話題。1云計(jì)算資源管

2、理的基本概念在計(jì)算機(jī)科學(xué)中，我們所說的“資源”通常指內(nèi)存、硬盤、等硬件資源以及系統(tǒng)文件等軟件資源，由于軟件資源是事先部署在系統(tǒng)上的，更改難度較大，所以我們平時(shí)所講的“資源管理”即是對(duì)硬件資源的管理。在處理特定事件時(shí)對(duì)資源的消耗將是我們衡量系統(tǒng)性能的重要標(biāo)準(zhǔn)，我們將資源泛性的分為“計(jì)算資源”、“存儲(chǔ)資源”和“網(wǎng)絡(luò)資源”。2負(fù)載均衡原理及常用算法云計(jì)算是采用虛擬化技術(shù)將眾多分散資源抽象成資源池，將底層的物理設(shè)備進(jìn)行資源整合，并作為一個(gè)整體向用戶提供服務(wù)。因此云技術(shù)首先面臨的問題就是如何將共享資源合理的分配和調(diào)度，其中平均響應(yīng)時(shí)間和資源利用率是衡量均衡調(diào)度算法的重要標(biāo)準(zhǔn)。負(fù)載均衡就是通過對(duì)服務(wù)結(jié)點(diǎn)性

3、能以及負(fù)載情況的分析，得出合理的分配策略，將數(shù)據(jù)和請(qǐng)求有效的分配到服務(wù)結(jié)點(diǎn)，達(dá)到服務(wù)器的最理想效果。負(fù)載均衡主要分為靜態(tài)調(diào)度和動(dòng)態(tài)調(diào)度，其主要算法為輪轉(zhuǎn)調(diào)度算法、加權(quán)最少連接算法以及動(dòng)態(tài)反饋控制算法。1、輪轉(zhuǎn)調(diào)度算法輪轉(zhuǎn)調(diào)度算法是最簡(jiǎn)單的負(fù)載均衡算法，其原理采用輪轉(zhuǎn)方法按順序依次調(diào)度不同的結(jié)點(diǎn)，對(duì)系統(tǒng)結(jié)點(diǎn)無區(qū)別對(duì)待，也就不存在硬件配置和當(dāng)前結(jié)點(diǎn)連接數(shù)的差異。輪轉(zhuǎn)調(diào)度算法開銷非常小、簡(jiǎn)單易行，在云計(jì)算的初始階段發(fā)揮了重要的作用，但是其有效性差、并行性低，無法適應(yīng)現(xiàn)在的大規(guī)模異構(gòu)集群系統(tǒng)。2、加權(quán)最少連接算法最少連接算法顧名思義，是將請(qǐng)求優(yōu)先分配給連接數(shù)較少的結(jié)點(diǎn)，但是僅僅根據(jù)連接數(shù)量不能很好的反

4、映出結(jié)點(diǎn)的真實(shí)負(fù)載，所以根據(jù)結(jié)點(diǎn)處理能力的不同，對(duì)其分配不同的權(quán)值，將連接數(shù)量和權(quán)值大小相結(jié)合，更加合理的反映負(fù)載大小。但是隨著動(dòng)態(tài)資源的規(guī)模激增，如何合理的設(shè)定權(quán)值并在動(dòng)態(tài)資源調(diào)度中調(diào)整權(quán)值是該算法面臨的主要問題。3、動(dòng)態(tài)反饋控制算法由于靜態(tài)算法的適應(yīng)能力較差、應(yīng)用范圍較窄，動(dòng)態(tài)負(fù)載均衡算法逐漸成為研究熱門。近年來基于反饋的負(fù)載均衡算法取得非常理想的成果，基本原理為當(dāng)節(jié)點(diǎn)負(fù)載變化時(shí)，通過反饋機(jī)制將其負(fù)載信息進(jìn)行收集并反饋，根據(jù)反饋得到的實(shí)際負(fù)載情況對(duì)請(qǐng)求進(jìn)行遷移或重分配，以期提高負(fù)載均衡度。通過對(duì)現(xiàn)有負(fù)載均衡算法的分析，動(dòng)態(tài)負(fù)載算法明顯優(yōu)于靜態(tài)算法，但是當(dāng)前許多算法主要采用對(duì)資源指標(biāo)使用率進(jìn)

5、行加權(quán)的方式，如果權(quán)值選取不當(dāng)，效果反而適得其反。3基于虛擬機(jī)部署的資源提供和雙向競(jìng)拍競(jìng)價(jià)機(jī)制1、基于虛擬機(jī)部署的資源提供云計(jì)算中的資源提供主要是虛擬機(jī)在接收到任務(wù)后，根據(jù)任務(wù)對(duì)物理資源的需求，采用具體的資源選擇策略為虛擬機(jī)選擇合適的物理計(jì)算資源。虛擬機(jī)與主機(jī)之間有、內(nèi)存、帶寬等多種限制，隨著虛擬機(jī)和主機(jī)數(shù)量的增多，問題的解決難度也成指數(shù)增長(zhǎng)，很難在多項(xiàng)式時(shí)間內(nèi)得到最優(yōu)解。2、雙向競(jìng)拍競(jìng)價(jià)機(jī)制經(jīng)濟(jì)效用是資源分配中常用的目標(biāo)函數(shù)，目前已有大量的研究把經(jīng)濟(jì)模型引入云計(jì)算的資源管理和任務(wù)調(diào)度優(yōu)化問題中。隨著云計(jì)算商業(yè)步伐的加快，必須引入經(jīng)濟(jì)機(jī)制以更好地吸引資源的提供。在經(jīng)濟(jì)機(jī)制下，用戶和資源提供者可

6、以根據(jù)市場(chǎng)價(jià)格和自身愛好進(jìn)行自主決策，而市場(chǎng)價(jià)格也反映了供需關(guān)系，有助于實(shí)現(xiàn)資源的優(yōu)化分配。現(xiàn)有的定價(jià)模型主要包括：市場(chǎng)模型、標(biāo)價(jià)模型、議價(jià)模型、招投標(biāo)模型以及拍賣模型。拍賣作為重要的市場(chǎng)機(jī)制，根據(jù)市場(chǎng)的參與者競(jìng)價(jià)來決定資源的分配結(jié)果，并且在市場(chǎng)不明朗的前提下，根據(jù)博弈理論得到最優(yōu)解，從而符合云環(huán)境中變化無常的用戶需求，這逐漸成為定價(jià)模型的熱點(diǎn)。針對(duì)傳統(tǒng)拍賣模型中資源提供者處于主導(dǎo)地位，往往會(huì)發(fā)生壟斷現(xiàn)象，許多研究人員提出了雙向拍賣的概念，即用戶和資源提供者為多對(duì)多的關(guān)系，在拍賣過程中地位均等，有效的避免了壟斷現(xiàn)象的出現(xiàn)。4以基于粒子群雙向拍賣為例的探討動(dòng)態(tài)資源競(jìng)價(jià)調(diào)度策略。基于云存儲(chǔ)的資源調(diào)

7、度存在著兩個(gè)非常大的挑戰(zhàn)，首先，如何將用戶請(qǐng)求映射到云處理器中，并且很好的滿足參與者的服務(wù)質(zhì)量需求；其次資源調(diào)度是一個(gè)在多項(xiàng)式時(shí)間內(nèi)難以解決的復(fù)雜問題。一個(gè)優(yōu)秀的資源調(diào)度算法，不僅僅需要考慮到計(jì)算能力（cpu 處理能力）、存儲(chǔ)和帶寬能力，更要滿足用戶和資源提供者的服務(wù)要求。目前，傳統(tǒng)的云環(huán)境資源競(jìng)價(jià)策略主要考慮資源提供者的收益，不但導(dǎo)致了服務(wù)響應(yīng)時(shí)間過長(zhǎng)，而且用戶與資源提供者沒有實(shí)現(xiàn)雙向選擇，也導(dǎo)致了云資源市場(chǎng)的不均衡交易，最終用戶的服務(wù)質(zhì)量無法得到保障。1、云環(huán)境下的動(dòng)態(tài)調(diào)度問題云平臺(tái)提供了一種“超市”模式的云資源共享平臺(tái)，根據(jù)用戶需求，將資源打包成服務(wù)提供給用戶，如果用戶不滿足云資源提供者

8、的服務(wù)，完全可以選擇其他資源提供者。為了讓云資源提供者獲得更大的交易量和收益，并且讓用戶獲得更滿意的服務(wù)，引入經(jīng)濟(jì)學(xué)中雙向拍賣理論，其基本過程如下：（1） 確定獲勝者，這個(gè)過程主要通過求“競(jìng)勝標(biāo)確定問題（winner determination problem， wdp）”的最優(yōu)解完成；（2） 資源分配，針對(duì)獲勝的賣家找到一個(gè)或多個(gè)購買其資源的買家；針對(duì)獲勝的買家找到一個(gè)或多個(gè)提供資源的賣家；（3） 資源定價(jià)，針對(duì)每個(gè)競(jìng)拍者確定其實(shí)際的交易價(jià)格。如何滿足資源提供者和用戶的需求，并使云平臺(tái)的整體交易量達(dá)到最佳是本章的研究方向和目的。2、粒子群雙向拍賣機(jī)制的競(jìng)價(jià)機(jī)制粒子群雙向拍賣機(jī)制將資源的競(jìng)價(jià)和

9、資源的分配分為兩個(gè)獨(dú)立的步驟完成，也可以針對(duì)特殊需求的用戶施行一對(duì)一資源匹配同時(shí)完成資源定價(jià)，其整個(gè)競(jìng)價(jià)過程具有一定的合理性，粒子群優(yōu)化雙向拍賣機(jī)制力求最大化總的收益，保障市場(chǎng)交易量和參與者的收益，其在雙向拍賣中的目標(biāo)函數(shù)和約束限制如圖所示：收益最大化：約束限制：其中m為資源提供者的總數(shù)量；n為用戶的總數(shù)量；資源提供者i和用戶j間的項(xiàng)目交易價(jià)格；qi，j，a為資源提供者i和用戶j間的項(xiàng)目交易量；s為資源提供者的集合，s=m個(gè)資源提供者；b為用戶的集合， b=n個(gè)用戶。5結(jié)語隨著云計(jì)算的普及和應(yīng)用，動(dòng)態(tài)的資源調(diào)度成為研究熱點(diǎn)，傳統(tǒng)的雙向拍賣機(jī)制以最大化市場(chǎng)價(jià)值作為目標(biāo)，強(qiáng)調(diào)資源提供者在云環(huán)境中的利益，忽略了用戶體驗(yàn)的重要性，從另一個(gè)角度上可以看成集中式的分配系統(tǒng)。本文在此基礎(chǔ)上提出了一種粒子群優(yōu)化雙向拍賣策略，力求為所有參與者提供滿意的服務(wù)。實(shí)驗(yàn)結(jié)果驗(yàn)證，粒子群優(yōu)化雙向拍賣策略不但總交易量和收益量?jī)?yōu)于傳統(tǒng)雙向拍賣策略，并隨著用戶的增加，其優(yōu)勢(shì)越來越明顯，從而