云計算環(huán)境下的自適應資源管理技術綜述

1、云計算環(huán)境下的自適應資源治理技術綜述云環(huán)境下的自適應資源治理是當前云計算研究領域的熱點問題,是云計算具備彈性擴展、動態(tài)分配和資源共享等特點的關鍵技術支撐,具有重要的理論意義和實用價值.其主要研究點包括：虛擬機放置優(yōu)化算法,虛資源動態(tài)伸縮模型、多 IDC間的全局云計算資源調(diào)度、 全局資源配置及水平規(guī)劃模型等.對云環(huán)境下自適應資源治理研究現(xiàn)狀進行分析研究,并指出當前研究中存在的一些主要問題,同時進一步展望本領域未來的研究方向.0引言去計算是近年來IT產(chǎn)業(yè)開展的新熱點,受到各方的廣泛關注.其作為一種新興技術 和商業(yè)模式.將加速信息產(chǎn)業(yè)和信息根底設施的效勞化進程,催生大量新型互聯(lián)網(wǎng)信息效勞,帶動信息產(chǎn)

2、業(yè)格局的整體變革.根據(jù)提供效勞類型的不同,云計算通常分為根底設施即效勞infra structure as a service, IaaS、平臺即效勞platform as aservice.PaaS開口軟件即效勞 software as a service, SaaSb其中,根底設施即效勞IaaS作為最根底及支撐性的效勞模式, 通過虛擬化技術使得虛擬機共享物理機資源池,使運營商可以通過向用戶提供虛擬機資源來承載他們的應用.顯然,云計算應用的開展必將導致云IDC中的根底設施資源如效勞器、網(wǎng)絡設備、存儲設備等大量聚集.于是.虛擬資源調(diào)度治理技術的優(yōu)劣將直接影響到IDC整體的資源利用率、效勞水平以

3、及SLA.另外,隨著IDC規(guī)模的擴增,手動及人工治理數(shù)目龐大的物理資源集群已經(jīng)變的非常不現(xiàn)實.如今,更需要一種自適應的資源治理技術,以自動響應IDC運行情況變化,并減輕治理人員的負擔.因此,這也成為云計算在IaaS模式下需要重點優(yōu)化和突破的關鍵技術問題.云計算環(huán)境下的自適應資源治理問題是一個非常復雜、龐大的課題.目前,國內(nèi)外的相關研究主要集中在如下 4個技術領域：虛擬機放置優(yōu)化算法；虛擬資源動態(tài)伸縮模型； 多IDC間的全局云計算資源調(diào)度；全局資源配置及水平規(guī)劃模型.本文將從以上4個研究領域出發(fā),對云計算環(huán)境下自適應資源治理技術的現(xiàn)有研究成果進行闡述及分析,并指出當前研究中存在的一些亟待解決問題

4、,進而進一步指出未來的研究開展趨勢.1虛擬機放置優(yōu)化算法虛擬化技術為當今的IDC帶來了許多優(yōu)勢：一方面,它能夠有效的幫助IDC提升整體IT資源的利用率,通過集成、整合分散的物理資源、將眾多虛擬機放置在同一臺物理機上； 另一方面,它也為IDC提供了更大的靈活性,可以動態(tài)的隨需配置各臺虛擬機占用資源的 大小,同時,也可以通過動態(tài)遷移技術、根據(jù)不同策略使虛擬機在不同物理機之間快速移動.但是,顯然,這也對資源治理技術提出了更高的要求.虛擬機放置問題是云環(huán)境下資源治理技術的一個最重要的研究點,也是目前受到關注 最多的一個領域,學術界和工業(yè)界都對優(yōu)化的虛擬機放置技術進行了大量研究.虛擬機放置需要決定虛擬機

5、與物理機之間的映射關系,其重點即是根據(jù)所設定的放置策略.尋找優(yōu)化的虛擬機放置方案,以更好的滿足多重系統(tǒng)目標.除此之外,還要求虛擬機的放置過程能夠自適應的響應整體運行環(huán)境的動態(tài)變化,及時做出改變.大量的文獻如文獻 1-2等把虛擬機放置問題建模成裝箱問題或N維裝箱問題文獻3-41 ,通過虛擬機遷移,使得開啟盡可能少的物理機以滿足所有虛擬機的資源請求,從而提升整體的IT資源利用率.文獻1-2把虛擬機放置問題定義為一個多目標優(yōu)化的問題,包 括防止違反 SLA、減少效勞器數(shù)量、以及減少遷移次數(shù)等；他們提出了一個基于基因算法 的方法來解決該問題.文獻Is為虛擬機與虛擬機之間和虛擬機與物理機之間存在不相容約

6、束的效勞器整合問題制定了一個兩階段的啟發(fā)式算法：在第一個階段,通過假設每個集群代表一個沒有容量限制的效勞器,來找到滿足事項之間和事項倉不相容限制的應用集群；在第二個階段,考慮效勞器的水平限制來把每個集群中的應用分配到目標集群中.文獻6建立了一種基于分組遺傳基因算法的方法來解決效勞器整合的問題.文獻7認為虛擬機的遷移是有代價的,在盡量使用最少物理機產(chǎn)生最大的收益的同時,需要考慮虛擬機遷移所產(chǎn)生的代價.除了提升IDC的資源利用率外,一些文獻還提出了虛擬機放置的其他優(yōu)化目標.對于 口叱運營商來說,其最為關注的是運營本錢,所以,隨著效勞規(guī)模的擴張.降低能耗逐漸成為一個越來越重要的趨勢,這也成為很多當前

7、研究的一個重點優(yōu)化目標.文獻 8 11都各 自提出了降IDC能耗的解決方法,文獻12將能耗問題建模為約束混合整數(shù)規(guī)劃問題(constrained mix-integer programming),將其轉(zhuǎn)化為最費用流問題 (minimum cost flow) 問題, 用快速多項式時間算法求得最優(yōu)解；相比其它文獻,該文獻的解決方案具有較大的優(yōu)勢及可擴展性.另外,文獻13把虛擬機遷移產(chǎn)生的代價、虛擬機遷移帶來的收益、遷移后能保持 當前狀態(tài)的時間都納入考慮,并用改進后的A*算法來得到一個盡可能優(yōu)的解,在能耗、利用率和性能三者之間盡量平衡.文獻14考慮了 IDC中的各個虛擬機之間的網(wǎng)絡流量,希望把通信

8、量大的虛擬機盡量放置到一臺或鄰近物理機上,以此來最大限度的減少全局的網(wǎng)絡流量.文獻15把用戶提出的一些要求作為輸入,例如某個虛擬機要獨占一臺物理機、某兩個 虛擬機不能放置到同一臺物理機上等,由此產(chǎn)生的虛擬機放置算法,盡量滿足用戶的SLA.所有上述的文獻都是基于確定的工作負載來研究虛擬機放置問題的,為了使上述這些模型能夠提供與應用 SLA相符合的解決方案,模型中的負載參數(shù)通常采用的是各應用負載的 頂峰時期(如最大或是99%),這就會導致1DC在很長時間內(nèi),都處于低資源利用率、高能 耗的狀態(tài)中.為解決這一問題,文獻16研發(fā)了一個自動限制的框架,該框架能夠根據(jù)用戶特定的策略并遵從某些限制 (如兼容的

9、軟件、適宜的 CPU類型、相似的網(wǎng)絡連接性、共享存 儲的使用等),來動態(tài)的對虛擬機進行遷移.為了解決效勞水平目標,文獻 17-1提出了一個 在負載動態(tài)變化的環(huán)境中,能夠自動遷移虛擬機的資源限制系統(tǒng).他們提出的方法分為兩部分：一個能夠動態(tài)判定應用等級性能和通過虛擬機的反響來分配資源的網(wǎng)上模型評估器； 一個自適應的限制端.它能夠動態(tài)地計算和分配資源.文獻18通過預測云承載的應用的負載,動態(tài)的改變虛擬機的大小,盡量減少違反響用的SLA,同時盡量使用少的物理機來滿足所有的虛擬機資源要求.目前,對虛擬機放置模型和算法的研究雖然數(shù)目眾多,但是大局部都存在可擴展性差、 實際有效性低、目標單一化等問題,依然存

10、在很大的優(yōu)化空間.虛擬機放置問題涉及到虛擬 機到物理機的映射, 對于絕大多數(shù)現(xiàn)有算法而言是一個NP難問題,復雜度過高,隨著IIX ;規(guī)模的擴張,求得可行的解幾乎是不可能完成的任務.在動態(tài)環(huán)境下,如何實現(xiàn)多種不同放置策略的平衡,實現(xiàn)lT資源的集約共享,降低能源消耗,同時探索低復雜度、高效率、近 似優(yōu)化的虛擬機放置算法,是一個亟待解決的問題. 在未來,期望探索出一種多目標優(yōu)化的、自適應的虛擬機放置模型,綜合考慮并權衡取舍資源利用率、能耗、sLA、網(wǎng)絡流量、虛擬機遷移代價、用戶自定義策略等多方面情況,根據(jù)虛擬機的動態(tài)變化情況自適應的調(diào)整放置方案；并且,需要提出一種快速、簡便的放置算法,在盡可能短的時

11、間內(nèi)獲得一個盡量優(yōu)的解決方案.2虛擬資源動態(tài)伸縮模型在虛擬機被創(chuàng)立前,使用者需要首先向云資源提供商申請其所需的資源情況,如CPU個數(shù)、內(nèi)存大小等.早期的資源分配方式通常是固定預分配,即完全根據(jù)使用者的請求情況分配給虛擬機相應資源, 運行后,不淪其真實使用情況如何,都不做任何調(diào)整.這樣的做法固然簡單.但是,往往不能很好的適應應用的動態(tài)工作負載的變化.如果資源請求者根據(jù)應用的峰值負載申請資源, 那么將在絕大多數(shù)負載偏低的時刻造成資源的大量浪費；反之,假設按照平均負載申請,那么會發(fā)生負載超越資源承載水平的情況,造成請求延時.隨著技術的開展.以亞馬遜 EC2為代表的彈性云效勞采用了以虛擬機為單位的粗粒

12、度 的方法.按需增減開啟運行的虛擬機數(shù)量.從而面到達及時響應應用負載變化的目的.也就是說,當應用負載增加至即將超越資源承受水平時.EC2會再為云效勞使用者開啟一臺同樣配置的虛擬機以緩解負載壓力,做到負載均衡；而當應用負載降低時, 那么可以關閉不必要的虛擬機以節(jié)省資源.亞馬遜 EC2的做法雖然具備負載自適應的虛擬資源伸縮水平,但是, 以虛擬機為最小伸縮單位的變化方式.仍在一定程度上造成了資源的浪費.目前,虛擬資源動態(tài)伸縮模型的研究重點在于更加細粒度的資源調(diào)整方式,以及時、快速的響應應用負載的變化情況. 另外,其負載自適應水平不僅需要依靠當前的負載情況,還希望能夠預測出未來一段時間的工作負載變化,

13、以更準確的、有前瞻性的調(diào)整虛擬資源大小.近期,一些關注于更精細的動態(tài)虛擬資源伸縮模式的學術研究開始涌現(xiàn),但是,其出發(fā)點及所用方法大多仍相對簡單、處于研究初期.文獻19-20僅考慮了單一資源的分配方式.其中,前者關注于計算資源的分配,它提出了一種隨虛擬機工作負載變化而根據(jù)CPU優(yōu)先級或CPU份額動態(tài)調(diào)整計算資源分配的方法；后者那么通過預估每臺虛擬機的內(nèi)存使用量、并據(jù)此自動的調(diào)整內(nèi)存分配大小,來提升內(nèi)存資源的使用率.文獻21-22實現(xiàn)了一個多層次的、 應用相關的資源調(diào)度機制,能夠優(yōu)化單一物理機內(nèi)部及全局的CPU和內(nèi)存資源流動.文獻Z3 一 Z4都多方面考慮了 CPU、內(nèi)存和網(wǎng)絡帶寬 3種資源的綜合

14、優(yōu)化分配方式.其中,前者提出了 一種應用無關的負載均衡機制,通過實時監(jiān)控物理機及虛擬機的各項資源使用情況,及時調(diào)整資源分配；后者那么提出了一個自治系統(tǒng).利用自動資源監(jiān)測及熱點檢測,確定物理資源到虛擬資源的重新分配.所有上述研究工作都是針對云環(huán)境中當前負載的狀況做出的響應情況.除此之外,一些研究還將虛擬機資源的伸縮問題歸結(jié)于限制論文獻25-26問題,通過對未來工作負載進行預測來更好、更準確的優(yōu)化資源分配.文獻27提出了一個由基于限制論的在線模型預估器和多輸多輸出MIM0資源限制器構(gòu)成的資源限制系統(tǒng),它能夠自動的適應應用負載動態(tài)變化.通過捕捉應用程序性能和資源分配值之間的復雜關系,按需調(diào)整分配資源

15、量, 從而滿足云計算應用提供者的 SLA.文獻283研究了預測技術對于虛擬機動態(tài)資源分配的影響,它通過 實驗比擬了基于限制論的預測限制器與自適應反響限制器的有效性,其中前者使用了 3種分別基于AR , ANOV A-AR和MP模型預測算法.當前,IDC治理者正面臨著多方面的挑戰(zhàn),包括滿足復雜的云計算應用提供者的SLA、及時響應隨時間變化的資源需求以及解決資源的相互依賴性等.上述眾多研究工作有許多可借鑒之處,但仍不夠完善,存在進一步優(yōu)化的可能性.本領域的研究難點將集中在如何更準 確、可靠的預測未來一段時間內(nèi)的工作負載變化情況.以及如何精確、定量的根據(jù)預測負載及當前現(xiàn)狀調(diào)整各項虛擬機資源的分配問題

16、等.因此,更加有效的、細粒度的虛擬資源自適應動態(tài)伸縮模型與算法將是未來的開展方向.3多IDC間的全局云計算資源調(diào)度隨著云計算應用的快速開展,地域分布的多IDC逐漸成為一種趨勢.目前,學術界與工業(yè)界對多刀DC間的全局云計算資源調(diào)度的研究尚處于早期階段,并且存在多個不同的考慮角度.前期的相關研究主要集中在混合云之間的資源調(diào)度以及某個具體應用在多個IDC的云環(huán)境內(nèi)的全局調(diào)度這兩個方面.針對混合云的情況,多 IDC間的全局云計算資源調(diào)度主要關注于使用者的眾多應用在 企業(yè)私有云和商業(yè)共有云之間的分布方案的決策,其通常綜合考慮了租用本錢、性能、平安性等多個目標.文獻29研究了借用外部云計算資源來擴充企業(yè)I

17、DC自身計算水平的方法：通過一個全局的資源分配系統(tǒng)向云計算提供商借用資源以擴充IDC自身的容量；提供了多種調(diào)度機制衡量把哪些應用遷移到借用的資源上以到達費用最少同時利用率最高；提出了衡量這些機制的方法,從響應時間、最后期限違反率、租用賢源費用等多個性能指標來衡量一 個調(diào)度策略.文獻30也提出了把企業(yè)IDC的一局部應用遷移到云中可能得到的好處,提供了一個衡量遷移策略的方法,同時提出了遷移可能遇到的一些平安和策略上的問題.針對多個IDC的云環(huán)境內(nèi)的調(diào)度,一些文獻針對某些具體的應用在云環(huán)境中如何做全 局調(diào)度做了研究.相比以上考慮混合云的情況而言,本類研究具有更廣泛的應用范圍及更大的實用價值.云環(huán)境下

18、,地域分布的多 IDC能同時為不同地域的終端用戶提供效勞.根據(jù) 終端用戶對云上應用的請求情況,將資源合理調(diào)度到適宜的 IDC.既能提升終端用戶的體驗,又能提升整體云環(huán)境的資源利用率,降低運營本錢.文獻31在多個IDC之上添加了一個分布式的調(diào)度機制,調(diào)度計算型的應用,但是,盡管其考慮到了多IDC環(huán)境下的虛擬機優(yōu)化分布.卻忽略了 IDC之間的交互本錢,在需要多個虛擬機協(xié)同效勞時性能會受到較大限制, 并且其只注重于計算型應用,適用情況單一.文獻32針對如何降低數(shù)據(jù)訪問的時延,提出了名為Volley的解決方案.Volley的主要思想是將數(shù)據(jù)副本放置在訪問用戶或者對其有依賴 的數(shù)據(jù)附近.以減少用戶訪問時

19、延；但是,其沒有綜合考慮各IDC的資源本錢的差異,而僅將研究重點放在數(shù)據(jù)上. 文獻33基于典型的分布式企業(yè)應用SAP商業(yè)軟件,將用戶托管效勞劃分為不同的類型. 根據(jù)不同的放置策略和平安設置,將效勞放置在不同的云環(huán)境 IDC中.其根本思想是根據(jù)用戶需求將相關組件放置在對該組件有較大需求的云環(huán)境中.由于應用規(guī)模的限制以及牽扯的細節(jié)較多如互操作性、網(wǎng)絡傳輸本錢、資源本錢差異等,當前針對跨IDC的云計算資源調(diào)度的研究仍相對較少.但是,隨著云計算技術的進一 步開展以及IDC規(guī)模的擴增,基于地域分布的IDC之間的交互與協(xié)作將成為一個必然的趨勢.現(xiàn)有的多IDC間的全局云計算資源調(diào)度研究往往只考慮了少數(shù)IDC

20、問、特定應用、單一調(diào)度目標的較單純情況.未來,對于混合云之間的調(diào)度,將會依賴于不同云平臺之間互操 作性的進一步開展；而對于多IDC的云環(huán)境,該領域需要建立一個全局的云計算資源調(diào)度模型,綜合考慮地域分布的虛擬資源與終端用戶應用模式的適配,以到達保證云計算應用提供者的SLA、降低云計算資源提供商的本錢以及提升終端用戶QoS的目的.4全局資源配置與水平規(guī)劃模型云環(huán)境下,云計算資源提供商、云計算應用提供商和應用終端用戶是云計算的參與主體, 同時也是云計算產(chǎn)業(yè)鏈和價值鏈的主體文獻 34,其中云計算資源提供商需要面對動態(tài)變 化、地域分布的應用終端用戶的訪問模式.全局優(yōu)化的資源配置與水平規(guī)劃研究為資源提供商

21、的關鍵商業(yè)決策提供支持.一方面,云計算資源提供商的投資本錢主要包括硬件設備本錢等資源本錢,以及場地費用、維護費用、能耗本錢等運營本錢；云計算應用提供商云資源使用者需要對其使用的資源付費,同時得到根SLA規(guī)定的效勞.另一方面,數(shù)據(jù)中央的投資建設和云計算應用終端用戶的訪問都具 有多地域分布的屬性.因此.不同的數(shù)據(jù)中央資源配置與水平規(guī)劃方案將具有不同的經(jīng)濟效 益,其旨在協(xié)助資源提供商決定在各地域分布IDC置備多少資源,以到達高性價比、有效保證效勞質(zhì)量的目的.現(xiàn)有的資源配置與水平規(guī)劃模型的研究,大多集中在配置和規(guī)劃云計算應用提供商所需資源方面文獻35-37,而不是考慮如何配置和規(guī)劃資源提供商擁有的IDC資源.文獻38根據(jù)云計算應用提供商所提供給用效勞的不同類型,采用不同的資源配置和水平規(guī)劃策略. 向云計算資源提供商租用資源,從而有效配置和規(guī)劃從云計算資源提供商那里所獲得的資 源,最終使得應用提供商的收益最大.另外,目前學術界和工業(yè)