基于云計算的異構(gòu)資源整合及資源管理平臺的構(gòu)建

基于云計算的異構(gòu)資源整合及資源管理平臺的構(gòu)建

針對上?？偛啃畔碾y信息服務局硬件和硬件需求以及中國數(shù)據(jù)服務公司面臨的實際問題，構(gòu)建了云計算資源整件的框架。該項目的實施展示了云計算和資源管理的平臺。通過應用服務器、存儲虛擬化等技術(shù),實現(xiàn)了數(shù)據(jù)資源按需分配、在線動態(tài)調(diào)配以及應用的動態(tài)遷移;結(jié)合虛擬機鏡像技術(shù),構(gòu)建“災備中心資源云”,解決了當前災備中心存在的一些問題。目前,云計算平臺在災備中心已經(jīng)上線,為災備中心帶來了明顯的經(jīng)濟和管理效益。1it基礎架構(gòu)及基礎設施隨著數(shù)字信息化工作的不斷推進,大量信息系統(tǒng)的投行,在信息化基礎設施和軟硬件的快速擴充下,帶來了一系列問題。例如:現(xiàn)有應用系統(tǒng)均按照各自的業(yè)務需求配置軟硬件資源,分散“豎井”部署方式,無法實現(xiàn)資源共享與調(diào)配,無法有效保證業(yè)務系統(tǒng)連續(xù)性;各網(wǎng)省IT基礎架構(gòu)標準化程度有較大差異,網(wǎng)省間及網(wǎng)省內(nèi)部的IT基礎架構(gòu)不統(tǒng)一;服務器的資源使用率較低,只有少量服務器的CPU平均使用率超過30%,資源閑置和浪費現(xiàn)象嚴重。從服務器的架構(gòu)來看,基本上是以應用為單位進行獨立部署的孤島式架構(gòu),不同應用的服務器之間沒有實現(xiàn)資源共享,各系統(tǒng)的軟硬件產(chǎn)品不統(tǒng)一,缺乏規(guī)范性;各應用系統(tǒng)在非功能性需求滿足方面做了詳細的估算和分析,但是由于各實施單位采用的分析方法和估算模型不同,造成在資源使用率方面很大的差異。IT基礎設施不能根據(jù)實際需要和業(yè)務變化動態(tài)調(diào)整資源和快速擴展,以致系統(tǒng)的靈活性和擴展性較差;信息系統(tǒng)運行維護工作量加大,軟硬件資源利用率低,采購的軟硬件資源之間不能有效共享和綜合利用,硬件重復投資間接增加了機房、動力環(huán)境與空調(diào)系統(tǒng)的建設或運行成本。為了解決以上問題,國家電網(wǎng)公司信息部開展了災備中心建設、軟硬件資源整合和應用一級部署等信息化建設工作,并通過SG-ERP規(guī)劃了未來國網(wǎng)信息化建設的方式。2支持結(jié)構(gòu)的異構(gòu)資源目前,通過目標架構(gòu)、管控架構(gòu)、監(jiān)控架構(gòu)來指導災備中心的建設。1數(shù)據(jù)中心建設明確要求災備中心的建設,要立足數(shù)據(jù)級災備,面向應用級災備,展望數(shù)據(jù)中心;數(shù)據(jù)中心建設應該實現(xiàn)標準化和集約化;要加強IT基礎架構(gòu)的可靠性、靈活性、可擴性以便更好地支撐業(yè)務系統(tǒng);要實現(xiàn)統(tǒng)一、集中化的管理,管控流程化、規(guī)范化、自動化、可測量和可持續(xù)改進。21控制結(jié)構(gòu)提出了災備中心應具備標準資源目錄和資源選型原則,業(yè)務系統(tǒng)的部署模式和資源選型,應該滿足服務水平要求。3云計算資源整合平臺除了對傳統(tǒng)的物理資源監(jiān)控外,還要實現(xiàn)對虛擬化環(huán)境的監(jiān)控?？梢?災備中心的建設,要求IT基礎設施服務具有整合異構(gòu)資源、統(tǒng)一運維管理、統(tǒng)一資源接入規(guī)范、動態(tài)資源調(diào)配以及流程管理等功能,其中異構(gòu)資源的整合最為基礎和關(guān)鍵。軟硬件資源整合的目標是實現(xiàn)系統(tǒng)管理與維護標準化,提高現(xiàn)有軟硬件資源的使用效率,提高應用系統(tǒng)開發(fā)部署效率及維護效率,構(gòu)建一個統(tǒng)一的IT支撐平臺,最終與應用系統(tǒng)形成合力,對業(yè)務進行“強而優(yōu)”的支持。云計算是一種基于互聯(lián)網(wǎng)大眾參與的計算模式,其計算資源(包括計算能力、存儲能力和交付能力)都是動態(tài)的、可伸縮的、被虛擬化的,而且以服務的方式提供。與其他的計算模式相比,云計算能夠整合大規(guī)模異構(gòu)計算資源、易于動態(tài)擴展、虛擬化等特點,使其成為解決上述問題的一個有效手段。針對災備中心的異構(gòu)系統(tǒng)存在不同廠家、不同型號的主機和存儲設備的現(xiàn)狀,提出針對災難數(shù)據(jù)備份的云計算資源整合方案,在此基礎上設計并實現(xiàn)具備對異構(gòu)設備進行整合管理功能的云計算資源管理平臺。通過在災備中心構(gòu)建云計算環(huán)境,將IT基礎設施的能力進行聚合,實現(xiàn)異構(gòu)資源的整合管理并形成資源的統(tǒng)一接入標準。3整合層架構(gòu)設計資源的整合是大型企業(yè)云計算資源管理的核心問題,因此在云資源管理平臺中,專門設計了整合層滿足資源整合的要求。在資源整合層的架構(gòu)中,主要關(guān)注點是多種異構(gòu)資源的整合使用以及與運維系統(tǒng)的深度整合?？紤]到未來資源的擴展,整合層采用可擴展的架構(gòu),為此制定了統(tǒng)一的資源接入和輸出規(guī)范。以架構(gòu)為技術(shù)手段,以規(guī)范為管理手段,用以綜合解決異構(gòu)資源整合問題。整合層架構(gòu)圖如圖1所示。在整合層中將控制和監(jiān)控組件分離,對每一種資源分別設計控制和監(jiān)控組件,同時監(jiān)控和控制組件都采用基于開放式服務規(guī)范的可擴展架構(gòu)方式,如圖2所示。由于將整合層獨立部署,所以還為整個整合層設計了安全訪問組件,同時根據(jù)標準應用接口輸出的需要,設計了標準數(shù)據(jù)輸出組件。整個平臺與運維的接口,通過標準應用接口輸出組件獲得云中資源的相關(guān)數(shù)據(jù),并提供一定的控制能力。3.1云計算資源池設置的規(guī)范原則云計算資源整合來自不同云計算供應商的多種異構(gòu)資源,每個云計算供應商決定了各自使用的管理程序、存儲模型、網(wǎng)絡模型、管理工具和流程。為此,必須為虛擬化資源和實體資源制定接入云計算資源池的規(guī)范,該規(guī)范旨在規(guī)定資源的管理系統(tǒng)提供的資源管理、控制、監(jiān)視的能力。各資源的系統(tǒng)需要提供規(guī)范所提供的能力,以達到云計算資源池統(tǒng)一管理,統(tǒng)一監(jiān)控的目的。資源接入規(guī)范的制定,可以使國家電網(wǎng)公司內(nèi)部各個云底層資源以及資源管理系統(tǒng)之間互聯(lián)互通,并且以標準為準要求廠商的云相關(guān)設施接口,以此避免廠商鎖定。3.2與webson河流的呈式管理與運維系統(tǒng)的整合是云計算資源管理平臺很重要部分,云資源管理平臺部署在數(shù)據(jù)中心,而數(shù)據(jù)中心已經(jīng)安裝運維管理系統(tǒng),那么必須將云中的資源向數(shù)據(jù)中心的運維管理系統(tǒng)推送,除模型的一致之外還需要有良好的架構(gòu)。云計算資源管理平臺通過基于Java平臺面向消息中間件的技術(shù)規(guī)范的方式向運維管理系統(tǒng)推送。圖3為與WebService整合層的異步通信方式。資源整合層提供兩種模式的異步通信方式:當客戶端執(zhí)行一條命令后,使用應用接口訂閱所關(guān)心的事件的主題,然后等待JAVA消息提供者產(chǎn)生消息后推給客戶端。當客戶端執(zhí)行一個命令后,使用WebService提供的API定期的主動檢查指定命令的執(zhí)行結(jié)果。云計算資源管理平臺需要與運維管理系統(tǒng)有同樣的虛擬和物理資產(chǎn)模型,并定期推送。物理資產(chǎn)信息共享,需要保證資產(chǎn)信息模型一致,信息監(jiān)控系統(tǒng)定時向云計算資源管理平臺推送物理資產(chǎn)信息,云計算資源管理平臺解析IMS物理資產(chǎn)信息后,存入資源管理平臺的模型庫中,如圖4所示。虛擬資產(chǎn)需要云計算資源管理平臺向IMS推送,云計算資源資源管理平臺定時推送虛擬資產(chǎn)信息,IMS根據(jù)其運維模型的特點,解析使用云計算資源管理平臺推送的虛擬資產(chǎn)信息。如圖5所示。4資源模型的構(gòu)建依據(jù)國家電網(wǎng)信息災備中心目前擁有的IBM、HP小型機、X86服務器資源,將IBM小型機及其PowerVM虛擬化平臺、HP小型機及其vPar資源分區(qū)技術(shù)、以VMware為代表的X86服務器虛擬化技術(shù)、以及來自不同廠商的異構(gòu)存儲設備抽象為統(tǒng)一的資源模型。針對災難備份的云計算資源整合方案,設計并構(gòu)建云計算資源管理平臺,在災備中心部署后納管災備中心擁有的IBM、HP小型機、X86服務器以及存儲設備。4.1初始化與服務器配置目前云計算資源管理平臺部署在PC服務器上,共使用多臺IBMX3850X5服務器,安裝ESXi4.1,并在其中一臺物理服務器上分別建立vCenter、vCloud、vShieldManager、云計算資源管理平臺和數(shù)據(jù)庫虛擬服務器,進行初始化與服務器納管配置。目前已經(jīng)完成自生和其余X3850X5服務器的納管,把X86服務器計算資源虛擬化成一個池,通過云計算資源管理平臺實現(xiàn)了申請單管理服務、虛擬資源組服務、模板管理服務、IP管理服務、物理機管理服務、任務管理服務、日志管理服務、性能管理服務,可針對用戶虛擬資源組進行虛擬服務器的創(chuàng)建、管理、配置、刪除、備份等操作。4.2平臺部署方案國家電網(wǎng)信息災備中心目前擁有的IBM、HP小型機、X86三類服務器資源,針對不同的服務器采用不同的虛擬化策略來進行整合,有以下3種平臺各自的部署方案。1創(chuàng)建抗病器社區(qū)Server)為驗證區(qū)每臺物理機安裝ESXServer;創(chuàng)建1個虛擬機安裝vCenterServer(所有ESXServer只需1個vCenterServer),然后將所有ESXServer注冊到vCenter中。2創(chuàng)建臺小機平臺為IBM小機激活PowerVM環(huán)境,每臺小機都需要激活;為IBM小機創(chuàng)建VIOServer,每臺小機都需要創(chuàng)建;創(chuàng)建1個微分區(qū)安裝NIMServer(所有IBM小機只需要1個NIMServer);創(chuàng)建一個微分區(qū)安裝SystemDirector(所有IBM小機只需要1個SystemDirector),并安裝VMControl插件;將所有IBM小機注冊到VMControl中。3動態(tài)管理策略由于災備中心的HP小型機是HPRX8640,支持vPar虛擬化技術(shù),可以納入云計算資源管理平臺進行動態(tài)管理。全面收集nPar資源信息,對每個nPar都要收集;劃分vPar(每個nPar都要劃分),并為vPar分配初始資源(最小化分配);在一個vPar上安裝IgniteServer,并將其他vPar注冊到IgniteServer中。5統(tǒng)一平臺,整合資源通過在災備中心構(gòu)建云環(huán)境,將IT基礎設施的能力進行聚合,實現(xiàn)異構(gòu)資源的整合管理,使得IT基礎設施資源可以按需分配和動態(tài)調(diào)度,并形成資源的統(tǒng)一接入標準;在云計算環(huán)境中,通過對業(yè)務應用負載峰谷的計算,得出錯峰利用資源的方式,使資源在不同應用之間來回流動,將資源利用率保持在一個較高的水平上,提升IT基礎設施的整體承載能力。通過對現(xiàn)有系統(tǒng)的應用和資源的優(yōu)化整合,可以疏理并空出許多資源,節(jié)省未來的設備投資;使用統(tǒng)一的界面和流程提供自動化的資源安裝、部署、運維能力,減少運維人員的手工操作,減少資源運維和管理成本。云計算資源的優(yōu)化整合,對數(shù)據(jù)級災備中心能夠起到重要的支撐作用。在數(shù)據(jù)級災備中心,利用基于該技術(shù)的云計算資源管理平臺,可以集中納管驗證區(qū)和管控區(qū)設備,向各網(wǎng)省和運維系統(tǒng)提供統(tǒng)一的虛擬化數(shù)據(jù)驗證環(huán)境和管理軟件運行環(huán)境。使用基于云計算資源整合技術(shù)的云計算管理平臺,納管數(shù)據(jù)級災備中心驗證區(qū)的好處:一是形成統(tǒng)一的服務器資源池,最大化利用資源,可以增多同時驗證的省公司數(shù)量;二是通過云計算資源管理平臺提供的管理功能,運維人員可以方便的管理和控