




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
H3CCAS虛擬化平臺架構(gòu)H3c公司依托強(qiáng)大的研發(fā)實力、廣泛的市場應(yīng)用和技術(shù)理解,以客戶需求為導(dǎo)向,為企業(yè)新一代云計算數(shù)據(jù)中心基礎(chǔ)架構(gòu)提供一體化的云計算平臺解決方案,幫助用戶實現(xiàn)快速、可靠的虛擬化數(shù)據(jù)中心和云業(yè)務(wù)應(yīng)用部署。H3CCAS云平臺云計算解決方案包含統(tǒng)一的計算資源池、統(tǒng)一的網(wǎng)絡(luò)資源池、統(tǒng)一的存儲資源池,并提供了一體化的監(jiān)控和部署工具進(jìn)行統(tǒng)一的虛擬化與云業(yè)務(wù)管理,通過簡潔的管理界面,輕松地統(tǒng)一管理數(shù)據(jù)中心內(nèi)所有的物理資源和虛擬資源,不僅能提高管理員的管控能力、簡化日常例行工作,更可降低IT環(huán)境的復(fù)雜度和管理成本。CAS云計算管理平臺服務(wù)器虛擬化、存儲虛擬化和網(wǎng)絡(luò)虛擬化只是構(gòu)成云計算基礎(chǔ)設(shè)施的硬件資源池,在云計算環(huán)境中,最重要的一點是實現(xiàn)資源池的自動化,避免人力對于基礎(chǔ)設(shè)施的過多干預(yù)。H3CCAS(CloudAutomationSystem)通過自動化的管理平臺和手段,幫助用戶實現(xiàn)對云硬件資源和業(yè)務(wù)流程的快速部署與自動化維護(hù)和管理。H3CCAS云計算管理平臺由三個組件構(gòu)成:CVK:CloudVirtualization~「根1,虛擬化內(nèi)核平臺運行在基礎(chǔ)設(shè)施層和上層客戶操作系統(tǒng)之間的虛擬化內(nèi)核軟件。針對上層客戶操作系統(tǒng)對底層硬件資源的訪問,CVK用于屏蔽底層異構(gòu)硬件之間的差異性,消除上層客戶操作系統(tǒng)對硬件設(shè)備以及驅(qū)動的依賴,同時增強(qiáng)了虛擬化運行環(huán)境中的硬件兼容性、高可靠性、高可用性、可擴(kuò)展性、性能優(yōu)化等功能。CVM:CloudVirtualizationManager,虛擬化管理系統(tǒng)主要實現(xiàn)對數(shù)據(jù)中心內(nèi)的計算、網(wǎng)絡(luò)和存儲等硬件資源的軟件虛擬化管理,對上層應(yīng)用提供自動化服務(wù)。其業(yè)務(wù)范圍包括:虛擬計算、虛擬網(wǎng)絡(luò)、虛擬存儲、高可用性(HA)、動態(tài)資源調(diào)度(DRS)、虛擬機(jī)容災(zāi)與備份、虛擬機(jī)模板管理、集群文件系統(tǒng)、虛擬交換機(jī)策略等。CIC:CloudIntelligenceCenter,云業(yè)務(wù)管理中心Word資料
由一系列云基礎(chǔ)業(yè)務(wù)模塊組成,通過將基礎(chǔ)架構(gòu)資源(包括計算、存儲和網(wǎng)絡(luò))及其相關(guān)策略整合成虛擬數(shù)據(jù)中心資源池,并允許用戶按需消費這些資源,從而構(gòu)建安全的多租戶混合云。其業(yè)務(wù)范圍包括:組織(虛擬數(shù)據(jù)中心)、多租戶數(shù)據(jù)和業(yè)務(wù)安全、云業(yè)務(wù)工作流、自助式服務(wù)門戶、兼容OpenStack的RESTAPI接口等。企業(yè)云政府云教育云醫(yī)療云電力云企業(yè)云政府云教育云醫(yī)療云電力云組織/虛擬數(shù)據(jù)中心API業(yè)務(wù)編排層自助服務(wù)門戶云業(yè)務(wù)工作流虛擬機(jī)生命周期管理彈性計算服務(wù)虛擬化層虛擬存儲資源池虛擬網(wǎng)絡(luò)資源池虛擬計算資源池硬件基礎(chǔ)設(shè)施層計算存儲組織/虛擬數(shù)據(jù)中心API業(yè)務(wù)編排層自助服務(wù)門戶云業(yè)務(wù)工作流虛擬機(jī)生命周期管理彈性計算服務(wù)虛擬化層虛擬存儲資源池虛擬網(wǎng)絡(luò)資源池虛擬計算資源池硬件基礎(chǔ)設(shè)施層計算存儲網(wǎng)絡(luò)從邏輯架構(gòu)上,H3CCAS云計算管理平臺包括虛擬化層、自動化服務(wù)層、管理層、業(yè)務(wù)編排層、API層:虛擬化層利用CVK提供的底層虛擬化能力和上層CVM提供的管理能力,屏蔽底層物理硬件基礎(chǔ)設(shè)施的異構(gòu)性和復(fù)雜度,對外以虛擬資源池的形式呈現(xiàn)。自動化服務(wù)層強(qiáng)調(diào)業(yè)務(wù)運行的高可用性和可擴(kuò)展性,并未業(yè)務(wù)提供自動的容災(zāi)備份與資源調(diào)度能力。管理層對虛擬化資源及云運營要素進(jìn)行管理,如虛擬機(jī)生命周期的管理、虛擬機(jī)鏡像文件和配置文件的管理、多租戶的安全隔離、網(wǎng)絡(luò)策略配置的管理等。業(yè)務(wù)編排層Word資料對云計算資源進(jìn)行可運營性管理,包括對虛擬資源池的編排、最終用戶的自助服務(wù)門戶、業(yè)務(wù)的申請、審批與開通、用戶帳務(wù)的管理與報表輸出等。API層為第三方云運營管理平臺提供RESTful的API接口。H3CCAS虛擬化平臺特點完善的虛擬機(jī)生命周期管理傳統(tǒng)的虛擬機(jī)生命周期是指虛擬機(jī)從創(chuàng)建到刪除所經(jīng)歷的各個階段,最常見的劃分為“創(chuàng)建、運行、終結(jié)’三個階段。在IaaS架構(gòu)中,虛擬機(jī)作為最為重要的IT基礎(chǔ)設(shè)施,它的生命周期供貫穿于整個云業(yè)務(wù)服務(wù)的流程之中,并直接關(guān)系著云計算平臺的資源利用狀況。因此,為了更好的將虛擬機(jī)的生命周期管理和云業(yè)務(wù)及資源平臺管理結(jié)合在一起,在H3Cloud云計算解決方案中,將虛擬機(jī)的生命周期外延為“規(guī)劃、創(chuàng)建、運行、調(diào)整、終結(jié)”五個階段。在云解決方案中,虛擬機(jī)生命周期的管理除了關(guān)注虛擬機(jī)正常的生命階段以外,還需要關(guān)注虛擬機(jī)兩個外延屬性一一業(yè)務(wù)和資源。.規(guī)劃虛擬機(jī)的規(guī)劃是IT架構(gòu)的關(guān)鍵設(shè)計范疇。在這個階段需要將業(yè)務(wù)需求轉(zhuǎn)化為IT需求,并落實到業(yè)務(wù)和資源兩個方面的規(guī)劃設(shè)計中來。著重考慮兩個方面的內(nèi)容:業(yè)務(wù)梳理和評估Word資料
通過對業(yè)務(wù)的梳理,評估數(shù)據(jù)中心平臺各業(yè)務(wù)部門對虛擬機(jī)類型和規(guī)模的需求定義各部門組織以及給組織劃分其所屬的虛擬資源,包括計算資源,網(wǎng)絡(luò)資源,存儲資源以及虛擬機(jī)模板等。實際操作流程如下圖所示:缶主項胸工?月千更■ftiu缶主項胸工?月千更■ftiu.創(chuàng)建虛擬機(jī)的創(chuàng)建是虛擬機(jī)實體誕生并提供給用戶業(yè)務(wù)的開始。H3Cloud云方案提供了多種方式來創(chuàng)建虛擬機(jī):從模板生成,自定義參數(shù),克隆等。虛擬機(jī)創(chuàng)建時需要考慮硬件資源(CPU數(shù)量(核數(shù))&CPU調(diào)度優(yōu)先級,IO資源:存儲資源&IO優(yōu)先級。內(nèi)存大小,網(wǎng)絡(luò)資源等)和系統(tǒng)和應(yīng)用(操作系統(tǒng)等))兩方面的內(nèi)容。這些因素在H3c云管理平臺中虛擬機(jī)創(chuàng)建流程中都會有涉及,具體操作界面如下圖所示:Word資料
Q "和黑石必停藥白十小rQ "和黑石必停藥白十小r內(nèi):?啖G1*三才學(xué)堂;1哈乜君HlK,r七,*餐廣更聞101町之專武=喧3丐宣;!步事?T仁―肥二)用海亡工亍事三哥色/毛匚ICPUHTfi. [1B*I金什王以FUFE:fl皿《優(yōu)■田國:中 ?:中k.運行虛擬機(jī)的運行可以實現(xiàn)完整的傳統(tǒng)物理機(jī)運行狀態(tài)。而且依托虛擬化技術(shù)實現(xiàn)更加靈活的虛擬機(jī)使用模式:啟動、休眠、關(guān)閉、暫停、恢復(fù)、重啟。用戶可以依托H3c云管理平臺簡單的實現(xiàn)上述虛擬機(jī)的狀態(tài)的切換,具體如下圖所示:HE*1*ft**』?上1■n).rM[4?■&川ijfli-nc~l?It**WE■?2■g?士■■nd-a£M 可??1?:”?£mc-l二X力”?d”國?隰g*Ea.a”a*曰H二口E菅”??■■出feuu二內(nèi)■aaafissnsfinGtsDEBHDAasiLUBB*n■*i0ntdIF白*tJmii±>40國“Eu.?MiVOA■哈i吟”H?rt:揶L-Wl???il*一R^hh憫.1、 ?|B':o?fl*-回B■口fl8Q■■n皆AR溫n■:?七3,4u鹵際…■m?卜WULgfll■iWVCR5■*口01-&rtjk.力J由■ag£*!Un▲d??*J*MWPl■LJM?:4AH工"的.J.■O"潞@&身P1網(wǎng)*■gHWl?iW?*aiEr,■01SKIM寸m?穆,.UJj<1A|ir.調(diào)整虛擬機(jī)的調(diào)整是云業(yè)務(wù)管理員根據(jù)虛擬機(jī)所承載的業(yè)務(wù)的變化需求對現(xiàn)有虛擬機(jī)所占資源的主動行為。這種調(diào)整可以是由于業(yè)務(wù)擴(kuò)展帶來的虛擬機(jī)硬件資源擴(kuò)張,也可能是業(yè)務(wù)收縮后對多余資源的釋放。虛擬機(jī)的調(diào)整是云計算業(yè)務(wù)資源彈性最直觀的體現(xiàn),也是云計算技術(shù)給政府業(yè)務(wù)開展帶來敏捷性的根本W(wǎng)ord資料
所在。H3c云計算平臺可以在線的調(diào)整虛擬機(jī)所占用的系統(tǒng)資源,實際操作如下圖所示:?4三瞽』■力IPOOl...HA?4三瞽』■力IPOOl...HA■£孫1明JQraEEBQBI^la向副fiau^@suQU詞劉iij白亨Q恢復(fù)。聶耳33rl周長田◎JW.*?tFV區(qū)立即看仿*3也快織云亮IJ?*舊修設(shè)金曲機(jī)內(nèi)0?件",皇r■制:.終結(jié)虛擬機(jī)在云計算管理平臺上被刪除,即意味著虛擬機(jī)生命周期的終結(jié)。在虛擬機(jī)生命周期終結(jié)時要關(guān)注虛擬機(jī)所占用系統(tǒng)資源的回收。H3c云管理平臺在虛擬刪除后,會自動回收CPU和內(nèi)存等資源,為了保證虛擬機(jī)數(shù)據(jù)安全其所占用的存儲資源不會自動回收。1.2.2基于VEPA的虛擬網(wǎng)絡(luò)交換Word資料服務(wù)器虛擬化技術(shù)的出現(xiàn)使得計算服務(wù)提供不再以主機(jī)為基礎(chǔ),而是以虛擬機(jī)為單位來提供,同時為了滿足同一物理服務(wù)器內(nèi)虛擬機(jī)之間的數(shù)據(jù)交換需求,服務(wù)器內(nèi)部弓1入了網(wǎng)絡(luò)功能部件虛擬交換機(jī)vSwitch(VirtualSwitch),如下圖所示,虛擬交換機(jī)提供了虛擬機(jī)之間、虛擬機(jī)與外部網(wǎng)絡(luò)之間的通訊能力。IEEE的802.1標(biāo)準(zhǔn)中,正式將“虛擬交換機(jī)”命名為“VirtualEthernetBridge”,簡稱VEB,或稱vSwitch。虛擬機(jī)交換網(wǎng)絡(luò)架構(gòu)vSwitch的弓|入,給云計算數(shù)據(jù)中心的運行帶來了以下兩大問題:.網(wǎng)絡(luò)界面的模糊主機(jī)內(nèi)分布著大量的網(wǎng)絡(luò)功能部件vSwitch,這些vSwitch的運行、部署為主機(jī)操作與維護(hù)人員增加了巨大的額外工作量,在云計算數(shù)據(jù)中心通常由主機(jī)操作人員執(zhí)行,這形成了專業(yè)技能支撐的不足,而網(wǎng)絡(luò)操作人員一般只能管理物理網(wǎng)絡(luò)設(shè)備、無法操作主機(jī)內(nèi)vSwitch,這就使得大量vSwicth具備的網(wǎng)絡(luò)功能并不能發(fā)揮作用。此外,對于服務(wù)器內(nèi)部虛擬機(jī)之間的數(shù)據(jù)交換,在vSwitch內(nèi)有限執(zhí)行,外部網(wǎng)絡(luò)不可見,不論在流量監(jiān)管、策略控制還是安全等級都無法依賴完備的外部硬件功能實現(xiàn),這就使得數(shù)據(jù)交換界面進(jìn)入主機(jī)后因為vSwitch的功能、性能、管理弱化而造成了高級網(wǎng)絡(luò)特性與服務(wù)的缺失。Word資料.虛擬機(jī)的不可感知性物理服務(wù)器與網(wǎng)絡(luò)的連接是通過鏈路狀態(tài)來體現(xiàn)的,但是當(dāng)服務(wù)器被虛擬化后,一個主機(jī)內(nèi)同時運行大量的虛擬機(jī),而此前的網(wǎng)絡(luò)面對這些虛擬機(jī)的創(chuàng)建與遷移、故障與恢復(fù)等運行狀態(tài)完全不感知,同時對虛擬機(jī)也無法進(jìn)行實時網(wǎng)絡(luò)定位,當(dāng)虛擬機(jī)遷移時網(wǎng)絡(luò)配置也無法進(jìn)行實時地跟隨,雖然有些數(shù)據(jù)鏡像、分析偵測技術(shù)可以局部感知虛擬機(jī)的變化,但總體而言目前的虛擬機(jī)交換網(wǎng)絡(luò)架構(gòu)無法滿足虛擬化技術(shù)對網(wǎng)絡(luò)服務(wù)提出的要求。為了解決上述問題,本次項目H3c的解決思路是將虛擬機(jī)的所有流量都引I至外部接入交換機(jī),此時因為所有的流量均經(jīng)過物理交換機(jī),因此與虛擬機(jī)相關(guān)的流量監(jiān)控、訪問控制策略和網(wǎng)絡(luò)配置遷移問題均可以得到很好的解決,此方案最典型的代表是EVB標(biāo)準(zhǔn)。802.1QbgEdgeVirtualBridging(EVB)是由IEEE802.1工作組制定一個新標(biāo)準(zhǔn),主要用于解決vSwtich的上述局限性,其核心思想是:將虛擬機(jī)產(chǎn)生的網(wǎng)絡(luò)流量全部交給與服務(wù)器相連的物理交換機(jī)進(jìn)行處理,即使同一臺物理服務(wù)器虛擬機(jī)間的流量,也將發(fā)往外部物理交換機(jī)進(jìn)行查表處理,之后再180度調(diào)頭返回到物理服務(wù)器,形成了所謂的“發(fā)卡彎”轉(zhuǎn)發(fā)模式,如下圖所示:EVB標(biāo)準(zhǔn)具有如下的技術(shù)特點:借助發(fā)卡彎轉(zhuǎn)發(fā)機(jī)制將外網(wǎng)交換機(jī)上的眾多網(wǎng)絡(luò)控制策略和流量監(jiān)管特性弓1入到虛擬機(jī)網(wǎng)絡(luò)接入層,不但簡化了網(wǎng)卡的設(shè)計,而且充分利用了外部交換機(jī)專用ASIC芯片的處理能力、減少了虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)對CPU的開銷;Word資料
充分利用外部交換機(jī)既有的控制策略特性(ACL、QOS、端口安全等)實現(xiàn)整網(wǎng)端到端的策略統(tǒng)一部署;充分利用外部交換機(jī)的既有特性增強(qiáng)了虛擬機(jī)流量監(jiān)管能力,如各種端口流量統(tǒng)計,Netstream、端口鏡像等。EVB標(biāo)準(zhǔn)中定義了虛擬機(jī)與網(wǎng)絡(luò)之間的關(guān)聯(lián)標(biāo)準(zhǔn)協(xié)議,使得虛擬機(jī)在變更與遷移時通告網(wǎng)絡(luò)及網(wǎng)管系統(tǒng),從而可以借助此標(biāo)準(zhǔn)實現(xiàn)數(shù)據(jù)中心全網(wǎng)范圍的網(wǎng)絡(luò)配置變更自動化工作,使得大規(guī)模的虛擬機(jī)云計算服務(wù)運營部署自動化能夠?qū)崿F(xiàn)。CVM產(chǎn)品是H3C為數(shù)據(jù)中心云計算基礎(chǔ)架構(gòu)提供最優(yōu)化的虛擬化管理解決方案,該產(chǎn)品通過將數(shù)據(jù)中心IT資源的整合,不僅能夠達(dá)到提高服務(wù)器利用率和降低整體擁有成本的目的,而且能簡化勞動密集型和資源密集型IT操作,顯著提高系統(tǒng)管理員的工作效率。下面以CVM和H3CiMC(智能管理中心)產(chǎn)品為例簡單描述使用EVB后虛擬機(jī)的創(chuàng)建過程。.TH3CCABRI:占■可Mgvrl.三:.'.VRIt^)]回:TU.AMAPI.?喟東目口片優(yōu)兆法竽先搏與再結(jié)辭御的耳定黑品可.TH3CCABRI:占■可Mgvrl.三:.'.VRIt^)]回:TU.AMAPI.?喟東目口片優(yōu)兆法竽先搏與再結(jié)辭御的耳定黑品可k包后HI挈千遂北汽到信口LCW帆mitQ?七:的MSI立織。M科處目皿颯mr四使用EVB創(chuàng)建虛擬機(jī)的過程如上圖所示使用EVB標(biāo)準(zhǔn)后,虛擬機(jī)創(chuàng)建過程可以大致分為如下五步:網(wǎng)絡(luò)管理員將可用的網(wǎng)絡(luò)資源通過H3CiMC的圖形界面錄入iMC數(shù)據(jù)庫中;服務(wù)器管理員在通過CVM產(chǎn)品創(chuàng)建虛擬機(jī)之前,CVM產(chǎn)品會自動通過RESTAPI接口查詢iMC中可用的網(wǎng)絡(luò)資源;Word資料服務(wù)器管理員在CVM產(chǎn)品上創(chuàng)建虛擬機(jī),在指定虛擬機(jī)的CPU、內(nèi)存、硬盤等計算參數(shù)的同時,指定步驟二中的某個網(wǎng)絡(luò)資源;當(dāng)服務(wù)器管理員將創(chuàng)建虛擬機(jī)的請求提交之后,CVM產(chǎn)品會首先創(chuàng)建虛擬機(jī),其過程同市場上主流的虛擬化產(chǎn)品,不再贅述;虛擬機(jī)創(chuàng)建成功后,CVM會將該虛擬機(jī)與其所使用網(wǎng)絡(luò)資源的綁定關(guān)系通知給vSwitch;vSwitch會通過EVB標(biāo)準(zhǔn)中的VDP(VSIDiscoveryandConfigurationProtocol物議將虛擬機(jī)及網(wǎng)絡(luò)資源的綁定關(guān)系通知給接入交換機(jī);接入交換機(jī)將根據(jù)網(wǎng)絡(luò)資源的編號向iMC發(fā)送請求,iMC收到請求后會將該網(wǎng)絡(luò)資源對應(yīng)的網(wǎng)絡(luò)配置下發(fā)到接入交換機(jī)上,從而完成了整個虛擬機(jī)的創(chuàng)建過程。通過上述過程,虛擬機(jī)不但擁有了CPU、內(nèi)存、硬盤等計算資源,還擁有了相應(yīng)的網(wǎng)絡(luò)資源并據(jù)此自動接入網(wǎng)絡(luò)。虛擬機(jī)遷移過程基本與上述過程類似,稍有區(qū)別的是:如果遷移前后的接入交換機(jī)不同,系統(tǒng)會在遷移之前的接入交換機(jī)上刪除該虛擬機(jī)的相關(guān)網(wǎng)絡(luò)配置,從而達(dá)到“網(wǎng)絡(luò)配置跟隨”的目的。通過上述的舉例可以看出:EVB不僅簡化了虛擬化結(jié)構(gòu),并使得網(wǎng)絡(luò)參與虛擬化計算,變革了原來交疊不清的管理界面和模式,關(guān)聯(lián)了虛擬機(jī)變化(創(chuàng)建、遷移、撤銷、屬性修改等)和網(wǎng)絡(luò)感知,這些都是通過確定和簡單的技術(shù)如MultiChannel和協(xié)議如VDP來實現(xiàn)的。這些技術(shù)與協(xié)議將會如同ARP、DHCP等標(biāo)準(zhǔn)的網(wǎng)絡(luò)協(xié)議一樣為云計算數(shù)據(jù)中心IT基礎(chǔ)設(shè)施所認(rèn)識和支持,成為虛擬化環(huán)境中的標(biāo)準(zhǔn)和基礎(chǔ)協(xié)議。CVM上對虛擬交換網(wǎng)絡(luò)的管理實現(xiàn)如下圖所示:Word資料
書林wic-4占餐跟士式卡?刪除王加下班主札,培然曜抵札wH得和底擋和國關(guān)將新。曲二機(jī)?導(dǎo))㈤F宓.工等理所有理的心苦笈哪甘留存目」謂導(dǎo)U嚀也現(xiàn)與沾"虎值史Jft*L Lj"替兼容第三方虛擬化平臺的獨立智能軟件交換機(jī)組件H3CS1010V是H3C公司面向企業(yè)和行業(yè)數(shù)據(jù)中心虛擬化環(huán)境推出的一款智能軟件交換機(jī)產(chǎn)品,適用于VMwareESXi企業(yè)增強(qiáng)版環(huán)境。通過與VMware公司密切合作,H3CS1010V能夠與VMware虛擬基礎(chǔ)設(shè)施完全集成,其中,包括VMwarevCenter和VMwareESXi,并替代VMware的基本虛擬交換機(jī),為虛擬機(jī)提供功能增強(qiáng)型的分布式虛擬交換能力。H3CS1010V在設(shè)計上遵循OpenFlow標(biāo)準(zhǔn)體系架構(gòu),實現(xiàn)控制平面與轉(zhuǎn)發(fā)平面分離的可編程網(wǎng)絡(luò)技術(shù)。整個產(chǎn)品包括VCE、VFE和Plugin三個部分。Word資料vCenterServerwnwareL鏈路聚合等VFE(VirtualForwardingEngine)?虛擬轉(zhuǎn)發(fā)模塊,安裝和運行在VMwarevSphere中,取代VMware虛擬交換機(jī)。?扮演OpenFlow數(shù)據(jù)平面的角色,實現(xiàn)虛擬網(wǎng)絡(luò)端口的流量控制與轉(zhuǎn)發(fā)。?vCenterServerwnwareL鏈路聚合等VFE(VirtualForwardingEngine)?虛擬轉(zhuǎn)發(fā)模塊,安裝和運行在VMwarevSphere中,取代VMware虛擬交換機(jī)。?扮演OpenFlow數(shù)據(jù)平面的角色,實現(xiàn)虛擬網(wǎng)絡(luò)端口的流量控制與轉(zhuǎn)發(fā)。?多個VFE組成了分布式虛擬交換機(jī)。服務(wù)器1服務(wù)器2BVM VM VMLsfi #z 48,VFEVCE(VirtualControllerEngine)?虛擬控制模塊,以虛擬機(jī)的形式交付。?扮演OpenFlow控制器的角色,實現(xiàn)VFE模塊的集中管理和配置。?與VMwarevCenter緊耦合。Plugin(插件)?通過VCE注冊到vCenterServer,以插件的形式運行在vCenterServer中。?在VMwareVDS的基礎(chǔ)上,增強(qiáng)vNIC端口網(wǎng)絡(luò)控制能力(如PVLAN、VEPA、S1010VVCEVMwareESXiVFEVMwareESXi服務(wù)器3□VM VM VM#10 411 #12JVFEVMwareESXiH3CS1010V虛擬化產(chǎn)品系統(tǒng)架構(gòu)VFE(VirtualForwardingEngine,虛擬轉(zhuǎn)發(fā)弓[擎)安裝和運行在ESXi服務(wù)器上,是VMwareESXi內(nèi)核的一部分,能夠完全取代VMware虛擬交換機(jī)的功能。從定位上看,相當(dāng)于OpenFlow標(biāo)準(zhǔn)中的OpenFlow交換機(jī),扮演數(shù)據(jù)轉(zhuǎn)發(fā)平面的角色,實現(xiàn)虛擬網(wǎng)絡(luò)端口的流量控制與轉(zhuǎn)發(fā)。VFE接收到數(shù)據(jù)包后,首先在本地的OpenFlow流表中查找轉(zhuǎn)發(fā)目的端口,如果沒有匹配,則把數(shù)據(jù)包轉(zhuǎn)發(fā)給VCE模塊,由控制層決定轉(zhuǎn)發(fā)策略和轉(zhuǎn)發(fā)端口。部署在多個ESXi上的VFE組成一個跨物理主機(jī)的分布式軟件虛擬交換機(jī)。當(dāng)虛擬機(jī)發(fā)生遷移的時候,虛擬網(wǎng)卡上的網(wǎng)絡(luò)策略能夠在各個服務(wù)器上同步。VCE(VirtualControllerEngine,虛擬控制弓[擎)以標(biāo)準(zhǔn)的OVF(OpenVirtualizationFormat,開放虛擬化格式)虛擬機(jī)格式交付,通過VMwarevCenter提供的OVF模板部署功能安裝在一臺單獨的虛擬機(jī)上。從定位上看,相當(dāng)于OpenFlow標(biāo)準(zhǔn)中的控制器(Controller),通過WebGUI界面,實現(xiàn)VFE的集中管理和配置。Plugin(插件)Word資料
運行在VMwarevCenterServer上的一個插件,是H3CS1010V專為VMware定制開發(fā)的第三方管理接口,主要提供端口策略組的配置界面。H3CS1010V運行在VMwareESXi管理程序中,支持標(biāo)準(zhǔn)的IEEE802.1Qbg(EVB)協(xié)議標(biāo)準(zhǔn)和開放的OpenFlow體系架構(gòu),提供:基于端口策略組的虛擬機(jī)網(wǎng)絡(luò)連接;網(wǎng)絡(luò)策略隨虛擬機(jī)遷移自動化感知能力;清晰化的網(wǎng)絡(luò)與計算資源管理邊界。HA高可用部署傳統(tǒng)數(shù)據(jù)中心內(nèi)的服務(wù)器高可靠性保障通常會選擇依賴于集群技術(shù)的部署。而云計算平臺將計算資源虛擬化以后,可以利用虛擬服務(wù)器自身虛擬化的特點實現(xiàn)傳統(tǒng)物理服務(wù)器上無法實現(xiàn)的高可靠性。為了提升云業(yè)務(wù)系統(tǒng)的可靠性,在云計算平臺的計算資源池建設(shè)時,可以將多個物理主機(jī)合并為一個具有共享資源池的集群。CVMHA功能會監(jiān)控該集群下所有的主機(jī)和物理主機(jī)內(nèi)運行的虛擬主機(jī)。當(dāng)物理主機(jī)發(fā)生故障,出現(xiàn)宕機(jī)時,HA功能組件會立即響應(yīng)并在集群內(nèi)另一臺主機(jī)上重啟該物理主機(jī)內(nèi)運行的虛擬機(jī)。當(dāng)某一虛擬服務(wù)器發(fā)生故障時,HA功能也會自動的將該虛擬機(jī)重新啟動來恢復(fù)中斷的業(yè)務(wù)。具體操作如下圖所示:除了對集群中的物理服務(wù)器節(jié)點進(jìn)行持續(xù)檢測之外,H3CCASHA軟件模塊還對運行于物理服務(wù)器節(jié)點之上的虛擬機(jī)進(jìn)行持續(xù)檢測。在每臺服務(wù)器節(jié)點上都運行了一個 LRMd(LocalResourceManagerdaemon,本地資源管理器守護(hù)進(jìn)程),它是HA軟件模塊中直接操作所管理的Word資料
各種資源的一個子模塊,負(fù)責(zé)對本地的虛擬化資源進(jìn)行狀態(tài)檢測,并通過shell腳本調(diào)用方式實現(xiàn)對資源的各種操作。當(dāng)LRMd守護(hù)進(jìn)程檢測到本機(jī)的某臺虛擬機(jī)出現(xiàn)通信故障時,首先將事件通知給DC,由DC統(tǒng)一將該虛擬機(jī)狀態(tài)告知集群內(nèi)所有的物理服務(wù)器節(jié)點,并按照一定的策略算法,為該故障的虛擬機(jī)選擇一個空閑的服務(wù)器節(jié)點,在該節(jié)點上重啟該虛擬機(jī)。共享存儲池SAN/iSCSI/NFS在集群內(nèi)自動為虛擬機(jī)選擇空閑的服務(wù)器節(jié)點,實現(xiàn)動態(tài)遷移和業(yè)務(wù)的高可靠性 服務(wù)器集群LRMd持續(xù)檢測本機(jī)虛擬機(jī)運行狀態(tài),由DC為故障的VM自動選擇遷移后的服務(wù)器節(jié)點。共享存儲池SAN/iSCSI/NFS在集群內(nèi)自動為虛擬機(jī)選擇空閑的服務(wù)器節(jié)點,實現(xiàn)動態(tài)遷移和業(yè)務(wù)的高可靠性 服務(wù)器集群LRMd持續(xù)檢測本機(jī)虛擬機(jī)運行狀態(tài),由DC為故障的VM自動選擇遷移后的服務(wù)器節(jié)點。使用H3CCAS云計算軟件HA特性進(jìn)行虛擬機(jī)故障切換H3CCASHA技術(shù)有效的解決了目前其它高可用性解決方案面臨的問題:當(dāng)物理服務(wù)器發(fā)生硬件故障時,所有運行于該服務(wù)器的虛擬機(jī)可以自動切換到其它的可用服務(wù)器上,相對傳統(tǒng)的雙機(jī)容錯方案,H3CCASHA可以最大程度減少因硬件故障造成的服務(wù)器故障和服務(wù)中斷時間。不同于其它HA的雙機(jī)熱備方式,所有參與HA的物理服務(wù)器都在運行生產(chǎn)系統(tǒng),充分利用現(xiàn)有硬件資源。同時,對眾多的操作系統(tǒng)和應(yīng)用程序,H3cCAS提供統(tǒng)一的HA解決方案,避免了針對不同操作系統(tǒng)或者應(yīng)用,采用不同的HA方案帶來的額外開銷和復(fù)雜性。Word資料通過H3CCASHA,IT部門可以:為沒有容錯功能的應(yīng)用提供冗余保護(hù)傳統(tǒng)意義上HA實現(xiàn)很復(fù)雜并且價格昂貴,多用于關(guān)鍵性的服務(wù)或應(yīng)用,而H3CCASHA為所有的應(yīng)用程序提供了高性價比的HA解決方案。為整個IT環(huán)境提供“第一條安全防線”不同于其它基于操作系統(tǒng)和應(yīng)用的HA實現(xiàn)方式,H3CCASHA為IT系統(tǒng)提供了更統(tǒng)一、更易于管理的高可用性解決方案。H3CCAS用最少的成本和最簡單的管理方式為所用的應(yīng)用提供了最基本的冗余保護(hù)功能。綜上所述,H3CCASHA解決方案的技術(shù)特點總結(jié)如下:.自動偵測物理服務(wù)器和虛擬機(jī)失效H3CCAS會自動的監(jiān)測物理服務(wù)器和虛擬機(jī)的運行狀態(tài),如果發(fā)現(xiàn)服務(wù)器或虛擬機(jī)出現(xiàn)故障,會在其它的服務(wù)器上重新啟動故障機(jī)上所有虛擬機(jī),這個過程無需任何人為干預(yù)。.資源預(yù)留H3CCAS永遠(yuǎn)會保證資源池里有足夠的資源提供給虛擬機(jī),當(dāng)物理服務(wù)器宕機(jī)后,這部分資源可以保證虛擬機(jī)能夠順利的重新啟動。.虛擬機(jī)自動重新啟動通過在其它的物理服務(wù)器上重新啟動虛擬機(jī),HA可以保護(hù)任何應(yīng)用程序不會因為硬件失效而中斷服務(wù)。.智能選擇物理服務(wù)器當(dāng)與H3CCAS動態(tài)負(fù)載均衡功能共同使用時,H3CCASHA可以根據(jù)資源的使用情況,為失效物理服務(wù)器上的虛擬機(jī)選擇能獲得最佳運行效果的物理服務(wù)器。HA功能給企業(yè)云計算平臺帶來的價值如下:簡便的設(shè)置和啟動:使用“新建集群”向?qū)磉M(jìn)行初始設(shè)置,使用H3cCVM虛擬化管理平臺添加主機(jī)和新的虛擬機(jī)。降低硬件成本和設(shè)置:在傳統(tǒng)集群解決方案中,必須有重復(fù)的軟硬件,而且各個組件必須正確連接和配置。使用CVM集群時,只要保證有足夠的資源Word資料容納要確保其故障切換的主機(jī)的數(shù)量,就可以便捷自動地完成主機(jī)故障切換。無論硬件和操作系統(tǒng)平臺如何,CVMHA都通過為應(yīng)用程序提供可用的、經(jīng)濟(jì)的高可靠性,而使其更“大眾化”。DRS動態(tài)資源調(diào)整CVM提供的動態(tài)資源調(diào)整功能可以持續(xù)不斷地監(jiān)控計算資源池的各物理主機(jī)的利用率,并能夠根據(jù)用戶業(yè)務(wù)的實際需要,智能地在計算資源池各物理主機(jī)間給虛擬機(jī)分配所需的計算資源。通過自動的動態(tài)分配和平衡計算資源,動態(tài)資源調(diào)整特性能夠:整合服務(wù)器,降低IT成本,增強(qiáng)靈活性;減少停機(jī)時間,保持業(yè)務(wù)的持續(xù)性和穩(wěn)定性;減少需要運行服務(wù)器的數(shù)量,提高能源的利用率。隨著業(yè)務(wù)量的增長,虛擬機(jī)對計算資源需求會相應(yīng)的迅速增加。此時其所在物理主機(jī)的可用資源可能就不能再滿足其上承載的虛擬機(jī)的計算需要。CVM動態(tài)資源調(diào)整功能組件可以自動并持續(xù)地平衡計算資源池中的容量,可以動態(tài)的將虛擬機(jī)遷移到有更多可用計算資源的主機(jī)上,以滿足虛擬機(jī)對計算資源的需求。即便大量運行SQLServer的虛擬機(jī),只要開啟了動態(tài)資源調(diào)整功能,就不必再對CPU和內(nèi)存的瓶頸進(jìn)行一一監(jiān)測。全自動化的資源分配和負(fù)載平衡功能,也可以顯著地提升數(shù)據(jù)中心內(nèi)計算資源的利用效率,降低數(shù)據(jù)中心的成本與運營費用。如上圖所示,動態(tài)資源調(diào)整功能通過心跳機(jī)制,定時監(jiān)測集群內(nèi)主機(jī)的CPU利用率,并根據(jù)用戶自定義的規(guī)則來判斷是否需要為該主機(jī)在集群內(nèi)尋找有更Word資料
多可用資源的主機(jī),以將該主機(jī)上的虛擬機(jī)遷移到另外一臺具有更多合適資源的服務(wù)器上。具體操作如下圖所示:除了定時檢測和動態(tài)遷移之外,H3CCAS還充分考慮了虛擬機(jī)對物理服務(wù)器主機(jī)的親和性因素,即衡量虛擬機(jī)對當(dāng)前物理主機(jī)的依賴程度。例如,用戶可能希望某些虛擬應(yīng)用系統(tǒng)只允許在固定的物理主機(jī)上運行,而不允許其動態(tài)遷移。此時,只需要在H3cCAS云計算管理平臺上,去勾選虛擬機(jī)的自動遷移屬性即可(虛擬機(jī)自動遷移屬性配置)。Word資料Word資料動態(tài)資源調(diào)整技術(shù)特色總結(jié)根據(jù)業(yè)務(wù)需求自動調(diào)整資源H3CCAS動態(tài)資源調(diào)度功能將物理服務(wù)器主機(jī)資源聚合到集群中,通過監(jiān)控CPU和內(nèi)存等關(guān)鍵計算資源的利用率持續(xù)優(yōu)化虛擬機(jī)跨物理主機(jī)的分發(fā),將這些資源動態(tài)自動分發(fā)到各虛擬機(jī)中。自動平衡計算容量H3CCAS動態(tài)資源調(diào)度功能會不間斷地平衡資源池內(nèi)的計算容量,提高服務(wù)級別并確保每個虛擬機(jī)能隨時訪問相應(yīng)資源,滿足虛擬應(yīng)用程序的高可用性。DRX動態(tài)資源擴(kuò)展H3CDRX解決方案可以在云平臺中實現(xiàn)基于用戶業(yè)務(wù)負(fù)載的資源彈性擴(kuò)展功能。虛擬化管理平臺能夠主動探測用戶業(yè)務(wù)負(fù)載情況。當(dāng)用戶業(yè)務(wù)負(fù)載增加至超出事先設(shè)定的閾值時,虛擬化管理平臺自動創(chuàng)建或開啟承載該業(yè)務(wù)的虛擬機(jī)以增加該業(yè)務(wù)的計算資源。當(dāng)業(yè)務(wù)負(fù)載減少至超出事先設(shè)定的閾值時,虛擬化管理平臺自動減少承載該業(yè)務(wù)的虛擬機(jī)以釋放計算資源。如上圖所示,H3CDRX解決方案的主要功能如下:基于動態(tài)資源擴(kuò)展虛機(jī)組的負(fù)載監(jiān)控用戶事先設(shè)定好業(yè)務(wù)負(fù)載閥值。包括業(yè)務(wù)負(fù)載的上限和下限閥值。當(dāng)用戶業(yè)務(wù)增加到超出上限閥值時增加虛擬機(jī)資源;當(dāng)用戶業(yè)務(wù)降低到超出下限閥值Word資料時減少虛擬機(jī)資源監(jiān)控運行于虛擬化平臺上承載用戶業(yè)務(wù)的虛擬機(jī)cpu、內(nèi)存、網(wǎng)絡(luò)等資源的實際負(fù)載狀況當(dāng)業(yè)務(wù)負(fù)載超出用戶事先設(shè)定的閥值后給虛擬化管理平臺上報資源擴(kuò)展事件,以觸發(fā)虛擬化管理平臺自動進(jìn)行資源的彈性擴(kuò)展(包括資源的增加和回收)C配置中宓資源獷鞋4芬成政由挖千匏於周,豆弟晤.江臬業(yè)史見月區(qū)二虎擬機(jī)的匚「U就V應(yīng)存平力前月淬?生持紅門?mn地工J■展閾?左問」齊斯將白劉J■展史玉粗:七十回出曲住時,主統(tǒng)將白劉巨也恚生札.特建田"同: 2 ―妗鐘檢酬■間間隔: 5 0分鐘CPU利用率ET展觸: 30 Z %CPU利用率回收閩值:?n 0 %內(nèi)存田」用率擴(kuò)展照值:30 0 %內(nèi)存利用率叵Nt弱值: /II 叫 %1/豌走II?他洎I資源擴(kuò)展策略的設(shè)定當(dāng)用戶業(yè)務(wù)負(fù)載超出或者低于事先設(shè)定的上下限閥值時,以虛擬機(jī)的形式實現(xiàn)業(yè)務(wù)資源的彈性擴(kuò)展。包括資源的增加和資源的回收動態(tài)資源擴(kuò)展業(yè)務(wù)信息展示提供豐富的動態(tài)資源擴(kuò)展業(yè)務(wù)的統(tǒng)計信息展示W(wǎng)ord資料
ra?T--rOv.i刁匕步射?^^西力■一□nM陛的虎匐機(jī)后門曲贊博避通ra?T--rOv.i刁匕步射?^^西力■一□nM陛的虎匐機(jī)后門曲贊博避通以恒如陶樂町小中(itMUC不用口;*就「抬訃她,”fEi*Tird用竄長■■此中*,為號CdrKgiflL^tX-d'fl-aiMK.K.4*口出后且不皿1?轉(zhuǎn)口,■S:事V[i£W51wm睢叩博姆4-串船■EtilMk§0itMeviijiM-ArwiuHM1iURl襠m工wme?Dmnn1f礴2inK*t2IftiCM(5-JI虛擬機(jī)的資源限額默認(rèn)情況下,H3CCAS給每臺物理服務(wù)器主機(jī)上的虛擬機(jī)分配數(shù)量相同的CPU、內(nèi)存以及磁盤I/O資源。但是,并不是所有虛擬機(jī)工作負(fù)載天生相同,例如,SQL服務(wù)器和Web服務(wù)器的訪問需求就不盡相同,因此,手動調(diào)整分配給每個虛擬機(jī)的資源就顯得非常重要。Word資料
CPU優(yōu)先級磁盤I/O優(yōu)先級CPU優(yōu)先級磁盤I/O優(yōu)先級VM#1高中VM#2中高VM#3低低服務(wù)器集群H3CCAS通過資源限額方式來為虛擬機(jī)指定資源調(diào)度的優(yōu)先級。有三種預(yù)設(shè)的限額分配方式:高、中、低,調(diào)度優(yōu)先級權(quán)重分別為4:2:1,反映到份額上的數(shù)值如下表所示:高中低優(yōu)先級權(quán)重421CPU調(diào)度優(yōu)先級數(shù)值20481024512CPU調(diào)度優(yōu)先級百分比57.1%28.6%14.3%磁盤I/O調(diào)度優(yōu)先級數(shù)值800500300磁盤I/O調(diào)度優(yōu)先級百分比50.0%31.2%18.8%比如,一臺物理服務(wù)器主機(jī)上分配了5個虛擬機(jī),CPU調(diào)度優(yōu)先級分別為高、中、中、低、低,那么,高優(yōu)先級的虛擬機(jī)至少可以獲得4/(4+2+2+1+1)=40%的CPU資源,中優(yōu)先級的虛擬機(jī)至少可以獲得20%的CPU資源,而低優(yōu)先級的虛擬機(jī)至少可以獲得10%的CPU資源。需要強(qiáng)調(diào)的是,虛擬機(jī)資源限額機(jī)制的真正目的是為了確保每個虛擬機(jī)對Word資料
資源的調(diào)度下限,如果物理服務(wù)器上沒有發(fā)生虛擬機(jī)的資源搶占行為,那么,即使是低優(yōu)先級的虛擬機(jī)也有可能獨享該物理服務(wù)器上絕大部分的資源。高 中 低SQL高 中 低SQL服務(wù)器 Web服務(wù)器 _Mail服務(wù)器□VM#1OVM#2OVM#3高 中 低「SQL服務(wù)器 Web服務(wù)器 Mail服務(wù)器口VM#1 0VM#2口VM#3VM#1假如高優(yōu)先級的虛擬機(jī)處于負(fù)載低潮時,中優(yōu)先級和低優(yōu)先級的虛擬機(jī)可以搶占本屬于高優(yōu)先級虛擬機(jī)的資源,以提高應(yīng)用程序的效率和物理資源的利用率。資源發(fā)生搶占的情況下,CPU資源調(diào)度優(yōu)先級嚴(yán)格按照4:2:1的權(quán)重確保所有的虛擬機(jī)都能搶占到一定的資源,保證業(yè)務(wù)的可用性。VM#1假如高優(yōu)先級的虛擬機(jī)處于負(fù)載低潮時,中優(yōu)先級和低優(yōu)先級的虛擬機(jī)可以搶占本屬于高優(yōu)先級虛擬機(jī)的資源,以提高應(yīng)用程序的效率和物理資源的利用率。資源發(fā)生搶占的情況下,CPU資源調(diào)度優(yōu)先級嚴(yán)格按照4:2:1的權(quán)重確保所有的虛擬機(jī)都能搶占到一定的資源,保證業(yè)務(wù)的可用性。VM#2VM當(dāng)所有的虛擬機(jī)都處于滿負(fù)載運行的情況下,CPU資源嚴(yán)格按照4:2:1的權(quán)重比例進(jìn)行調(diào)度,以確保所有的虛擬機(jī)都能搶占到一定數(shù)量的資源,保證業(yè)務(wù)的可用性。一旦某個虛擬機(jī)的負(fù)載回落到權(quán)重比例之下,那么,其它的虛擬機(jī)可以搶占本屬于該虛擬機(jī)的資源,以最大限度地利用物理資源的利用率,保證應(yīng)用程序的運行效率。虛擬機(jī)的備份隨著云平臺對IT信息化系統(tǒng)的依賴加深,業(yè)務(wù)系統(tǒng)備份是必不可少的組件。相應(yīng)的,在云計算平臺中,針對計算資源池中虛擬機(jī)備份也至關(guān)重要。H3CloudVirtualizationManager實現(xiàn)了透明的定時備份和即時備份功能,會在暫停虛擬機(jī)中的應(yīng)用程序之后,為正在運行的虛擬機(jī)創(chuàng)建快照,從而對備份工作進(jìn)行集中處理,以確保文件系統(tǒng)的一致性。如下圖所示:Word資料
V西冏國SRMA陰小齒因恒HBl-ra圍V西冏國SRMA陰小齒因恒HBl-ra圍raH3CloudVirtualizationManager的備份特性是一種高效而低成本的災(zāi)難恢復(fù)特性,它將給用戶帶來如下價值:基于磁盤的備份功能,為虛擬機(jī)提供快速、簡單的數(shù)據(jù)保護(hù)無需額外代理的備份,簡化了部署復(fù)雜度支持全自動的定時備份和手工干預(yù)的即時備份,滿足不
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 木材加工中的刀具磨損與維護(hù)考核試卷
- 動物膠在紡織工業(yè)中的應(yīng)用考核試卷
- 床上用品企業(yè)產(chǎn)品生命周期管理考核試卷
- 塑料制品在汽車燃油系統(tǒng)的應(yīng)用考核試卷
- 婚慶布置道具考核試卷
- 放射性金屬礦選礦新技術(shù)與發(fā)展趨勢分析考核試卷
- 成人學(xué)生心理健康教育考核試卷
- 阿姐房屋租賃合同范本
- 沙石購銷合同范本
- 蘇州房屋裝修合同范本
- 2025年黑龍江農(nóng)業(yè)工程職業(yè)學(xué)院單招職業(yè)適應(yīng)性測試題庫及答案1套
- 《勞動法常識(第3版)》中職全套教學(xué)課件
- 2025年勞動合同延期補充協(xié)議模板
- 2025年日歷表(含農(nóng)歷、節(jié)假日、記事、A4打印版)
- 《反家庭暴力》課件
- 二零二五年度房地產(chǎn)預(yù)售合同協(xié)議4篇
- 2025-2030年中國天線行業(yè)市場需求狀況規(guī)劃研究報告
- 2024年南京旅游職業(yè)學(xué)院高職單招職業(yè)技能測驗歷年參考題庫(頻考版)含答案解析
- 如何提升自我管理能力
- 人教版(新)九年級下冊化學(xué)全冊教案教學(xué)設(shè)計及教學(xué)反思
- 部隊安全手機(jī)保密課件
評論
0/150
提交評論