版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
.../虛擬化解決方案目錄一、VMware解決方案概述31.1VMware服務(wù)器整合解決方案31.2VMware商業(yè)連續(xù)性解決方案51.3VMware測(cè)試和開(kāi)發(fā)解決方案8二、VMware虛擬化實(shí)施方案設(shè)計(jì)92.1需求分析92.2方案拓?fù)鋱D102.3方案構(gòu)成部分詳細(xì)說(shuō)明112.3.1軟件需求112.3.2硬件需求112.4方案結(jié)構(gòu)描述112.4.1基礎(chǔ)架構(gòu)服務(wù)層112.4.2應(yīng)用程序服務(wù)層132.4.3虛擬應(yīng)用程序?qū)?82.4.4VMware異地容災(zāi)技術(shù)192.5方案帶來(lái)的好處222.5.1大大降低TCO222.5.2提高運(yùn)營(yíng)效率242.5.3提高服務(wù)水平242.5.4舊硬件和操作系統(tǒng)的投資保護(hù)242.6與同類產(chǎn)品的比較242.6.1效率242.6.2控制252.6.3選擇25三、VMware虛擬化桌面應(yīng)用實(shí)列263.1拓?fù)鋱D263.2方案描述263.3方案效果27四、項(xiàng)目預(yù)算28一、VMware解決方案概述1.1VMware服務(wù)器整合解決方案隨著企業(yè)的成長(zhǎng),IT部門必須快速地提升運(yùn)算能力-以不同操作環(huán)境的新服務(wù)器形式而存在。因此而產(chǎn)生的服務(wù)器數(shù)量激增則需要大量的資金和人力去運(yùn)作,管理和升級(jí)。IT部門需要:提升系統(tǒng)維護(hù)的效率快速部署新的系統(tǒng)來(lái)滿足商業(yè)運(yùn)行的需要找到減少相關(guān)資產(chǎn),人力和運(yùn)作成本的方法VMWARE服務(wù)器整合為這些挑戰(zhàn)提供了解決方案。虛擬構(gòu)架提供前所未有的負(fù)載隔離,為所有系統(tǒng)運(yùn)算和I/O設(shè)計(jì)的微型資源控制。虛擬構(gòu)架完美地結(jié)合現(xiàn)有的管理軟件并在共享存儲(chǔ)〔SAN上改進(jìn)投資回報(bào)率。通過(guò)把物理系統(tǒng)整合到有VMWARE虛擬構(gòu)架的數(shù)據(jù)中心上去,企業(yè)體驗(yàn)到:更少的硬件和維護(hù)費(fèi)用空閑系統(tǒng)資源的整合提升系統(tǒng)的運(yùn)作效率性價(jià)比高,持續(xù)的產(chǎn)品環(huán)境整合IT基礎(chǔ)服務(wù)器運(yùn)行IT基礎(chǔ)應(yīng)用的服務(wù)器大多數(shù)是Intel構(gòu)架的服務(wù)器這一類的應(yīng)用通常表現(xiàn)為文件和打印服務(wù)器,活動(dòng)目錄,網(wǎng)頁(yè)服務(wù)器,防火墻,NAT/DHCP服務(wù)器等。雖然大多數(shù)服務(wù)器系統(tǒng)資源的利用率在10%-15%,但是構(gòu)架,安全和兼容性方面的問(wèn)題導(dǎo)致必須指定不同的物理平臺(tái)來(lái)運(yùn)行它們。管理,安裝補(bǔ)丁和添加安全策略將花去大量的時(shí)間。另外,服務(wù)器的衍生組件將導(dǎo)致設(shè)備,動(dòng)力和散熱方面的成本上升。因?yàn)榈头?wù)器的利用率,低CPU的合并和中等I/O的要求,IT基礎(chǔ)服務(wù)器首選作為虛擬化和相關(guān)整合的候選者。虛擬化使得企業(yè)能實(shí)現(xiàn):達(dá)到甚至超過(guò)每個(gè)CPU,4個(gè)負(fù)載的整合比率更便宜的硬件和運(yùn)作成本在服務(wù)器管理方面的重大改進(jìn),包含添加,移動(dòng),變更,預(yù)制和重置基礎(chǔ)應(yīng)用將變得更強(qiáng)壯和災(zāi)難抵御能力整合重要應(yīng)用服務(wù)器根據(jù)5個(gè)不同的企業(yè)使用服務(wù)器軟件來(lái)大幅降低成本的實(shí)例,VMWARE出具了一份研究報(bào)告。使用服務(wù)器TCO模型來(lái)分類和計(jì)算成本,我們分析顯示VMWARE服務(wù)器軟件幫助這些企業(yè)實(shí)現(xiàn):減少28%-53%的硬件成本減少72%-79%的運(yùn)作成本減少29%-64%的綜合成本客戶目標(biāo):整合空閑服務(wù)器和存儲(chǔ)資源,為新項(xiàng)目重新部署這些資源提升運(yùn)作效率改進(jìn)服務(wù)器的管理靈活性通過(guò)零當(dāng)機(jī)維護(hù)改善服務(wù)等級(jí)標(biāo)準(zhǔn)化環(huán)境和改進(jìn)安全災(zāi)難狀態(tài)下,減少恢復(fù)時(shí)間更少冗余的情況下,確保高可用性更有效的適應(yīng)動(dòng)態(tài)商業(yè)的需求高級(jí)備份策略在技術(shù)支持和培訓(xùn)方面降低成本刀片服務(wù)器上的VMWARE軟件性能優(yōu)化新的諸如IBM刀片中心和HPProLiant刀片P系列的刀片服務(wù)器長(zhǎng)期致力于滿足企業(yè)IT主管的整合需求。刀片平臺(tái)提供改良的服務(wù)器管理性能和使運(yùn)作參數(shù)最優(yōu)化,例如減少預(yù)制,復(fù)雜線纜,動(dòng)力和散熱等方面的開(kāi)支,并節(jié)省機(jī)房空間。帶虛擬中心的VMWAREESX服務(wù)器部署在刀片平臺(tái)上能改進(jìn)刀片的使用率和刀片效價(jià)比。除此之外,在預(yù)制新的軟件服務(wù)和維護(hù)現(xiàn)有的服務(wù)時(shí),VMWARE軟件提供更大的靈活性和響應(yīng)能力。部署在刀片服務(wù)器上的VMWARE虛擬中心通過(guò)管理虛擬和實(shí)體主機(jī),讓用戶連續(xù)的整合負(fù)載,進(jìn)而優(yōu)化硬件使用率和降低成本。虛擬構(gòu)架把可用的硬件看成普通的資源池,因此,在資源規(guī)劃分配階段能確保靈活性。在某一負(fù)載達(dá)到峰值的情況下,任務(wù)能輕松地重新分配。預(yù)制一個(gè)新的負(fù)載無(wú)須部署一個(gè)新的刀片。除此之外,虛擬構(gòu)架幫助我們降低購(gòu)買新刀片底座的成本。有了VMWARE您能:靈活而恰當(dāng)?shù)目刂颇?dāng)前的運(yùn)算能力由于更高的系統(tǒng)利用率,節(jié)省超過(guò)35%的運(yùn)作成本使您的基礎(chǔ)構(gòu)架能實(shí)現(xiàn)按需動(dòng)態(tài)預(yù)制,高可用性和靈活管理1.2VMware商業(yè)連續(xù)性解決方案每年成百上千的全球數(shù)據(jù)中心遭遇重大的服務(wù)中斷。這些商業(yè)運(yùn)行將受到用戶錯(cuò)誤,病毒,硬件故障和自然災(zāi)害等問(wèn)題的影響。當(dāng)前商業(yè)連續(xù)性處于企業(yè)IT策略的最前沿,并且從管理層到CEO的所有人都非常重視它。成功的商業(yè)連續(xù)性策略元素包含:應(yīng)用程序可用計(jì)劃包含監(jiān)控和平臺(tái)冗余的預(yù)防措施數(shù)據(jù)保護(hù)災(zāi)難恢復(fù)策略有效的人員計(jì)劃使用虛擬構(gòu)架,IT管理員能改進(jìn)商業(yè)連續(xù)性的所有方面,例如:由于主備服務(wù)器之間的硬件獨(dú)立性,使得災(zāi)難恢復(fù)更快而花費(fèi)不多排除計(jì)劃內(nèi)的硬件當(dāng)機(jī),并明顯的減少計(jì)劃內(nèi)的軟件當(dāng)機(jī)管理所有虛擬機(jī)和監(jiān)控宿主機(jī)的單點(diǎn)控制技術(shù)為了實(shí)現(xiàn)捕捉和恢復(fù),完全的把主機(jī)壓縮到文件里去簡(jiǎn)化和可重復(fù)的自動(dòng)程序基于虛擬機(jī)的集群冗余簡(jiǎn)化為了實(shí)現(xiàn)高可用性,企業(yè)使用中間軟件例如微軟和Veritas的集群軟件,把兩臺(tái)服務(wù)器綁定在一個(gè)熱備環(huán)境。即使運(yùn)行在服務(wù)器上的應(yīng)用程序有集群感知能力,萬(wàn)一主服務(wù)器遭遇硬件或軟件錯(cuò)誤,這樣的安排仍然會(huì)導(dǎo)致非應(yīng)用程序當(dāng)機(jī)。冗余能消除單點(diǎn)失敗。隨著IT對(duì)企業(yè)運(yùn)作而言變得更加重要,高水平的服務(wù)普遍成為企業(yè)的需求,越來(lái)越多的應(yīng)用則被要求高度可用。然而,為了實(shí)現(xiàn)如上所述的高可用性集群,就像很多服務(wù)器運(yùn)行應(yīng)用一樣,企業(yè)需要預(yù)備和管理兩次。有了虛擬化,IT管理員能在運(yùn)行重要應(yīng)用的實(shí)體機(jī)和同等配置的虛擬機(jī)上創(chuàng)建集群。在待機(jī)狀態(tài)下,虛擬機(jī)并不消耗計(jì)算機(jī)資源,并且能以非常高的比例整合到一個(gè)或幾個(gè)實(shí)體平臺(tái)上去。結(jié)果,企業(yè)無(wú)須在硬件數(shù)量或管理和安裝補(bǔ)丁上投入雙倍的人力和物力,從而實(shí)現(xiàn)高可用性。冗余的方式將由2N變?yōu)镹+1。實(shí)體到虛擬的集群和實(shí)體到實(shí)體的集群一樣都支持同樣的集群軟件。同時(shí),節(jié)省的成本能為更多的負(fù)載實(shí)現(xiàn)高可用性并簽署更多的高水平服務(wù)協(xié)議。無(wú)須原硬件的數(shù)據(jù)恢復(fù)大多數(shù)企業(yè)IT部門使用常用的備份軟件,例如TivoliStorageManager,LegatoNetworker,或者VeritasNetBackup來(lái)創(chuàng)建數(shù)據(jù)和應(yīng)用程序備份。既然備份策略能抵御用戶錯(cuò)誤和某些情況下的軟硬件故障,比較長(zhǎng)的恢復(fù)時(shí)間和多恢復(fù)點(diǎn)是能被接受的。然而,為了獲得備份所帶來(lái)的好處,企業(yè)必須確保數(shù)據(jù)確實(shí)能被恢復(fù)。業(yè)余備份,專業(yè)恢復(fù)?為了測(cè)試數(shù)據(jù)恢復(fù),IT管理員需要為每個(gè)已備份的主機(jī)提供一臺(tái)測(cè)試的失敗轉(zhuǎn)移服務(wù)器,安裝操作系統(tǒng),安裝備份代理,嘗試在測(cè)試失敗轉(zhuǎn)移服務(wù)器上調(diào)整Windows注冊(cè)表和其他系統(tǒng)配置。如果系統(tǒng)調(diào)整成功,備份服務(wù)器和備份代理才能被用來(lái)測(cè)試數(shù)據(jù)恢復(fù)。預(yù)制新的服務(wù)器和調(diào)整Windows注冊(cè)表是一個(gè)漫長(zhǎng)的手工過(guò)程并且有時(shí)并不可能。這樣,在不同的失敗轉(zhuǎn)移服務(wù)器實(shí)現(xiàn)數(shù)據(jù)恢復(fù)是存在疑問(wèn)的。這些問(wèn)題將被虛擬失敗轉(zhuǎn)移硬件給解決了。此外,操作系統(tǒng)安裝,備份代理的安裝和Windows注冊(cè)表的調(diào)整只需做一次。此后,一個(gè)完整的已配置的VM模板將被存儲(chǔ)在VM模板庫(kù)內(nèi)。Vmware軟件能確保企業(yè):為災(zāi)難后的測(cè)試和恢復(fù),消除硬件資源方面的障礙避免系統(tǒng)和備份代理的安裝,用虛擬機(jī)模板來(lái)縮短恢復(fù)周期用標(biāo)準(zhǔn)的虛擬化硬件,使得災(zāi)難恢復(fù)更加可靠和可重復(fù)失敗轉(zhuǎn)移服務(wù)器的整合和自動(dòng)化對(duì)于關(guān)聯(lián)在存儲(chǔ)域網(wǎng)〔SAN上重要應(yīng)用的部署,企業(yè)災(zāi)難恢復(fù)策略通常包含一個(gè)災(zāi)難恢復(fù)的熱站,這個(gè)站點(diǎn)有在主備之間的完全同步的數(shù)據(jù)復(fù)制。這種策略提供很少的恢復(fù)點(diǎn)對(duì)象〔PRO。然而,出于恢復(fù)時(shí)間對(duì)象〔RTO的考慮,恢復(fù)時(shí)間非常依賴于除了數(shù)據(jù)恢復(fù)之外的恢復(fù)實(shí)體服務(wù)器,操作系統(tǒng),系統(tǒng)參數(shù)和應(yīng)用程序的能力。為了維持較少的恢復(fù)時(shí)間對(duì)象〔RTO,硬件和系統(tǒng)的同一配置需要被維護(hù)在失敗轉(zhuǎn)移站點(diǎn)上。這樣的配置無(wú)論在初始資本投入階段還是在項(xiàng)目運(yùn)作,升級(jí),維護(hù)和支持階段費(fèi)用都是很昂貴的。這種方案的兩個(gè)明顯缺點(diǎn)在于預(yù)制了太多的新服務(wù)器以及通常沒(méi)有可能為數(shù)據(jù)恢復(fù)去調(diào)整Windows注冊(cè)表和對(duì)不同的失敗轉(zhuǎn)移服務(wù)器的其他系統(tǒng)參數(shù)進(jìn)行配置部署在整個(gè)企業(yè)內(nèi)的虛擬構(gòu)架能確保企業(yè):避免在失敗轉(zhuǎn)移站點(diǎn)上停滯不前在主備站點(diǎn)上,從服務(wù)器整合角度來(lái)減少投入成本使恢復(fù)過(guò)程自動(dòng)化,并實(shí)現(xiàn)存儲(chǔ)管理軟件的集成改進(jìn)恢復(fù)過(guò)程的可靠性1.3VMware測(cè)試和開(kāi)發(fā)解決方案CIO們一直處于如何進(jìn)一步縮短企業(yè)應(yīng)用程序開(kāi)發(fā)和部署周期的壓力之下。在預(yù)算范圍內(nèi),及時(shí)提供高質(zhì)量的軟件從來(lái)就不是件容易的事?;诂F(xiàn)代的多層體系和操作系統(tǒng),瀏覽器和防火墻的多版本,任務(wù)變得更加復(fù)雜了。在軟件開(kāi)發(fā)過(guò)程中的一些問(wèn)題包括:對(duì)有限硬件資源的爭(zhēng)奪不匹配的開(kāi)發(fā)和生產(chǎn)環(huán)境不恰當(dāng)?shù)碾A段使得部署新應(yīng)用程序更具風(fēng)險(xiǎn)分布式的開(kāi)發(fā)團(tuán)隊(duì)之間的交流問(wèn)題遷移開(kāi)發(fā)和測(cè)試環(huán)境到虛擬構(gòu)架在更低的缺陷方面即刻得到明顯的改進(jìn)。VMWARE軟件把完整的測(cè)試平臺(tái)應(yīng)用程序和數(shù)據(jù)壓縮到文件內(nèi)。這些文件能在實(shí)體主機(jī)之間被輕易的存儲(chǔ),暫停,還原和傳遞。由于通過(guò)VMWARE軟件的隔離擔(dān)保,多虛擬測(cè)試平臺(tái)能運(yùn)行在同一個(gè)實(shí)體主機(jī)上而不互相影響。此外,虛擬構(gòu)架有許多為測(cè)試和開(kāi)發(fā)環(huán)境而設(shè)計(jì)的特定功能,例如系統(tǒng)快照,系統(tǒng)級(jí)的調(diào)試支持等有了VMWARE軟件,企業(yè)開(kāi)發(fā)部門能:把單一的實(shí)體平臺(tái)劃分成一打隔離的開(kāi)發(fā)環(huán)境精確的復(fù)制多模塊產(chǎn)品環(huán)境到虛擬機(jī)上去在不同的團(tuán)隊(duì)之間共享全部的環(huán)境在開(kāi)發(fā)和測(cè)試周期內(nèi),剔除反復(fù)配置的工作使一些以前需要手動(dòng)干預(yù)的測(cè)試過(guò)程自動(dòng)化在單一的實(shí)體平臺(tái)上模擬復(fù)雜的網(wǎng)絡(luò)應(yīng)用在同一物理硬件上運(yùn)行多操作系統(tǒng)VMWARE虛擬軟件能在單一的物理平臺(tái)上無(wú)限多的運(yùn)行完全隔離的系統(tǒng)環(huán)境。如果你是:一個(gè)運(yùn)行兩個(gè)以上分別運(yùn)行不同版本W(wǎng)indows或Linux系統(tǒng)的桌面主機(jī)程序員建立跨平臺(tái)分布式軟件的開(kāi)發(fā)者由于構(gòu)建系統(tǒng)軟件和驅(qū)動(dòng)程序需要,而導(dǎo)致每次程序崩潰都要重啟主機(jī)的開(kāi)發(fā)人員頻繁地為測(cè)試,開(kāi)發(fā),試驗(yàn)而更改X86服務(wù)器和桌面資源的多微軟系統(tǒng)的工程管理員在有限硬件資源配置的多系統(tǒng)上測(cè)試和檢驗(yàn)產(chǎn)品的質(zhì)量監(jiān)測(cè)工程師由于缺少硬件資源而無(wú)法精確的再生客戶環(huán)境的技術(shù)支持專家在不同的系統(tǒng)上運(yùn)行核心級(jí)調(diào)試的程序員需要在不同現(xiàn)場(chǎng)。檢測(cè)產(chǎn)品的外表,質(zhì)地和功能的質(zhì)檢工程師單一實(shí)體平臺(tái)上配置開(kāi)發(fā)環(huán)境現(xiàn)代企業(yè)軟件應(yīng)用從屬于協(xié)議設(shè)計(jì),系統(tǒng)環(huán)境,版本沖突和硬件依賴的各種變化。如果所有都不是多層應(yīng)用的話,大多數(shù)需要能在產(chǎn)品和開(kāi)發(fā)下,帶分布式連通和配置的多個(gè)主機(jī),這樣必將導(dǎo)致大量的基于X86平臺(tái)上的開(kāi)發(fā)和測(cè)試應(yīng)用,例如網(wǎng)頁(yè)服務(wù)器,應(yīng)用服務(wù)器或者數(shù)據(jù)庫(kù)難于管理。這些經(jīng)常被限定在一個(gè)固定的操作系統(tǒng)和軟件版本上,這樣使得他們得占據(jù)一個(gè)很大的空間。二、VMware虛擬化實(shí)施方案設(shè)計(jì)2.1需求分析為了提高X86架構(gòu)服務(wù)器上的信息系統(tǒng)高可用性,保證信息系統(tǒng)的業(yè)務(wù)連續(xù)性,保證后臺(tái)數(shù)據(jù)的安全性,我們應(yīng)用VMwarevSphere?部署全新的虛擬化架構(gòu)。VMwarevSphere?是業(yè)界首款云計(jì)算操作系統(tǒng),它利用虛擬化的強(qiáng)大能力將數(shù)據(jù)中心轉(zhuǎn)換為顯著簡(jiǎn)化的云計(jì)算基礎(chǔ)架構(gòu),使IT組織能夠利用內(nèi)部和外部資源,安全和低風(fēng)險(xiǎn)地提供新一代靈活可靠的IT服務(wù)。VMwarevSphere?顯著降低了資本和運(yùn)營(yíng)成本,在加強(qiáng)IT服務(wù)交付控制的同時(shí),還保留了在任何類型的操作系統(tǒng)、應(yīng)用程序和硬件、使用內(nèi)部托管或外部資源之間選擇的靈活性。有了為內(nèi)部和外部云計(jì)算提供基礎(chǔ)的VMwarevSphere?,并使用聯(lián)邦和標(biāo)準(zhǔn)來(lái)連接內(nèi)部和外部云計(jì)算基礎(chǔ)架構(gòu),各種規(guī)模的組織都能實(shí)現(xiàn)云計(jì)算的全部?jī)?yōu)勢(shì)。圖表SEQ圖表\*ARABIC1虛擬化云平臺(tái)的設(shè)計(jì)結(jié)構(gòu)作為成熟的虛擬化技術(shù),VMwarevSphere?對(duì)整體應(yīng)用體系架構(gòu)設(shè)計(jì)的改變很大,單從虛擬架構(gòu)角度來(lái)看,可以大致分為基礎(chǔ)架構(gòu)服務(wù)層、應(yīng)用程序服務(wù)層和虛擬應(yīng)用程序?qū)?。但從管理運(yùn)維的角度來(lái)看,又可以分為基礎(chǔ)架構(gòu)管理層、虛擬資源管理層和自動(dòng)化服務(wù)管理層。2.2方案拓?fù)鋱D2.3方案構(gòu)成部分詳細(xì)說(shuō)明該方案所涉及軟贏件清單軟件需求VMwarevSphere、VMwarevCenterserver。主要功能包括HA、vMotion、DRS、FaultTolerance、DPM、StoragevMotion、vStorageThinProvisioning<精簡(jiǎn)配置>、DataRecovery、UpdateManager、vShieldZone、HostProfile、vNetwork等等。硬件需求20臺(tái)IBM服務(wù)器、1臺(tái)普通PCServer、共享存儲(chǔ)、FCSANIBMX3850配置至少為4顆4核CPU,32G內(nèi)存,配置雙硬盤RAID1,雙光纖HBA卡IBMX3650配置至少為2顆4核CPU,16G內(nèi)存,配置雙硬盤RAID1,雙光纖HBA卡2.4方案結(jié)構(gòu)描述基礎(chǔ)架構(gòu)服務(wù)層基礎(chǔ)架構(gòu)服務(wù)層是整個(gè)虛擬架構(gòu)的重要支撐,主要是將物理的資源,包括計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源進(jìn)行虛擬化,提供一些虛擬化的基本單元,為整個(gè)架構(gòu)的虛擬化做好鋪墊,一般稱為:vCompute、vStorage和vNetwork。這部分的要點(diǎn)如下:對(duì)于vCompute,主要包括:計(jì)算資源的分配粒度;包括內(nèi)存和CPU的分配方式。能夠進(jìn)行分配的粒度越細(xì),往往效率越高,所以,內(nèi)存可以分配細(xì)化到MB,CPU分配可以細(xì)化到MHz。計(jì)算資源的動(dòng)態(tài)調(diào)度;包括DRS和DPM。DRS〔DistributedResourceScheduler就是分布式資源調(diào)度,虛擬機(jī)能夠在不同的物理服務(wù)器之間根據(jù)負(fù)載的均衡進(jìn)行自動(dòng)調(diào)度,這是資源〔CPU和內(nèi)存動(dòng)態(tài)調(diào)度的重要指標(biāo)。DPM<DistributedPowerManager>是電源的動(dòng)態(tài)管理模塊,也是最近虛擬化領(lǐng)域的重要技術(shù)。DPM可以讓服務(wù)器在負(fù)載較低的時(shí)候進(jìn)行進(jìn)一步的動(dòng)態(tài)整合,從而大量節(jié)能。Hypervisor是服務(wù)器虛擬化的基石;目前,瘦Hypervisor已經(jīng)成為虛擬化行業(yè)的重要趨勢(shì),通過(guò)Hypervisor的瘦化,可以降低虛擬化本身的超載,降低虛擬化本身的資源消耗,從而提升整個(gè)虛擬化系統(tǒng)的性能。對(duì)于vStorage,主要包括:VMwarevStorageVirtualMachineFileSystem<VMFS>;虛擬化平臺(tái)中集群文件系統(tǒng)是構(gòu)建虛擬化高可用的重要基礎(chǔ)技術(shù),通過(guò)虛擬化集群文件系統(tǒng),可以確保進(jìn)行虛擬環(huán)境交叉訪問(wèn)時(shí),保證數(shù)據(jù)的完整性和可靠性。卷增長(zhǎng);卷的動(dòng)態(tài)成長(zhǎng)可以實(shí)現(xiàn)磁盤卷的在線擴(kuò)展,為服務(wù)器虛擬化提供強(qiáng)大的存儲(chǔ)虛擬支持能力,滿足存儲(chǔ)卷的按需擴(kuò)展。StoragevMotion;可以實(shí)現(xiàn)存儲(chǔ)遷移時(shí)應(yīng)用不需要停機(jī),這是存儲(chǔ)虛擬化和服務(wù)器虛擬化結(jié)合的范例,成為服務(wù)器虛擬化的標(biāo)準(zhǔn)配置功能。ThinProvisioning;〔vStorage精簡(jiǎn)配置的具體實(shí)現(xiàn)見(jiàn)下圖,最大的好處是提高存儲(chǔ)的利用率,降低存儲(chǔ)的成本超過(guò)50%。圖表SEQ圖表\*ARABIC2vStorage精簡(jiǎn)配置示意圖對(duì)于vNetwork,主要包括:虛擬網(wǎng)卡;是為了滿足同一服務(wù)器上多個(gè)虛擬機(jī)而建立的,是服務(wù)器虛擬化的重要基石,今天市場(chǎng)上的虛擬化軟件都可以提供這個(gè)能力。vNetwork虛擬交換機(jī);可以在虛擬機(jī)和物理機(jī)之間提供第2層連接性,其功能包括:虛擬局域網(wǎng)分段〔有助于簡(jiǎn)化網(wǎng)絡(luò)、流量隔離以及改進(jìn)的可管理性內(nèi)置的網(wǎng)卡綁定〔有助于提高可用性以及物理網(wǎng)絡(luò)資源的負(fù)載平衡流速限制,有助于增強(qiáng)對(duì)物理網(wǎng)絡(luò)流量的控制vNetwork分布式交換機(jī);主要是進(jìn)一步簡(jiǎn)化虛擬化環(huán)境中的網(wǎng)絡(luò)管理而實(shí)現(xiàn)的,可在數(shù)據(jù)中心級(jí)別提供集中和聚合的虛擬網(wǎng)絡(luò),從而簡(jiǎn)化并增強(qiáng)虛擬機(jī)網(wǎng)絡(luò)。應(yīng)用程序服務(wù)層應(yīng)用程序服務(wù)器層是為虛擬化平臺(tái)上應(yīng)用系統(tǒng)的可用性、安全性和可擴(kuò)展性進(jìn)行服務(wù)的,是整個(gè)虛擬化架構(gòu)中最為重要的組成部分之一。因此,這個(gè)層次的服務(wù)也相當(dāng)豐富,也需要相當(dāng)成熟的經(jīng)驗(yàn)才能保證整個(gè)虛擬化的成功;換句話說(shuō),只有虛擬化平臺(tái)足夠強(qiáng)壯,才能夠作為云計(jì)算的基礎(chǔ)架構(gòu)平臺(tái)。應(yīng)用程序的可用性主要包括:vMotion;平臺(tái)管理模塊要能提供VMotion功能,可以方便的時(shí)間虛擬機(jī)不停機(jī)的從一臺(tái)PC服務(wù)器遷移到另外一臺(tái),從而避免"多個(gè)雞蛋放到一個(gè)籃子"可能造成的顧慮。下面的圖示大概描述了vMotion功能實(shí)現(xiàn);圖表SEQ圖表\*ARABIC3vMotion實(shí)現(xiàn)原理平臺(tái)管理要能提供高可用解決方案,如HA、FT容錯(cuò)功能,確保虛擬機(jī)的可用性。下面圖示了HA和FT功能機(jī)理;圖表SEQ圖表\*ARABIC4VMwareHA功能示意圖使用VMwareHA實(shí)現(xiàn)經(jīng)濟(jì)高效、獨(dú)立于硬件和操作系統(tǒng)的應(yīng)用程序可用性。圖表SEQ圖表\*ARABIC5VMwareFaultTolerance容錯(cuò)技術(shù)功能示意圖使用VMwareFaultTolerance〔容錯(cuò)技術(shù)可以實(shí)現(xiàn)完整的業(yè)務(wù)連續(xù)性,當(dāng)有硬件發(fā)生故障之時(shí),可以保障業(yè)務(wù)系統(tǒng)的連續(xù)運(yùn)行,而不需要中斷應(yīng)用系統(tǒng)。VMwareFaultTolerance〔容錯(cuò)技術(shù)提供了迄今為止,最高級(jí)別的業(yè)務(wù)連續(xù)性保障,可以花費(fèi)最小的代價(jià)得到最高的可靠性要求。NIC/HBA卡的Teaming也是服務(wù)器虛擬化的最基本需求,就是通過(guò)多網(wǎng)卡和多HBA卡,保證網(wǎng)絡(luò)和存儲(chǔ)訪問(wèn)的冗余性,一旦任何網(wǎng)卡或者HBA卡故障,都不會(huì)引起虛擬機(jī)的服務(wù)中斷;當(dāng)然,虛擬平臺(tái)的備份和恢復(fù)也是需要考慮的,要能兼容傳統(tǒng)的備份和容災(zāi)方案,包括VERITAS、Legato、IBM、HP、CA、Commvault等的備份方案等。應(yīng)用程序的安全性包括:盡量壓縮Hypervisor本身的代碼,容量降低到50MB以下,以降低Hypervisor本身受攻擊的可能性;VMsafe;提供Hypervisor級(jí)的病毒防范接口,允許第三方廠商進(jìn)行開(kāi)發(fā)接口,從底層直接進(jìn)行病毒的防范和截殺。下圖示例了VMsafeAPI的方式提供第三方安全接口的示例;圖表SEQ圖表\*ARABIC6VMsafe實(shí)現(xiàn)機(jī)理示意圖vSheildZone;提供動(dòng)態(tài)安全防火墻,確保系統(tǒng)在虛擬化平臺(tái)上遷移時(shí),安全策略能夠動(dòng)態(tài)遷移,確保系統(tǒng)安全的靈活性。下圖是動(dòng)態(tài)防火墻vSheildZone的實(shí)現(xiàn)機(jī)理示意。圖表SEQ圖表\*ARABIC7vSheildZone實(shí)現(xiàn)機(jī)理示意圖VMwareDistributedResourceScheduler<DRS>;動(dòng)態(tài)地實(shí)現(xiàn)服務(wù)器資源負(fù)載平衡,以根據(jù)業(yè)務(wù)優(yōu)先級(jí)向正確的應(yīng)用程序提供正確的資源,從而讓應(yīng)用程序可以根據(jù)需要壓縮或增長(zhǎng)。圖表SEQ圖表\*ARABIC8VMwareDRS動(dòng)態(tài)資源調(diào)配示意圖VMwareDataRecovery為小型環(huán)境中的虛擬機(jī)提供簡(jiǎn)單、經(jīng)濟(jì)高效、無(wú)代理的備份和恢復(fù)。圖表SEQ圖表\*ARABIC9VMwareDataRecovery備份機(jī)制VMwareDataRecovery備份模塊具有以下一些特性:虛擬機(jī)的無(wú)代理、基于磁盤的備份和恢復(fù);虛擬機(jī)或文件級(jí)別的恢復(fù);增量備份和消除重復(fù)數(shù)據(jù)以節(jié)約磁盤空間;為虛擬機(jī)提供快速、簡(jiǎn)單和完整的數(shù)據(jù)保護(hù);通過(guò)vCenter實(shí)現(xiàn)集中式管理;經(jīng)濟(jì)高效的存儲(chǔ)管理。應(yīng)用程序的可擴(kuò)展性包括:CPU、內(nèi)存的熱添加和磁盤、網(wǎng)絡(luò)等設(shè)備的熱添加和刪除,從而確保整個(gè)虛擬化平臺(tái)具有足夠的彈性。這也成為虛擬化平臺(tái)靈活性的重要指標(biāo),許多應(yīng)用場(chǎng)景都可以從這個(gè)特性中獲益。圖表SEQ圖表\*ARABIC10虛擬機(jī)的可擴(kuò)展性虛擬應(yīng)用程序?qū)覸MwarevSphere?包括對(duì)vApp的支持,vApp是包含一個(gè)或多個(gè)虛擬機(jī)的邏輯實(shí)體,它使用行業(yè)標(biāo)準(zhǔn)開(kāi)放虛擬化格式來(lái)指定和封裝多層應(yīng)用程序的所有組件,以及與該應(yīng)用程序相關(guān)聯(lián)的操作策略和服務(wù)級(jí)別。圖表SEQ圖表\*ARABIC11vApp功能示意圖虛擬應(yīng)用程序?qū)又饕菓?yīng)用的打包模式的變革,傳統(tǒng)的應(yīng)用必須要進(jìn)行安裝才可以使用,通過(guò)VMware虛擬化技術(shù),用戶可以更為便捷的部署應(yīng)用,比如將應(yīng)用系統(tǒng)當(dāng)作文件的方式進(jìn)行訪問(wèn)。這實(shí)際上有兩個(gè)趨勢(shì),一是應(yīng)用本身的虛擬化,二是應(yīng)用虛擬設(shè)備化。應(yīng)用的虛擬化就是讓任何應(yīng)用都能通過(guò)單個(gè)或一組文件進(jìn)行封裝,便于應(yīng)用的遷移和快速部署;應(yīng)用的設(shè)備虛擬化就是將應(yīng)用開(kāi)發(fā)限制到某一特點(diǎn)環(huán)境,完成的應(yīng)用通過(guò)虛擬機(jī)的方式提供給用戶,方便了用戶的快速部署使用,減少了用戶安裝過(guò)程出現(xiàn)的問(wèn)題。當(dāng)然,并不是要求應(yīng)用都必須進(jìn)行這兩種改造才可以運(yùn)行在虛擬化平臺(tái)上,實(shí)際上應(yīng)用可以和原來(lái)的應(yīng)用方式完全一樣運(yùn)行在虛擬平臺(tái)上,應(yīng)用的用戶甚至都不知道該應(yīng)用是運(yùn)行在實(shí)體服務(wù)器還是虛擬機(jī)里面。只所以要進(jìn)行應(yīng)用虛擬化,就是想進(jìn)一步簡(jiǎn)化應(yīng)用的運(yùn)行維護(hù)。VMware異地容災(zāi)技術(shù)〔可選部分容災(zāi)部分不包含在本期項(xiàng)目之中,在這里僅作為一個(gè)備選項(xiàng),希望用戶專家和領(lǐng)導(dǎo)了解虛擬化的容災(zāi)技術(shù)。當(dāng)前基于容災(zāi)的設(shè)計(jì)是以業(yè)務(wù)連續(xù)性為目標(biāo)的,這就意味著如果某一套系統(tǒng)發(fā)生災(zāi)難,容災(zāi)中心需要能夠自動(dòng)的啟動(dòng)并且連續(xù)工作,VMware平臺(tái)上的應(yīng)用都是包含操作系統(tǒng)整體,并且是以文件形式存在且脫離具體硬件的,所以容災(zāi)的設(shè)計(jì)和實(shí)現(xiàn)并不需要類似以往的復(fù)雜的物理環(huán)境搭建。不論是各生產(chǎn)系統(tǒng)還是容災(zāi)中心,只要是具備虛擬化能力的數(shù)據(jù)中心,都可以方便的部署異地虛擬化容災(zāi)。以下就介紹VMware的容災(zāi)技術(shù)。VMWARE容災(zāi)系統(tǒng)與傳統(tǒng)的容災(zāi)系統(tǒng)一樣也是涉及到兩個(gè)關(guān)鍵的參數(shù):RPO和RTO1.RTO,RecoverTimeObject,恢復(fù)時(shí)間指標(biāo),是指當(dāng)災(zāi)難發(fā)生后,生產(chǎn)系統(tǒng)需要多長(zhǎng)時(shí)間能夠恢復(fù)生產(chǎn),它是衡量企業(yè)在災(zāi)難發(fā)生后多長(zhǎng)時(shí)間能重新開(kāi)始運(yùn)轉(zhuǎn)的指標(biāo)。2.RPO,RecoverPointObject,恢復(fù)點(diǎn)指標(biāo),是指災(zāi)難發(fā)生后,容災(zāi)系統(tǒng)能把數(shù)據(jù)恢復(fù)到災(zāi)難發(fā)生前的哪一個(gè)時(shí)間點(diǎn)的數(shù)據(jù),它是衡量企業(yè)在災(zāi)難發(fā)生后會(huì)丟失多少生產(chǎn)數(shù)據(jù)的指標(biāo)。據(jù)國(guó)際標(biāo)準(zhǔn)SHARE78的定義,災(zāi)難恢復(fù)解決方案可根據(jù)以上的主要問(wèn)題所達(dá)到的程度而分為七級(jí),即從低到高有七種不同層次的災(zāi)難恢復(fù)解決方案,具體可根據(jù)企業(yè)數(shù)據(jù)的重要性以及需要恢復(fù)的速度和程度,來(lái)設(shè)計(jì)選擇并實(shí)現(xiàn)災(zāi)難恢復(fù)計(jì)劃。一個(gè)完善的容災(zāi)系統(tǒng)主要包括三個(gè)層次:數(shù)據(jù)容災(zāi),應(yīng)用容災(zāi)和網(wǎng)絡(luò)容災(zāi);兩個(gè)級(jí)別:本地高可用性〔HA、FaultTolerance或者備份,異地容災(zāi)。1.數(shù)據(jù)容災(zāi)就是指建立一個(gè)異地的數(shù)據(jù)系統(tǒng),該系統(tǒng)是本地關(guān)鍵應(yīng)用數(shù)據(jù)的一個(gè)同步或異步復(fù)制。2.應(yīng)用容災(zāi)是在數(shù)據(jù)容災(zāi)的基礎(chǔ)上,在異地建立一套完整的與本地生產(chǎn)系統(tǒng)相當(dāng)?shù)膫浞輵?yīng)用系統(tǒng)〔可以是互為備份,在災(zāi)難情況下,遠(yuǎn)程系統(tǒng)迅速接管業(yè)務(wù)運(yùn)行。3.網(wǎng)絡(luò)容災(zāi)是指在災(zāi)難發(fā)生后,當(dāng)應(yīng)用系統(tǒng)完成正確的遷移后,將訪問(wèn)應(yīng)用系統(tǒng)的網(wǎng)絡(luò)流量正確的導(dǎo)向遠(yuǎn)程的容災(zāi)系統(tǒng)。4.本地高可用性可通過(guò)高可靠性的集中存儲(chǔ),高可靠性的虛擬計(jì)算體系為客戶提供本地高可用性。應(yīng)用級(jí)別的容災(zāi)可通過(guò)VMWARE體系實(shí)現(xiàn),具有如下特點(diǎn):對(duì)物理主機(jī)及虛擬機(jī)的完整保護(hù);與VMwareESXServer完全集成;7×24小時(shí)備份及可用性,集成VMwareESXServer提供持續(xù)可用性;通過(guò)最新的完整備份,從虛擬機(jī)恢復(fù)系統(tǒng)及服務(wù);利用VMwareConverter為不同規(guī)格的服務(wù)器提供快速恢復(fù);三個(gè)簡(jiǎn)單步驟,完成物理主機(jī)到虛擬機(jī)〔P2V轉(zhuǎn)換,可實(shí)現(xiàn)在線P2V轉(zhuǎn)換,立即啟動(dòng)備份服務(wù)器直接升級(jí)到遠(yuǎn)程容災(zāi)機(jī)制;直接將完整VMware系統(tǒng)及數(shù)據(jù)復(fù)制到災(zāi)備中心,有效利用硬件資源;利用VMwareSRM快速實(shí)現(xiàn)站點(diǎn)間的切換;利用存儲(chǔ)的Snapmirror技術(shù)最大化網(wǎng)絡(luò)效率,實(shí)現(xiàn)存儲(chǔ)級(jí)別的硬件級(jí)數(shù)據(jù)傳輸。VMware實(shí)現(xiàn)異地?cái)?shù)據(jù)中心容災(zāi)的解決方案主要是提供SiteRecoveryManager〔SRM產(chǎn)品,SiteRecoveryManager可自動(dòng)執(zhí)行并簡(jiǎn)化災(zāi)難恢復(fù)計(jì)劃的管理和執(zhí)行工作,幫助您擺脫傳統(tǒng)災(zāi)難恢復(fù)中的諸多不便。由于VMwareSiteRecoveryManager省去了復(fù)雜的手動(dòng)恢復(fù)步驟,能夠?qū)謴?fù)計(jì)劃執(zhí)行無(wú)中斷測(cè)試,并且可以自動(dòng)執(zhí)行恢復(fù)過(guò)程,因此能夠在整個(gè)數(shù)據(jù)中心高效地進(jìn)行災(zāi)難恢復(fù)。VMwareSiteRecoveryManager還有助于進(jìn)行數(shù)據(jù)中心的計(jì)劃內(nèi)故障切換,例如數(shù)據(jù)中心遷移。VMwareSiteRecoveryManager與VMwareInfrastructure、VMwareVirtualCenter及其它主要存儲(chǔ)供應(yīng)商提供的存儲(chǔ)備份軟件緊密集成,讓災(zāi)難恢復(fù)變得快捷、可靠、經(jīng)濟(jì),而且便于管理。這樣,災(zāi)難恢復(fù)便不存在任何風(fēng)險(xiǎn)和后顧之憂,還可將所有重要的系統(tǒng)和應(yīng)用程序納入保護(hù)之列。圖表SEQ圖表\*ARABIC12VMwareSRM容災(zāi)示意圖災(zāi)難恢復(fù)管理利用存儲(chǔ)供應(yīng)商認(rèn)證的集成功能,查找并顯示受存儲(chǔ)備份保護(hù)的虛擬機(jī);直接在VirtualCenter中創(chuàng)建及管理恢復(fù)計(jì)劃;利用定制腳本擴(kuò)展恢復(fù)計(jì)劃;監(jiān)視遠(yuǎn)程站點(diǎn)的可用性,并提示用戶可能會(huì)發(fā)生的站點(diǎn)故障;存儲(chǔ)、查看和導(dǎo)出測(cè)試結(jié)果,并在VirtualCenter中執(zhí)行故障切換;利用基于角色的訪問(wèn)控制方法來(lái)控制對(duì)恢復(fù)計(jì)劃的訪問(wèn)。無(wú)中斷測(cè)試?yán)么鎯?chǔ)快照功能執(zhí)行恢復(fù)測(cè)試,而不會(huì)丟失備份數(shù)據(jù);將虛擬機(jī)連接至現(xiàn)有的隔離網(wǎng)絡(luò),以便進(jìn)行測(cè)試;自動(dòng)執(zhí)行恢復(fù)計(jì)劃;定制針對(duì)不同測(cè)試情況的恢復(fù)計(jì)劃;完成故障切換測(cè)試之后,自動(dòng)清除測(cè)試環(huán)境。自動(dòng)執(zhí)行故障切換只要按一下按鈕,用戶即可從VirtualCenter中執(zhí)行恢復(fù)計(jì)劃;利用領(lǐng)先的存儲(chǔ)供應(yīng)商為其備份平臺(tái)創(chuàng)建的適配器,自動(dòng)提升備份的數(shù)據(jù)存儲(chǔ)區(qū),以便在恢復(fù)情況下使用;執(zhí)行用戶定義的腳本,并可在恢復(fù)過(guò)程中暫停;重新配置虛擬機(jī)的IP地址,使其與故障切換站點(diǎn)的網(wǎng)絡(luò)配置相符;在VirtualCenter中管理和監(jiān)視恢復(fù)計(jì)劃的執(zhí)行情況。2.5方案帶來(lái)的好處大大降低TCO通過(guò)服務(wù)器整合,控制和減少物理服務(wù)器的數(shù)量,明顯提高每個(gè)物理服務(wù)器及其CPU的資源利用率,從而降低硬件成本。降低運(yùn)營(yíng)和維護(hù)成本,包括數(shù)據(jù)中心空間、機(jī)柜、網(wǎng)線,耗電量,冷氣空調(diào)和人力成本等。經(jīng)過(guò)目前統(tǒng)計(jì),2路CPU的服務(wù)器約85臺(tái)左右,基本上都是IBM的服務(wù)器,借鑒DELL官方提供的功率的參考:部署虛擬化前部署虛擬化前類型服務(wù)器數(shù)量額定功率服務(wù)器數(shù)量額定功率2顆CPU85550W20675W因此,部署VMware虛擬化方案之前,每年的電費(fèi)支出是:虛擬化前電費(fèi)支出=0.67×0.8元/度×〔85×0.55千瓦×24小時(shí)/天×365天/年=21.95萬(wàn)/年部署VMware虛擬化方案之后,每年的電費(fèi)支出是:虛擬化后電費(fèi)支出=0.67×0.8元/度×〔20×0.675千瓦×24小時(shí)/天×365天/年=6.34萬(wàn)/年通過(guò)部署VMware虛擬化方案,數(shù)據(jù)中心服務(wù)器直接電力消耗每年的電費(fèi)節(jié)約為:21.95萬(wàn)/年-6.34萬(wàn)/年=15.6萬(wàn)/年。數(shù)據(jù)中心冷卻系統(tǒng)的電力消耗一般來(lái)說(shuō),數(shù)據(jù)中心消耗的電能絕大部分全部變成了熱能,因此,服務(wù)器硬件的額定功率基本相當(dāng)于熱能輸出功率。此外,根據(jù)在惠普公司實(shí)驗(yàn)室做出的結(jié)果,每1瓦的散熱需要消耗0.8瓦的電能來(lái)進(jìn)行冷卻。<我們將此定義為負(fù)載參數(shù)L>?;谝陨蠑?shù)據(jù),數(shù)據(jù)中心的冷卻能耗可進(jìn)行如下推算:部署VMware虛擬化方案之前,數(shù)據(jù)中心服務(wù)器的冷卻成本為:虛擬化前冷卻電費(fèi)支出=0.8×0.8元/度×1.25×1.25×〔85×0.55千瓦×0.8×24小時(shí)/天×365天/年=32.76萬(wàn)元/年虛擬化后冷卻電費(fèi)支出=0.8×0.8元/度×1.25×1.25×〔20×0.675千瓦×0.8×24小時(shí)/天×365天/年=9.46萬(wàn)元/年虛擬化后冷卻電費(fèi)節(jié)約=32.76萬(wàn)元/年-9.46萬(wàn)元/年=23.3萬(wàn)元/年虛擬化后總體電費(fèi)節(jié)約=15.6萬(wàn)元/年+23.3萬(wàn)元/年=38.9萬(wàn)元/年。此項(xiàng)支出節(jié)約僅為直接的電力資源節(jié)省,還不包括周邊設(shè)備減少帶來(lái)的電力資源節(jié)約〔如:UPS、交換機(jī)等設(shè)備的減少。提高運(yùn)營(yíng)效率加快新服務(wù)器和應(yīng)用的部署,大大降低服
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024幼兒園門衛(wèi)消防應(yīng)急處理聘用合同范本3篇
- 2024年軟裝飾品采購(gòu)合作合同樣本版B版
- 2024年跨區(qū)域能源供應(yīng)協(xié)議
- 2024年貨車司機(jī)就業(yè)協(xié)議
- 2024某網(wǎng)絡(luò)公司與某廣告公司之間關(guān)于網(wǎng)絡(luò)推廣服務(wù)的合同
- 2024年高端醫(yī)療設(shè)備采購(gòu)與技術(shù)支持合同
- 2024年購(gòu)房委托代理協(xié)議
- 2024電子產(chǎn)品模具加工與質(zhì)量保證合同
- 2024年離異后財(cái)產(chǎn)處置協(xié)議:雙方協(xié)商達(dá)成
- 2025年度智能溫室大棚承包經(jīng)營(yíng)合同范本3篇
- 小學(xué)數(shù)學(xué)六年級(jí)解方程練習(xí)300題及答案
- 電抗器噪聲控制與減振技術(shù)
- 2024年醫(yī)療管理趨勢(shì)展望挑戰(zhàn)與機(jī)遇培訓(xùn)課件
- 2024年江蘇揚(yáng)州市高郵市國(guó)有企業(yè)招聘筆試參考題庫(kù)附帶答案詳解
- 內(nèi)鏡下食管靜脈曲張?zhí)自g(shù)圍手術(shù)期護(hù)理課件
- 35江蘇省蘇州市2023-2024學(xué)年高一上學(xué)期期末學(xué)業(yè)質(zhì)量陽(yáng)光指標(biāo)調(diào)研地理試卷
- 組態(tài)王與MySQL數(shù)據(jù)庫(kù)連接配置教程-20190807
- 運(yùn)輸行業(yè)員工崗前安全培訓(xùn)
- 《機(jī)械基礎(chǔ)(第七版)》期末考試復(fù)習(xí)題庫(kù)(含答案)
- 部編人教版語(yǔ)文九年級(jí)上冊(cè)文言文課下注釋
- 2023-2024學(xué)年滬科版九年級(jí)上學(xué)期物理期末模擬試卷(含答案)
評(píng)論
0/150
提交評(píng)論