




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、虛擬化解決方案目 錄、VMware決方案概述 錯(cuò)誤!未指定書簽c1.1 VMware服務(wù)器整合解決方案 錯(cuò)誤!未指定書簽。1.2 VMware商業(yè)連續(xù)性解決方案 錯(cuò)誤!未指定書簽。1.3 VMware測試和開發(fā)解決方案 錯(cuò)誤!未指定書簽。、VMware虛擬化實(shí)施方案設(shè)計(jì) 錯(cuò)誤!未指定書簽。2.1 需求分析 錯(cuò)誤!未指定書簽。2.2 方案拓?fù)鋱D 錯(cuò)誤!未指定書簽。2.3 方案構(gòu)成部分詳細(xì)說明 錯(cuò)誤!未指定書簽。2.3.1 軟件需求 錯(cuò)誤!未指定書簽。2.3.2 硬件需求 錯(cuò)誤!未指定書簽。2.4 方案結(jié)構(gòu)描述 錯(cuò)誤!未指定書簽。2.4.1 基礎(chǔ)架構(gòu)服務(wù)層 錯(cuò)誤!未指定書簽。2.4.2 應(yīng)用程序服
2、務(wù)層 錯(cuò)誤!未指定書簽。2.4.3 虛擬應(yīng)用程序?qū)?錯(cuò)誤!未指定書簽。2.4.4 VMware異地容災(zāi)技術(shù) 錯(cuò)誤!未指定書簽。2.5 方案帶來的好處 錯(cuò)誤!未指定書簽。2.5.1 大大降低TCO 錯(cuò)誤!未指定書簽。2.5.2 提高運(yùn)營效率 錯(cuò)誤!未指定書簽。2.5.3 提高服務(wù)水平 錯(cuò)誤!未指定書簽。2.5.4 舊硬件和操作系統(tǒng)的投資保護(hù) 錯(cuò)誤!未指定書簽。2.6 與同類產(chǎn)品的比較 錯(cuò)誤!未指定書簽。2.6.1 效率 錯(cuò)誤!未指定書簽。2.6.2 控制 錯(cuò)誤!未指定書簽。2.6.3 選擇 錯(cuò)誤!未指定書簽。三、VMware虛擬化桌面應(yīng)用實(shí)列 錯(cuò)誤!未指定書簽,3.1 拓?fù)鋱D 錯(cuò)誤!未指定書簽。
3、3.2 方案描述 錯(cuò)誤!未指定書簽。3.3 方案效果 錯(cuò)誤!未指定書簽。四、項(xiàng)目預(yù)算 錯(cuò)誤!未指定書簽c一、VMware解決方案概述3.4 VMware 服務(wù)器整合解決方案隨著企業(yè)的成長, IT 部門必須快速地提升運(yùn)算能力以不同操作環(huán)境的新服務(wù)器形式而存在。因此而產(chǎn)生的服務(wù)器數(shù)量激增則需要大量的資金和人力去運(yùn)作,管理和升級。IT 部門需要:? 提升系統(tǒng)維護(hù)的效率? 快速部署新的系統(tǒng)來滿足商業(yè)運(yùn)行的需要? 找到減少相關(guān)資產(chǎn),人力和運(yùn)作成本的方法VMWARE 服務(wù)器整合為這些挑戰(zhàn)提供了解決方案。虛擬構(gòu)架提供前所未有的負(fù)載隔離,為所有系統(tǒng)運(yùn)算和 I/O 設(shè)計(jì)的微型資源控制。虛擬構(gòu)架完美地結(jié)合現(xiàn)有的管
4、理軟件并在共享存儲(chǔ)( SAN )上改進(jìn)投資回報(bào)率。通過把物理系統(tǒng)整合到有VMWARE 虛擬構(gòu)架的數(shù)據(jù)中心上去,企業(yè)體驗(yàn)到:? 更少的硬件和維護(hù)費(fèi)用? 空閑系統(tǒng)資源的整合? 提升系統(tǒng)的運(yùn)作效率? 性價(jià)比高,持續(xù)的產(chǎn)品環(huán)境整合 IT 基礎(chǔ)服務(wù)器運(yùn)行 IT 基礎(chǔ)應(yīng)用的服務(wù)器大多數(shù)是Intel 構(gòu)架的服務(wù)器這一類的應(yīng)用通常表現(xiàn)為文件和打印服務(wù)器,活動(dòng)目錄,網(wǎng)頁服務(wù)器,防火墻,NAT/DHCP 服務(wù)器等。雖然大多數(shù)服務(wù)器系統(tǒng)資源的利用率在1015,但是構(gòu)架,安全和兼容性方面的問題導(dǎo)致必須指定不同的物理平臺(tái)來運(yùn)行它們。管理,安裝補(bǔ)丁和添加安全策略將花去大量的時(shí)間。另外,服務(wù)器的衍生組件將導(dǎo)致設(shè)備,動(dòng)力和散
5、熱方面的成本上升。因?yàn)榈头?wù)器的利用率,低CPU 的合并和中等I/O 的要求, IT 基礎(chǔ)服務(wù)器首選作 為虛擬化和相關(guān)整合的候選者。虛擬化使得企業(yè)能實(shí)現(xiàn):? 達(dá)到甚至超過每個(gè)CPU, 4 個(gè)負(fù)載的整合比率? 更便宜的硬件和運(yùn)作成本? 在服務(wù)器管理方面的重大改進(jìn),包含添加,移動(dòng),變更,預(yù)制和重置? 基礎(chǔ)應(yīng)用將變得更強(qiáng)壯和災(zāi)難抵御能力整合重要應(yīng)用服務(wù)器根據(jù) 5 個(gè)不同的企業(yè)使用服務(wù)器軟件來大幅降低成本的實(shí)例, VMWARE 出具了 一份研究報(bào)告。使用服務(wù)器TCO 模型來分類和計(jì)算成本,我們分析顯示VMWARE 服務(wù)器軟件幫助這些企業(yè)實(shí)現(xiàn):?減少2853的硬件成本?減少7279的運(yùn)作成本?減少296
6、4的綜合成本客戶目標(biāo):?整合空閑服務(wù)器和存儲(chǔ)資源,為新項(xiàng)目重新部署這些資源?提升運(yùn)作效率?改進(jìn)服務(wù)器的管理靈活性?通過零當(dāng)機(jī)維護(hù)改善服務(wù)等級?標(biāo)準(zhǔn)化環(huán)境和改進(jìn)安全?災(zāi)難狀態(tài)下,減少恢復(fù)時(shí)間?更少冗余的情況下,確保高可用性更有效的適應(yīng)動(dòng)態(tài)商業(yè)的需求? 高級備份策略? 在技術(shù)支持和培訓(xùn)方面降低成本刀片服務(wù)器上的 VMWARE 軟件性能優(yōu)化新的諸如 舊M刀片中心和HP ProLiant刀片P系列的刀片服務(wù)器長期致力于滿足 企業(yè) IT 主管的整合需求。刀片平臺(tái)提供改良的服務(wù)器管理性能和使運(yùn)作參數(shù)最優(yōu)化,例如減少預(yù)制,復(fù)雜線纜,動(dòng)力和散熱等方面的開支,并節(jié)省機(jī)房空間。帶虛擬中心的 VMWARE ESX
7、服務(wù)器部署在刀片平臺(tái)上能改進(jìn)刀片的使用率和刀片效價(jià)比。除此之外,在預(yù)制新的軟件服務(wù)和維護(hù)現(xiàn)有的服務(wù)時(shí), VMWARE 軟件提供更大的靈活性和響應(yīng)能力。部署在刀片服務(wù)器上的 VMWARE 虛擬中心通過管理虛擬和實(shí)體主機(jī),讓用戶連續(xù)的整合負(fù)載,進(jìn)而優(yōu)化硬件使用率和降低成本。虛擬構(gòu)架把可用的硬件看成普通的資源池,因此,在資源規(guī)劃分配階段能確保靈活性。在某一負(fù)載達(dá)到峰值的情況下,任務(wù)能輕松地重新分配。預(yù)制一個(gè)新的負(fù)載無須部署一個(gè)新的刀片。除此之外,虛擬構(gòu)架幫助我們降低購買新刀片底座的成本。有了 VMWARE 您能:? 靈活而恰當(dāng)?shù)目刂颇?dāng)前的運(yùn)算能力? 由于更高的系統(tǒng)利用率,節(jié)省超過35的運(yùn)作成本?
8、使您的基礎(chǔ)構(gòu)架能實(shí)現(xiàn)按需動(dòng)態(tài)預(yù)制,高可用性和靈活管理3.5 VMware商業(yè)連續(xù)性解決方案每年成百上千的全球數(shù)據(jù)中心遭遇重大的服務(wù)中斷。這些商業(yè)運(yùn)行將受到用戶錯(cuò)誤,病毒,硬件故障和自然災(zāi)害等問題的影響。當(dāng)前商業(yè)連續(xù)性處于企業(yè)IT 策略的最前沿,并且從管理層到 CEO 的所有人都非常重視它。成功的商業(yè)連續(xù)性策略元素包含:? 應(yīng)用程序可用計(jì)劃? 包含監(jiān)控和平臺(tái)冗余的預(yù)防措施? 數(shù)據(jù)保護(hù)? 災(zāi)難恢復(fù)策略? 有效的人員計(jì)劃使用虛擬構(gòu)架, IT 管理員能改進(jìn)商業(yè)連續(xù)性的所有方面,例如:? 由于主備服務(wù)器之間的硬件獨(dú)立性,使得災(zāi)難恢復(fù)更快而花費(fèi)不多? 排除計(jì)劃內(nèi)的硬件當(dāng)機(jī),并明顯的減少計(jì)劃內(nèi)的軟件當(dāng)機(jī)?
9、管理所有虛擬機(jī)和監(jiān)控宿主機(jī)的單點(diǎn)控制技術(shù)? 為了實(shí)現(xiàn)捕捉和恢復(fù),完全的把主機(jī)壓縮到文件里去? 簡化和可重復(fù)的自動(dòng)程序基于虛擬機(jī)的集群冗余簡化為了實(shí)現(xiàn)高可用性,企業(yè)使用中間軟件例如微軟和 Veritas 的集群軟件,把兩臺(tái)服務(wù)器綁定在一個(gè)熱備環(huán)境。即使運(yùn)行在服務(wù)器上的應(yīng)用程序有集群感知能力,萬一主服務(wù)器遭遇硬件或軟件錯(cuò)誤,這樣的安排仍然會(huì)導(dǎo)致非應(yīng)用程序當(dāng)機(jī)。冗余能消除單點(diǎn)失敗。隨著IT對企業(yè)運(yùn)作而言變得更加重要,高水平的服務(wù)普遍成為企業(yè)的需求,越來越多的應(yīng)用則被要求高度可用。然而,為了實(shí)現(xiàn)如上所述的高可用性集群,就像很多服務(wù)器運(yùn)行應(yīng)用一樣,企業(yè)需要預(yù)備和管理兩次。有了虛擬化, IT 管理員能在運(yùn)
10、行重要應(yīng)用的實(shí)體機(jī)和同等配置的虛擬機(jī)上創(chuàng)建集群。在待機(jī)狀態(tài)下,虛擬機(jī)并不消耗計(jì)算機(jī)資源,并且能以非常高的比例整合到一個(gè)或幾個(gè)實(shí)體平臺(tái)上去。結(jié)果,企業(yè)無須在硬件數(shù)量或管理和安裝補(bǔ)丁上投入雙倍的人力和物力,從而實(shí)現(xiàn)高可用性。冗余的方式將由 2N 變?yōu)?N+1 。實(shí)體到虛擬的集群和實(shí)體到實(shí)體的集群一樣都支持同樣的集群軟件。同時(shí),節(jié)省的成本能為更多的負(fù)載實(shí)現(xiàn)高可用性并簽署更多的高水平服務(wù)協(xié)議。無須原硬件的數(shù)據(jù)恢復(fù)大多數(shù)企業(yè)IT 部門使用常用的備份軟件,例如 Tivoli Storage Manager, LegatoNetworker,或者Veritas NetBackup來創(chuàng)建數(shù)據(jù)和應(yīng)用程序備份。既
11、然備份策略能抵御 用戶錯(cuò)誤和某些情況下的軟硬件故障,比較長的恢復(fù)時(shí)間和多恢復(fù)點(diǎn)是能被接受的。然而,為了獲得備份所帶來的好處,企業(yè)必須確保數(shù)據(jù)確實(shí)能被恢復(fù)。業(yè)余備份,專業(yè)恢復(fù)?為了測試數(shù)據(jù)恢復(fù), IT 管理員需要為每個(gè)已備份的主機(jī)提供一臺(tái)測試的失敗轉(zhuǎn)移服務(wù)器,安裝操作系統(tǒng),安裝備份代理,嘗試在測試失敗轉(zhuǎn)移服務(wù)器上調(diào)整Windows注冊表和其他系統(tǒng)配置。如果系統(tǒng)調(diào)整成功,備份服務(wù)器和備份代理才能被用來測試數(shù)據(jù)恢復(fù)。預(yù)制新的服務(wù)器和調(diào)整Windows 注冊表是一個(gè)漫長的手工過程并且有時(shí)并不可能。這樣,在不同的失敗轉(zhuǎn)移服務(wù)器實(shí)現(xiàn)數(shù)據(jù)恢復(fù)是存在疑問的。這些問題將被虛擬失敗轉(zhuǎn)移硬件給解決了。此外,操作系統(tǒng)
12、安裝,備份代理的安裝和 Windows 注冊表的調(diào)整只需做一次。此后,一個(gè)完整的已配置的 VM 模板將被存儲(chǔ)在 VM 模板庫內(nèi)。 Vmware 軟件能確保企業(yè):? 為災(zāi)難后的測試和恢復(fù),消除硬件資源方面的障礙? 避免系統(tǒng)和備份代理的安裝,用虛擬機(jī)模板來縮短恢復(fù)周期? 用標(biāo)準(zhǔn)的虛擬化硬件,使得災(zāi)難恢復(fù)更加可靠和可重復(fù)失敗轉(zhuǎn)移服務(wù)器的整合和自動(dòng)化對于關(guān)聯(lián)在存儲(chǔ)域網(wǎng)( SAN )上重要應(yīng)用的部署,企業(yè)災(zāi)難恢復(fù)策略通常包含一個(gè)災(zāi)難恢復(fù)的熱站,這個(gè)站點(diǎn)有在主備之間的完全同步的數(shù)據(jù)復(fù)制。這種策略提供很少的恢復(fù)點(diǎn)對象(PRO)。然而,出于恢復(fù)時(shí)間對象(RTO)的考慮,恢復(fù)時(shí)間非常依賴于除了數(shù)據(jù)恢復(fù)之外的恢復(fù)
13、實(shí)體服務(wù)器,操作系統(tǒng),系統(tǒng)參數(shù)和應(yīng)用程序的能力。為了維持較少的恢復(fù)時(shí)間對象(RTO ),硬件和系統(tǒng)的同一配置需要被維護(hù)在失敗轉(zhuǎn)移站點(diǎn)上。這樣的配置無論在初始資本投入階段還是在項(xiàng)目運(yùn)作,升級,維護(hù)和支持階段費(fèi)用都是很昂貴的。這種方案的兩個(gè)明顯缺點(diǎn)在于預(yù)制了太多的新服務(wù)器以及通常沒有可能為數(shù)據(jù)恢復(fù)去調(diào)整 Windows 注冊表和對不同的失敗轉(zhuǎn)移服務(wù)器的其他系統(tǒng)參數(shù)進(jìn)行配置? 部署在整個(gè)企業(yè)內(nèi)的虛擬構(gòu)架能確保企業(yè):? 避免在失敗轉(zhuǎn)移站點(diǎn)上停滯不前? 在主備站點(diǎn)上,從服務(wù)器整合角度來減少投入成本? 使恢復(fù)過程自動(dòng)化,并實(shí)現(xiàn)存儲(chǔ)管理軟件的集成? 改進(jìn)恢復(fù)過程的可靠性3.6 VMware 測試和開發(fā)解決方
14、案CIO 們一直處于如何進(jìn)一步縮短企業(yè)應(yīng)用程序開發(fā)和部署周期的壓力之下。在預(yù)算范圍內(nèi),及時(shí)提供高質(zhì)量的軟件從來就不是件容易的事?;诂F(xiàn)代的多層體系和操作系統(tǒng),瀏覽器和防火墻的多版本,任務(wù)變得更加復(fù)雜了。在軟件開發(fā)過程中的一些問題包括:? 對有限硬件資源的爭奪? 不匹配的開發(fā)和生產(chǎn)環(huán)境? 不恰當(dāng)?shù)碾A段使得部署新應(yīng)用程序更具風(fēng)險(xiǎn)? 分布式的開發(fā)團(tuán)隊(duì)之間的交流問題遷移開發(fā)和測試環(huán)境到虛擬構(gòu)架在更低的缺陷方面即刻得到明顯的改進(jìn)。VMWARE 軟件把完整的測試平臺(tái)應(yīng)用程序和數(shù)據(jù)壓縮到文件內(nèi)。這些文件能在實(shí)體主機(jī)之間被輕易的存儲(chǔ),暫停,還原和傳遞。由于通過VMWARE 軟件的隔離擔(dān)保,多虛擬測試平臺(tái)能運(yùn)行
15、在同一個(gè)實(shí)體主機(jī)上而不互相影響。此外,虛擬構(gòu)架有許多為測試和開發(fā)環(huán)境而設(shè)計(jì)的特定功能,例如系統(tǒng)快照,系統(tǒng)級的調(diào)試支持等有了 VMWARE 軟件,企業(yè)開發(fā)部門能:? 把單一的實(shí)體平臺(tái)劃分成一打隔離的開發(fā)環(huán)境? 精確的復(fù)制多模塊產(chǎn)品環(huán)境到虛擬機(jī)上去? 在不同的團(tuán)隊(duì)之間共享全部的環(huán)境? 在開發(fā)和測試周期內(nèi),剔除反復(fù)配置的工作? 使一些以前需要手動(dòng)干預(yù)的測試過程自動(dòng)化? 在單一的實(shí)體平臺(tái)上模擬復(fù)雜的網(wǎng)絡(luò)應(yīng)用在同一物理硬件上運(yùn)行多操作系統(tǒng)VMWARE 虛擬軟件能在單一的物理平臺(tái)上無限多的運(yùn)行完全隔離的系統(tǒng)環(huán)境。如果你是:? 一個(gè)運(yùn)行兩個(gè)以上分別運(yùn)行不同版本 Windows或Linux系統(tǒng)的桌面主機(jī)程序員
16、? 建立跨平臺(tái)分布式軟件的開發(fā)者? 由于構(gòu)建系統(tǒng)軟件和驅(qū)動(dòng)程序需要,而導(dǎo)致每次程序崩潰都要重啟主機(jī)的開發(fā)人員? 頻繁地為測試,開發(fā),試驗(yàn)而更改 X86 服務(wù)器和桌面資源的多微軟系統(tǒng)的工程管理員? 在有限硬件資源配置的多系統(tǒng)上測試和檢驗(yàn)產(chǎn)品的質(zhì)量監(jiān)測工程師? 由于缺少硬件資源而無法精確的再生客戶環(huán)境的技術(shù)支持專家? 在不同的系統(tǒng)上運(yùn)行核心級調(diào)試的程序員? 需要在不同現(xiàn)場。檢測產(chǎn)品的外表,質(zhì)地和功能的質(zhì)檢工程師單一實(shí)體平臺(tái)上配置開發(fā)環(huán)境現(xiàn)代企業(yè)軟件應(yīng)用從屬于協(xié)議設(shè)計(jì),系統(tǒng)環(huán)境,版本沖突和硬件依賴的各種變化。如果所有都不是多層應(yīng)用的話,大多數(shù)需要能在產(chǎn)品和開發(fā)下,帶分布式連通和配置的多個(gè)主機(jī),這樣必
17、將導(dǎo)致大量的基于 X86 平臺(tái)上的開發(fā)和測試應(yīng)用,例如網(wǎng)頁服務(wù)器,應(yīng)用服務(wù)器或者數(shù)據(jù)庫難于管理。這些經(jīng)常被限定在一個(gè)固定的操作系統(tǒng)和軟件版本上,這樣使得他們得占據(jù)一個(gè)很大的空間。二、VMware虛擬化實(shí)施方案設(shè)計(jì)2.1 需求分析為了提高 X86 架構(gòu)服務(wù)器上的信息系統(tǒng)高可用性,保證信息系統(tǒng)的業(yè)務(wù)連續(xù)性,保證后臺(tái)數(shù)據(jù)的安全性,我們應(yīng)用 VMware vSphere?gB署全新的虛擬化架構(gòu)。VMware vSphere? 是業(yè)界首款云計(jì)算操作系統(tǒng),它利用虛擬化的強(qiáng)大能力將數(shù)據(jù)中心轉(zhuǎn)換為顯著簡化的云計(jì)算基礎(chǔ)架構(gòu),使IT 組織能夠利用內(nèi)部和外部資源,安全和低風(fēng)險(xiǎn)地提供新一代靈活可靠的 IT 服務(wù)。 V
18、Mware vSphere? 顯著降低了資本和運(yùn)營成本,在加強(qiáng) IT 服務(wù)交付控制的同時(shí),還保留了在任何類型的操作系統(tǒng)、應(yīng)用程序和硬件、使用內(nèi)部托管或外部資源之間選擇的靈活性。有了為內(nèi)部和外部云計(jì)算提供基礎(chǔ)的VMware vSphere?,并使用聯(lián)邦和標(biāo)準(zhǔn)來連接內(nèi)部和外部云計(jì)算基礎(chǔ)架構(gòu), 各種規(guī)模的組織都能實(shí)現(xiàn)云計(jì)算的全部優(yōu)勢。圖表 1 虛擬化云平臺(tái)的設(shè)計(jì)結(jié)構(gòu)作為成熟的虛擬化技術(shù),VMwarevSphere?對整體應(yīng)用體系架構(gòu)設(shè)計(jì)的改變很大,單從虛擬架構(gòu)角度來看,可以大致分為基礎(chǔ)架構(gòu)服務(wù)層、應(yīng)用程序服務(wù)層和虛擬應(yīng)用程序?qū)印5珡墓芾磉\(yùn)維的角度來看,又可以分為基礎(chǔ)架構(gòu)管理層、虛擬資源管理層和自動(dòng)化
19、服務(wù)管理層。2.2 方案拓?fù)鋱D2.3 方案構(gòu)成部分詳細(xì)說明該方案所涉及軟贏件清單2.3.1 軟件需求VMware vSphere 4 、 VMware vCenter server 4 、 Lab manager 4 。主要功能包括HA、vMotion 、 DRS、Fault Tolerance 、DPM、 Storage vMotion 、vStorageThin Provisioning ( 精簡配置 ) 、 Data Recovery 、 Update Manager、 vShield Zone 、 Host Profile 、 vNetwork 等等。2.3.2 硬件需求20臺(tái)舊M服務(wù)
20、器、1臺(tái)普通PC Server、共享存儲(chǔ)、FC SANIBM X3850配置至少為4顆4核CPU 32G內(nèi)存,配置雙硬盤 RAID1,雙光纖HBAIBM X3650配置至少為2顆4核CPU 16G內(nèi)存,配置雙硬盤RAID1,雙光纖HBA卡2.4 方案結(jié)構(gòu)描述2.4.1 基礎(chǔ)架構(gòu)服務(wù)層基礎(chǔ)架構(gòu)服務(wù)層是整個(gè)虛擬架構(gòu)的重要支撐,主要是將物理的資源,包括計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源進(jìn)行虛擬化,提供一些虛擬化的基本單元,為整個(gè)架構(gòu)的虛擬化做好鋪墊,一般稱為:vCompute、 vStorage 和 vNetwork 。這部分的要點(diǎn)如下:對于 vCompute ,主要包括:? 計(jì)算資源的分配粒度;包括內(nèi)存
21、和 CPU 的分配方式。能夠進(jìn)行分配的粒度越細(xì),往往效率越高,所以,內(nèi)存可以分配細(xì)化到 MB , CPU 分配可以細(xì)化到MHz。?計(jì)算資源的動(dòng)態(tài)調(diào)度;包括 DRS和DPM。DRS (Distributed ResourceScheduler)就是分布式資源調(diào)度,虛擬機(jī)能夠在不同的物理服務(wù)器之間根據(jù) 負(fù)載的均衡進(jìn)行自動(dòng)調(diào)度,這是資源( CPU 和內(nèi)存)動(dòng)態(tài)調(diào)度的重要指標(biāo)。DPM(Distributed Power Manager)是電源的動(dòng)態(tài)管理模塊,也是最近虛擬化領(lǐng)域的重要技術(shù)。 DPM 可以讓服務(wù)器在負(fù)載較低的時(shí)候進(jìn)行進(jìn)一步的動(dòng)態(tài)整 合,從而大量節(jié)能。? Hypervisor 是服務(wù)器虛擬化
22、的基石;目前,瘦 Hypervisor 已經(jīng)成為虛擬化行業(yè)的重要趨勢,通過Hypervisor 的瘦化,可以降低虛擬化本身的超載,降低虛擬化本身的資源消耗,從而提升整個(gè)虛擬化系統(tǒng)的性能。對于vStorage ,主要包括:? VMware vStorage Virtual Machine File System (VMFS) ;虛擬化平臺(tái)中集群文件系統(tǒng)是構(gòu)建虛擬化高可用的重要基礎(chǔ)技術(shù),通過虛擬化集群文件系統(tǒng),可以確保進(jìn)行虛擬環(huán)境交叉訪問時(shí),保證數(shù)據(jù)的完整性和可靠性。? 卷增長;卷的動(dòng)態(tài)成長可以實(shí)現(xiàn)磁盤卷的在線擴(kuò)展,為服務(wù)器虛擬化提供強(qiáng)大的存儲(chǔ)虛擬支持能力,滿足存儲(chǔ)卷的按需擴(kuò)展。? Storage
23、 vMotion;可以實(shí)現(xiàn)存儲(chǔ)遷移時(shí)應(yīng)用不需要停機(jī),這是存儲(chǔ)虛擬化和 服務(wù)器虛擬化結(jié)合的范例,成為服務(wù)器虛擬化的標(biāo)準(zhǔn)配置功能。? Thin Provisioning ; (vStorage精簡配置)的具體實(shí)現(xiàn)見下圖,最大的好處是 提高存儲(chǔ)的利用率,降低存儲(chǔ)的成本超過50。圖表 2 vStorage 精簡配置示意圖對于 vNetwork ,主要包括:? 虛擬網(wǎng)卡;是為了滿足同一服務(wù)器上多個(gè)虛擬機(jī)而建立的,是服務(wù)器虛擬化的重要基石,今天市場上的虛擬化軟件都可以提供這個(gè)能力。? vNetwork 虛擬交換機(jī);可以在虛擬機(jī)和物理機(jī)之間提供第 2 層連接性,其 功能包括:虛擬局域網(wǎng)分段(有助于簡化網(wǎng)絡(luò))
24、、流量隔離以及改進(jìn)的可管理性內(nèi)置的網(wǎng)卡綁定(有助于提高可用性)以及物理網(wǎng)絡(luò)資源的負(fù)載平衡流速限制,有助于增強(qiáng)對物理網(wǎng)絡(luò)流量的控制? vNetwork 分布式交換機(jī);主要是進(jìn)一步簡化虛擬化環(huán)境中的網(wǎng)絡(luò)管理而實(shí)現(xiàn)的,可在數(shù)據(jù)中心級別提供集中和聚合的虛擬網(wǎng)絡(luò),從而簡化并增強(qiáng)虛擬機(jī)網(wǎng)絡(luò)。2.4.2 應(yīng)用程序服務(wù)層應(yīng)用程序服務(wù)器層是為虛擬化平臺(tái)上應(yīng)用系統(tǒng)的可用性、安全性和可擴(kuò)展性進(jìn)行服務(wù)的,是整個(gè)虛擬化架構(gòu)中最為重要的組成部分之一。因此,這個(gè)層次的服務(wù)也相當(dāng)豐富,也需要相當(dāng)成熟的經(jīng)驗(yàn)才能保證整個(gè)虛擬化的成功;換句話說,只有虛擬化平臺(tái)足夠強(qiáng)壯,才能夠作為云計(jì)算的基礎(chǔ)架構(gòu)平臺(tái)。應(yīng)用程序的可用性主要包括:?
25、vMotion ;平臺(tái)管理模塊要能提供VMotion 功能,可以方便的時(shí)間虛擬機(jī)不停機(jī)的從一臺(tái) PC 服務(wù)器遷移到另外一臺(tái),從而避免“多個(gè)雞蛋放到一個(gè)籃子”可能造成的顧慮。下面的圖示大概描述了 vMotion 功能實(shí)現(xiàn); 圖表 3 vMotion 實(shí)現(xiàn)原理? 平臺(tái)管理要能提供高可用解決方案,如 HA 、 FT 容錯(cuò)功能,確保虛擬機(jī)的可 用性。下面圖示了 HA 和 FT 功能機(jī)理; 圖表 4 VMware HA 功能示意圖使用 VMware HA 實(shí)現(xiàn)經(jīng)濟(jì)高效、獨(dú)立于硬件和操作系統(tǒng)的應(yīng)用程序可用性。圖表 5 VMware Fault Tolerance 容錯(cuò)技術(shù)功能示意圖使用VMware Fau
26、lt Tolerance (容錯(cuò)技術(shù))可以實(shí)現(xiàn)完整的業(yè)務(wù)連續(xù)性,當(dāng)有硬件發(fā)生故障之時(shí),可以保障業(yè)務(wù)系統(tǒng)的連續(xù)運(yùn)行,而不需要中斷應(yīng)用系統(tǒng)。 VMwareFault Tolerance (容錯(cuò)技術(shù))提供了迄今為止,最高級別的業(yè)務(wù)連續(xù)性保障,可以花費(fèi) 最小的代價(jià)得到最高的可靠性要求。? NIC/HBA卡的Teaming也是服務(wù)器虛擬化的最基本需求,就是通過多網(wǎng)卡和 多 HBA 卡,保證網(wǎng)絡(luò)和存儲(chǔ)訪問的冗余性,一旦任何網(wǎng)卡或者 HBA 卡故 障,都不會(huì)引起虛擬機(jī)的服務(wù)中斷;? 當(dāng)然,虛擬平臺(tái)的備份和恢復(fù)也是需要考慮的,要能兼容傳統(tǒng)的備份和容災(zāi)方案,包括VERITAS、Legato、舊M、HP、CA、C
27、ommvault等的備份方案等。應(yīng)用程序的安全性包括:? 盡量壓縮Hypervisor本身的代碼,容量降低到 50MB以下,以降低Hypervisor 本身受攻擊的可能性;? VMsafe ;提供 Hypervisor 級的病毒防范接口,允許第三方廠商進(jìn)行開發(fā)接口,從底層直接進(jìn)行病毒的防范和截殺。下圖示例了 VMsafe API 的方式提供 第三方安全接口的示例;? 圖表 6 VMsafe 實(shí)現(xiàn)機(jī)理示意圖? vSheild Zone;提供動(dòng)態(tài)安全防火墻,確保系統(tǒng)在虛擬化平臺(tái)上遷移時(shí),安全策略能夠動(dòng)態(tài)遷移,確保系統(tǒng)安全的靈活性。下圖是動(dòng)態(tài)防火墻vSheildZone 的實(shí)現(xiàn)機(jī)理示意。圖表 7 v
28、Sheild Zone 實(shí)現(xiàn)機(jī)理示意圖? VMware Distributed Resource Scheduler (DRS) ;動(dòng)態(tài)地實(shí)現(xiàn)服務(wù)器資源負(fù)載平衡,以根據(jù)業(yè)務(wù)優(yōu)先級向正確的應(yīng)用程序提供正確的資源,從而讓應(yīng)用程序可以根據(jù)需要壓縮或增長。圖表 8 VMware DRS 動(dòng)態(tài)資源調(diào)配示意圖? VMware Data Recovery 為小型環(huán)境中的虛擬機(jī)提供簡單、經(jīng)濟(jì)高效、無代理的備份和恢復(fù)。圖表 9 VMware Data Recovery 備份機(jī)制VMware Data Recovery 備份模塊具有以下一些特性:虛擬機(jī)的無代理、基于磁盤的備份和恢復(fù) ;虛擬機(jī)或文件級別的恢復(fù); 增
29、量備份和消除重復(fù)數(shù)據(jù)以節(jié)約磁盤空間;為虛擬機(jī)提供快速、簡單和完整的數(shù)據(jù)保護(hù) ;通過 vCenter 實(shí)現(xiàn)集中式管理;經(jīng)濟(jì)高效的存儲(chǔ)管理。?應(yīng)用程序的可擴(kuò)展性包括:CPU、內(nèi)存的熱添加和磁盤、網(wǎng)絡(luò)等設(shè)備的熱添加和刪除,從而確保整個(gè)虛擬化平臺(tái)具有足夠的彈性。這也成為虛擬化平臺(tái)靈活性的重要指標(biāo),許多應(yīng)用場景都可以從這個(gè)特性中獲益。10 虛擬機(jī)的可擴(kuò)展性2.4.3 虛擬應(yīng)用程序?qū)覸Mware vSphere? 包括對 vApp 的支持, vApp 是包含一個(gè)或多個(gè)虛擬機(jī)的邏輯實(shí)體,它使用行業(yè)標(biāo)準(zhǔn)開放虛擬化格式來指定和封裝多層應(yīng)用程序的所有組件,以及與該應(yīng)用程序相關(guān)聯(lián)的操作策略和服務(wù)級別。圖表 11 v
30、App 功能示意圖虛擬應(yīng)用程序?qū)又饕菓?yīng)用的打包模式的變革,傳統(tǒng)的應(yīng)用必須要進(jìn)行安裝才可以使用,通過VMware 虛擬化技術(shù),用戶可以更為便捷的部署應(yīng)用,比如將應(yīng)用系統(tǒng)當(dāng)作文件的方式進(jìn)行訪問。這實(shí)際上有兩個(gè)趨勢,一是應(yīng)用本身的虛擬化,二是應(yīng)用虛擬設(shè)備化。應(yīng)用的虛擬化就是讓任何應(yīng)用都能通過單個(gè)或一組文件進(jìn)行封裝,便于應(yīng)用的遷移和快速部署;應(yīng)用的設(shè)備虛擬化就是將應(yīng)用開發(fā)限制到某一特點(diǎn)環(huán)境,完成的應(yīng)用通過虛擬機(jī)的方式提供給用戶,方便了用戶的快速部署使用,減少了用戶安裝過程出現(xiàn)的問題。當(dāng)然,并不是要求應(yīng)用都必須進(jìn)行這兩種改造才可以運(yùn)行在虛擬化平臺(tái)上,實(shí)際上應(yīng)用可以和原來的應(yīng)用方式完全一樣運(yùn)行在虛擬平臺(tái)
31、上,應(yīng)用的用戶甚至都不知道該應(yīng)用是運(yùn)行在實(shí)體服務(wù)器還是虛擬機(jī)里面。只所以要進(jìn)行應(yīng)用虛擬化,就是想進(jìn)一步簡化應(yīng)用的運(yùn)行維護(hù)。2.4.4 VMware 異地容災(zāi)技術(shù)(可選部分)容災(zāi)部分不包含在本期項(xiàng)目之中,在這里僅作為一個(gè)備選項(xiàng),希望用戶專家和領(lǐng)導(dǎo)了解虛擬化的容災(zāi)技術(shù)。當(dāng)前基于容災(zāi)的設(shè)計(jì)是以業(yè)務(wù)連續(xù)性為目標(biāo)的, 這就意味著如果某一套系統(tǒng)發(fā)生災(zāi)難 , 容災(zāi)中心需要能夠自動(dòng)的啟動(dòng)并且連續(xù)工作, VMware 平臺(tái)上的應(yīng)用都是包含操作系統(tǒng)整體,并且是以文件形式存在且脫離具體硬件的 , 所以容災(zāi)的設(shè)計(jì)和實(shí)現(xiàn)并不需要類似以往的復(fù)雜的物理環(huán)境搭建。不論是各生產(chǎn)系統(tǒng)還是容災(zāi)中心,只要是具備虛擬化能力的數(shù)據(jù)中心,
32、都可以方便的部署異地虛擬化容災(zāi)。以下就介紹 VMware 的 容災(zāi)技術(shù)。VMWARE容災(zāi)系統(tǒng)與傳統(tǒng)的容災(zāi)系統(tǒng)一樣也是涉及到兩個(gè)關(guān)鍵的參數(shù):RPO和RTO1. RTO, Recover Time Object,恢復(fù)時(shí)間指標(biāo),是指當(dāng)災(zāi)難發(fā)生后,生產(chǎn)系統(tǒng)需要多長時(shí)間能夠恢復(fù)生產(chǎn),它是衡量企業(yè)在災(zāi)難發(fā)生后多長時(shí)間能重新開始運(yùn)轉(zhuǎn)的指標(biāo)。2. RPO, Recover Point Object,恢復(fù)點(diǎn)指標(biāo),是指災(zāi)難發(fā)生后,容災(zāi)系統(tǒng)能把數(shù)據(jù)恢復(fù)到災(zāi)難發(fā)生前的哪一個(gè)時(shí)間點(diǎn)的數(shù)據(jù),它是衡量企業(yè)在災(zāi)難發(fā)生后會(huì)丟失多少生產(chǎn)數(shù)據(jù)的指標(biāo)。據(jù)國際標(biāo)準(zhǔn)SHARE 78 的定義,災(zāi)難恢復(fù)解決方案可根據(jù)以上的主要問題所達(dá)到的程
33、度而分為七級,即從低到高有七種不同層次的災(zāi)難恢復(fù)解決方案,具體可根據(jù)企業(yè)數(shù)據(jù)的重要性以及需要恢復(fù)的速度和程度 ,來設(shè)計(jì)選擇并實(shí)現(xiàn)災(zāi)難恢復(fù)計(jì)劃。一個(gè)完善的容災(zāi)系統(tǒng)主要包括三個(gè)層次:數(shù)據(jù)容災(zāi),應(yīng)用容災(zāi)和網(wǎng)絡(luò)容災(zāi);兩個(gè)級別:本地高可用性(HA、Fault Tolerance或者備份),異地容災(zāi)。1. 數(shù)據(jù)容災(zāi)就是指建立一個(gè)異地的數(shù)據(jù)系統(tǒng),該系統(tǒng)是本地關(guān)鍵應(yīng)用數(shù)據(jù)的一個(gè)同步或異步復(fù)制。2. 應(yīng)用容災(zāi)是在數(shù)據(jù)容災(zāi)的基礎(chǔ)上,在異地建立一套完整的與本地生產(chǎn)系統(tǒng)相當(dāng)?shù)膫浞輵?yīng)用系統(tǒng)(可以是互為備份),在災(zāi)難情況下,遠(yuǎn)程系統(tǒng)迅速接管業(yè)務(wù)運(yùn)行。3. 網(wǎng)絡(luò)容災(zāi)是指在災(zāi)難發(fā)生后,當(dāng)應(yīng)用系統(tǒng)完成正確的遷移后,將訪問應(yīng)用系
34、統(tǒng)的網(wǎng)絡(luò)流量正確的導(dǎo)向遠(yuǎn)程的容災(zāi)系統(tǒng)。4. 本地高可用性可通過高可靠性的集中存儲(chǔ),高可靠性的虛擬計(jì)算體系為客戶提供本地高可用性。應(yīng)用級別的容災(zāi)可通過VMWARE 體系實(shí)現(xiàn),具有如下特點(diǎn):對物理主機(jī)及虛擬機(jī)的完整保護(hù) ;與VMware ESX Server 完全集成;7X24小時(shí)備份及可用性,集成 VMware ESX Server提供持續(xù)可用性;通過最新的完整備份,從虛擬機(jī)恢復(fù)系統(tǒng)及服務(wù);利用 VMware Converter 為不同規(guī)格的服務(wù)器提供快速恢復(fù);三個(gè)簡單步驟,10分鐘完成物理主機(jī)到虛擬機(jī)(P2V )轉(zhuǎn)換,可實(shí)現(xiàn)在線P2V轉(zhuǎn)換,立即啟動(dòng)備份服務(wù)器直接升級到遠(yuǎn)程容災(zāi)機(jī)制;直接將完整V
35、Mware 系統(tǒng)及數(shù)據(jù)復(fù)制到災(zāi)備中心,有效利用硬件資源;利用 VMware SRM 快速實(shí)現(xiàn)站點(diǎn)間的切換 利用存儲(chǔ)的 Snapmirror 技術(shù)最大化網(wǎng)絡(luò)效率,實(shí)現(xiàn)存儲(chǔ)級別的硬件級數(shù)據(jù)傳輸。VMware 實(shí)現(xiàn)異地?cái)?shù)據(jù)中心容災(zāi)的解決方案主要是提供Site Recovery Manager(SRM)產(chǎn)品,Site Recovery Manager行自動(dòng)執(zhí)行并簡化災(zāi)難恢復(fù)計(jì)劃的管理和執(zhí)行工作,幫助您擺脫傳統(tǒng)災(zāi)難恢復(fù)中的諸多不便。由于 VMware Site Recovery Manager 省去了復(fù)雜的手動(dòng)恢復(fù)步驟,能夠?qū)謴?fù)計(jì)劃執(zhí)行無中斷測試,并且可以自動(dòng)執(zhí)行恢復(fù)過程,因此能夠在整個(gè)數(shù)據(jù)中心高效地
36、進(jìn)行災(zāi)難恢復(fù)。 VMware Site Recovery Manager 還有助于進(jìn)行數(shù)據(jù)中心的計(jì)劃內(nèi)故障切換,例如數(shù)據(jù)中心遷移。VMware Site Recovery Manager 與 VMware Infrastructure 、 VMware VirtualCenter及其它主要存儲(chǔ)供應(yīng)商提供的存儲(chǔ)備份軟件緊密集成,讓災(zāi)難恢復(fù)變得快捷、可靠、經(jīng)濟(jì),而且便于管理。這樣,災(zāi)難恢復(fù)便不存在任何風(fēng)險(xiǎn)和后顧之憂,還可將所有重要的系統(tǒng)和應(yīng)用程序納入保護(hù)之列。圖表 12 VMware SRM 容災(zāi)示意圖? 災(zāi)難恢復(fù)管理利用存儲(chǔ)供應(yīng)商認(rèn)證的集成功能,查找并顯示受存儲(chǔ)備份保護(hù)的虛擬機(jī);直接在Virtu
37、alCenter 中創(chuàng)建及管理恢復(fù)計(jì)劃;利用定制腳本擴(kuò)展恢復(fù)計(jì)劃;監(jiān)視遠(yuǎn)程站點(diǎn)的可用性,并提示用戶可能會(huì)發(fā)生的站點(diǎn)故障;存儲(chǔ)、查看和導(dǎo)出測試結(jié)果,并在VirtualCenter 中執(zhí)行故障切換;利用基于角色的訪問控制方法來控制對恢復(fù)計(jì)劃的訪問。? 無中斷測試?yán)么鎯?chǔ)快照功能執(zhí)行恢復(fù)測試,而不會(huì)丟失備份數(shù)據(jù);將虛擬機(jī)連接至現(xiàn)有的隔離網(wǎng)絡(luò),以便進(jìn)行測試;自動(dòng)執(zhí)行恢復(fù)計(jì)劃 ;定制針對不同測試情況的恢復(fù)計(jì)劃;完成故障切換測試之后,自動(dòng)清除測試環(huán)境。? 自動(dòng)執(zhí)行故障切換只要按一下按鈕,用戶即可從VirtualCenter 中執(zhí)行恢復(fù)計(jì)劃;利用領(lǐng)先的存儲(chǔ)供應(yīng)商為其備份平臺(tái)創(chuàng)建的適配器,自動(dòng)提升備份的數(shù)據(jù)存
38、儲(chǔ)區(qū),以便在恢復(fù)情況下使用;執(zhí)行用戶定義的腳本,并可在恢復(fù)過程中暫停;重新配置虛擬機(jī)的IP地址,使其與故障切換站點(diǎn)的網(wǎng)絡(luò)配置相符;在 VirtualCenter中管理和監(jiān)視恢復(fù)計(jì)劃的執(zhí)行情 況。2.5方案帶來的好處2.5.1 大大降低TCO?通過服務(wù)器整合,控制和減少物理服務(wù)器的數(shù)量,明顯提高每個(gè)物理服務(wù)器及其CPU勺資源利用率, 從而降低硬件成本。?降低運(yùn)營和維護(hù)成本,包括數(shù)據(jù)中心空間、機(jī)柜、網(wǎng)線,耗電量,冷氣空調(diào)和人力成本等。經(jīng)過目前統(tǒng)計(jì),2路CPU勺服務(wù)器約85臺(tái)左右,基本上都是 舊M的服務(wù)器,借鑒 DELL官方提供的功率的參考:服務(wù)器數(shù)量額定功率服務(wù)器數(shù)量額定功率2 顆 CPU8555
39、0W20675W因此,部署VMware虛擬化方案之前,每年的電費(fèi)支出是:虛擬化前電費(fèi)支出=0.67X0.8元/度X (85X0.55千瓦)X 24小時(shí)/天X 365天/ 年=21.95萬/年部署VMware虛擬化方案之后,每年的電費(fèi)支出是:虛擬化后電費(fèi)支出=0.67X0.8元/度X (20X0.675千瓦)X24小時(shí)/天X 365天 /年=6.34萬/年通過部署VMware虛擬化方案,數(shù)據(jù)中心服務(wù)器直接電力消耗每年的電費(fèi)節(jié)約為:21.95 萬/年6.34 萬/年=15.6 萬/年。數(shù)據(jù)中心冷卻系統(tǒng)的電力消耗一般來說,數(shù)據(jù)中心消耗的電能絕大部分全部變成了熱能,因此,服務(wù)器硬件的 額定功率基本相當(dāng)
40、于熱能輸出功率。止匕外,根據(jù)在惠普公司實(shí)驗(yàn)室做出的結(jié)果,每 1 瓦的散熱需要消耗0.8瓦的電能來進(jìn)行冷卻。(我們將此定義為負(fù)載參數(shù)L)?;谝?上數(shù)據(jù),數(shù)據(jù)中心的冷卻能耗可進(jìn)行如下推算:部署VMware擬化方案之前,數(shù)據(jù)中心服務(wù)器的冷卻成本為:虛擬化前冷卻電費(fèi)支出=0.8X0.8元/度X 1.25 X 1.25 X (85X 0.55千瓦)X0.8X24 小時(shí)/天X 365天/年=32.76萬元/年虛擬化后冷卻電費(fèi)支出=0.8 X 0.8元/度X 1.25 X 1.25 X (20X0.675千瓦)X 0.8 X24小時(shí)/天X 365天/年=9.46萬元/年虛擬化后冷卻電費(fèi)節(jié)約=32.76萬元
41、/年9.46萬元/年=23.3萬元/年虛擬化后總體電費(fèi)節(jié)約=15.6萬元/年+23.3萬元/年=38.9萬元/年。此項(xiàng)支出節(jié)約僅為直接的電力資源節(jié)省,還不包括周邊設(shè)備減少帶來的電力資源節(jié)約(如:UPS交換機(jī)等設(shè)備的減少)。2.5.2 提高運(yùn)營效率?加快新服務(wù)器和應(yīng)用的部署,大大降低服務(wù)器重建和應(yīng)用加載時(shí)間。?主動(dòng)地提前規(guī)劃資源增長,這樣對客戶和應(yīng)用的需求響應(yīng)快速,不需要象以前那樣,需要長時(shí)間的采購流程,然后進(jìn)行嘗試。?不需要象以前那樣,硬件維護(hù)需要數(shù)天/ 周的變更管理準(zhǔn)備和 1 - 3 小時(shí)維護(hù)窗口,現(xiàn)在可以進(jìn)行快速的硬件維護(hù)和升級。?所有單機(jī)的應(yīng)用,在部署了虛擬化后,將不再出現(xiàn)單點(diǎn)故障,確保了應(yīng)用的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 社工服務(wù)項(xiàng)目合同
- 工程承包和項(xiàng)目咨詢合同
- 工業(yè)廠房買賣合同協(xié)議書
- 民間借貸擔(dān)保人合同
- 0 的認(rèn)識(shí)與加減法(教學(xué)設(shè)計(jì))2024-2025學(xué)年一年級上冊數(shù)學(xué)人教版
- 《12 晝與夜》作業(yè)設(shè)計(jì)方案-2024-2025學(xué)年二年級上冊科學(xué)教學(xué)設(shè)計(jì) 粵教粵科版
- 綏化學(xué)院《外科學(xué)總論》2023-2024學(xué)年第二學(xué)期期末試卷
- 大連海洋大學(xué)《工程力學(xué)及機(jī)械設(shè)計(jì)基礎(chǔ)》2023-2024學(xué)年第二學(xué)期期末試卷
- 銅陵學(xué)院《國際貿(mào)易綜合實(shí)訓(xùn)》2023-2024學(xué)年第二學(xué)期期末試卷
- 寧夏工業(yè)職業(yè)學(xué)院《計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ)》2023-2024學(xué)年第二學(xué)期期末試卷
- 2023年黑龍江省哈爾濱市單招數(shù)學(xué)摸底卷(含答案)
- 浙江臺(tái)州仙居富民村鎮(zhèn)銀行2023年招聘人員筆試歷年高頻考點(diǎn)試題答案帶詳解
- 教科版六下科學(xué)全冊課時(shí)練(含答案)
- 機(jī)械制造技術(shù)基礎(chǔ)PPT(中職)全套教學(xué)課件
- (完整版)小學(xué)英語語法大全-附練習(xí)題,推薦文檔
- 數(shù)學(xué)人教版六年級下冊簡便運(yùn)算課件
- 非遺申請書范本
- 吊頂工程課件
- 山東大學(xué)出版社六年級上冊傳統(tǒng)文化第一單元寬仁厚愛備課教案
- 2023年金華職業(yè)技術(shù)學(xué)院高職單招(英語)試題庫含答案解析
- GB/T 16492-1996光學(xué)和光學(xué)儀器環(huán)境要求總則、定義、氣候帶及其參數(shù)
評論
0/150
提交評論