版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、目錄一、VMwarevSphere組件3二、vSphere數(shù)據(jù)中心的物理拓?fù)?3.1、 三、虛擬數(shù)據(jù)中心架構(gòu)7主機(jī)、群集和資源池9VMwarevSphere分布式服務(wù)11四、網(wǎng)絡(luò)架構(gòu)14五、存儲(chǔ)架構(gòu)1.76.1、 六、VMwarevCenterServer20vCenterServer核心服務(wù)21vCenterServer插件23vCenterServer接口23vCenterServer和ESX之間的通信23訪問(wèn)虛擬數(shù)據(jù)中心25VMwarevSphere簡(jiǎn)介VMwarevSphere利用虛擬化功能將數(shù)據(jù)中心轉(zhuǎn)換為簡(jiǎn)化的云計(jì)算基礎(chǔ)架構(gòu),使IT組織能夠提供靈活可靠的IT服務(wù)。VMwarevSph
2、ere虛擬化并匯總多個(gè)系統(tǒng)間的基礎(chǔ)物理硬件資源,同時(shí)為數(shù)據(jù)中心提供大量虛擬資源。作為云操作系統(tǒng),VMwarevSphere可作為無(wú)縫和動(dòng)態(tài)操作環(huán)境管理大型基礎(chǔ)架構(gòu)(例如,CPU、存儲(chǔ)器和網(wǎng)絡(luò)),同時(shí)還管理復(fù)雜的數(shù)據(jù)中心。VMwarevSphere由以下組件層構(gòu)成。基礎(chǔ)架構(gòu)服務(wù)基礎(chǔ)架構(gòu)服務(wù)是用于抽象、聚合和分配硬件或基礎(chǔ)架構(gòu)資源的服務(wù)集?;A(chǔ)架構(gòu)服務(wù)分為多種類型。a、VMwarevCompute包含從完全不同的服務(wù)器資源抽象而成的VMware功能。vCompute服務(wù)從眾多離散的服務(wù)器中聚合這些資源,并將它們分配到應(yīng)用程序。b、VMwarevStorage是可在虛擬環(huán)境中高效利用和管理存儲(chǔ)器的技
3、術(shù)集。c、VMwarevNetwork是在虛擬環(huán)境中簡(jiǎn)化并增強(qiáng)網(wǎng)絡(luò)的技術(shù)集。應(yīng)用程序服務(wù)應(yīng)用程序服務(wù)是用于確保應(yīng)用程序可用性、安全性和可擴(kuò)展性的服務(wù)集。示例包括高可用性和容錯(cuò)功能。VMwarevCenterServerVMwarevCenterServer為數(shù)據(jù)中心提供一個(gè)單一控制點(diǎn)。它提供基本的數(shù)據(jù)中心服務(wù),如訪問(wèn)控制、性能監(jiān)控和配置功能??蛻舳擞脩艨梢酝ㄟ^(guò)諸如vSphereClient或WebAccess(通過(guò)Web瀏覽器)等客戶端訪問(wèn)VMwarevSphere數(shù)據(jù)中心。圖1顯示了VMwarevSphere組件層之間的關(guān)系。圖1VMwarevSphere組件層VMwarevSphereyS
4、plieieIvSpheie.vSphereH箕他H其他CliflrrlIWebAgcb»ISDKS戶媒客戶端一、VMwarevSphere組件VMwarevSphere組件的簡(jiǎn)介可有助于您了解這些部件及其交互方式。VMwarevSphere包括下列組件:VMware?vCenterServer:配置、置備和管理虛擬化IT環(huán)境的中央點(diǎn)。VMware?vSphereClientl個(gè)允許用戶從任何WindowsPC遠(yuǎn)程連接到vCenterServer或ESX/ESXi的界面。VMware?vSphereWebAccess二個(gè)Web界面,允許進(jìn)行虛擬機(jī)管理和對(duì)遠(yuǎn)程控制臺(tái)的訪問(wèn)。VMware
5、?虛擬機(jī)文件系統(tǒng)(VMFS):一個(gè)針對(duì)ESX/ESXi虛擬機(jī)的高性能群集文件系統(tǒng)。VMware?VirtualSMP:一種使單一的虛擬機(jī)同時(shí)使用多個(gè)物理處理器的功能。VMware?vMotion和StoragevMotion:VMwarevMotion可以將正在運(yùn)行的虛擬機(jī)從一臺(tái)物理服務(wù)器實(shí)時(shí)遷移到另一臺(tái)物理服務(wù)器,同時(shí)保持零停機(jī)時(shí)間、連續(xù)的服務(wù)可用性和事務(wù)處理完整性。StoragevMotion可以在數(shù)據(jù)存儲(chǔ)之間遷移虛擬機(jī)文件而無(wú)需中斷服務(wù)??梢赃x擇將虛擬機(jī)及其所有磁盤放置在同一位置,或者為虛擬機(jī)配置文件和每個(gè)虛擬磁盤選擇單獨(dú)的位置。虛擬機(jī)在StoragevMotion期間保留在同一主機(jī)上。
6、通過(guò)vMotion遷移的功能使您能夠?qū)⒁褑?dòng)的虛擬機(jī)移至新主機(jī)。通過(guò)vMotion遷移,可以在不中斷虛擬機(jī)可用性的情況下將虛擬機(jī)移至新的主機(jī),但不能將虛擬機(jī)從一個(gè)數(shù)據(jù)中心移至另一個(gè)數(shù)據(jù)中心。通過(guò)StoragevMotion遷移的功能使您能夠?qū)⒁褑?dòng)虛擬機(jī)的虛擬磁盤或配置文件移到新數(shù)據(jù)存儲(chǔ)。通過(guò)StoragevMotion遷移,可以在不中斷虛擬機(jī)可用性的情況下,移動(dòng)虛擬機(jī)的存儲(chǔ)器。VMware?HighAvailability(HA):可為虛擬機(jī)提供高可用性的功能。如果服務(wù)器出現(xiàn)故障,受到影響的虛擬機(jī)會(huì)在其他擁有多余容量的生產(chǎn)服務(wù)器上重新啟動(dòng)。VMware?DistributedResource
7、Scheduler(DRS)一種通過(guò)為虛擬機(jī)收集硬件資源,動(dòng)態(tài)分配和平衡計(jì)算容量的功能。此功能包括可顯著減少數(shù)據(jù)中心功耗的分布式電源管理(DPM)功能。VMware?vSphereSDK:一種為VMware和第三方解決方案提供標(biāo)準(zhǔn)界面以訪問(wèn)VMwarevSphere的功能。VMware?容錯(cuò):為虛擬機(jī)啟用容錯(cuò)后,即會(huì)創(chuàng)建原始(或主要)虛擬機(jī)的輔助副本。在主虛擬機(jī)上完成的所有操作也會(huì)應(yīng)用于輔助虛擬機(jī)。如果主虛擬機(jī)不可用,則輔助虛擬機(jī)將成為活動(dòng)虛擬機(jī),提供連續(xù)可用性。vNetwork分布式交換機(jī)(vDS):一種包括分布式虛擬交換機(jī)(vDS)的功能,此交換機(jī)跨多個(gè)ESX/ESXi主機(jī),使當(dāng)前網(wǎng)絡(luò)維護(hù)
8、活動(dòng)顯著減少并提高網(wǎng)絡(luò)容量。這使得虛擬機(jī)可在跨多個(gè)主機(jī)進(jìn)行遷移時(shí)確保其網(wǎng)絡(luò)配置保持一致。主機(jī)配置文件:一種通過(guò)用戶定義的配置策略簡(jiǎn)化主機(jī)配置管理的功能。主機(jī)配置文件策略捕獲已知且經(jīng)驗(yàn)證的主機(jī)配置的藍(lán)圖,并將其用于在多個(gè)主機(jī)上配置網(wǎng)絡(luò)、存儲(chǔ)器、安全設(shè)置和其他設(shè)置。主機(jī)配置文件策略還可監(jiān)控?cái)?shù)據(jù)中心上的標(biāo)準(zhǔn)主機(jī)配置設(shè)置的合規(guī)性。主機(jī)配置文件可減少配置主機(jī)時(shí)涉及的手動(dòng)步驟,并可幫助維持?jǐn)?shù)據(jù)中心內(nèi)的一致性和正確性??刹迦氪鎯?chǔ)架構(gòu)(PSA):一種存儲(chǔ)合作伙伴插件構(gòu)架,可提高陣列認(rèn)證的靈活性并完善陣列優(yōu)化性能。PSA是一種多路徑I/O構(gòu)架,它允許存儲(chǔ)合作伙伴不根據(jù)ESX發(fā)行時(shí)間安排啟用其陣列。VMware合
9、作伙伴可以提供性能增強(qiáng)且對(duì)每個(gè)陣列進(jìn)行了優(yōu)化的多路徑負(fù)載平衡行為。二、vSphere數(shù)據(jù)中心的物理拓?fù)涞湫偷腣MwarevSphere數(shù)據(jù)中心由基本物理構(gòu)建塊(例如x86虛擬化服務(wù)器、存儲(chǔ)器網(wǎng)絡(luò)和陣列、IP網(wǎng)絡(luò)、管理服務(wù)器和桌面客戶端)組成。vSphere數(shù)據(jù)中心的此物理拓?fù)淙鐖D2中所示。92VMwerevSph即金數(shù)據(jù)中心的物理拓?fù)鋠CvnterStrwrvSofwtOvntWsbAccns舒曙兆好看苣i£C£ihas存或陣馴在韓陣列在做零列vSphere數(shù)據(jù)中心拓?fù)浒ㄏ铝薪M件:計(jì)算服務(wù)器:在裸機(jī)上運(yùn)行ESX/ESXi的業(yè)界標(biāo)準(zhǔn)x86服務(wù)器。ESX/ESXi軟件為虛擬機(jī)
10、提供資源,并運(yùn)行虛擬機(jī)。每臺(tái)計(jì)算服務(wù)器在虛擬環(huán)境中均稱為獨(dú)立主機(jī)??梢詫⒃S多配置相似的x86服務(wù)器組合在一起,并與相同的網(wǎng)絡(luò)和存儲(chǔ)子系統(tǒng)連接,以便提供虛擬環(huán)境中的資源集合(稱為群集)。存儲(chǔ)網(wǎng)絡(luò)和陣列:光纖通道SAN陣列、iSCSISAN陣列和NAS陣列是廣泛應(yīng)用的存儲(chǔ)技術(shù),VMwarevSphere支持這些技術(shù)以滿足不同數(shù)據(jù)中心的存儲(chǔ)需求。存儲(chǔ)陣列通過(guò)存儲(chǔ)區(qū)域網(wǎng)絡(luò)連接到服務(wù)器組并在服務(wù)器組之間共享。此安排可實(shí)現(xiàn)存儲(chǔ)資源的聚合,并在將這些資源置備給虛擬機(jī)時(shí)使資源存儲(chǔ)更具靈活性。IP網(wǎng)絡(luò):每臺(tái)計(jì)算服務(wù)器都可有多個(gè)網(wǎng)卡,為整個(gè)VMwarevSphere數(shù)據(jù)中心提供高帶寬和可靠的網(wǎng)絡(luò)連接。vCente
11、rServer:vCenterServer為數(shù)據(jù)中心提供一個(gè)單一控制點(diǎn)。它提供基本的數(shù)據(jù)中心服務(wù),如訪問(wèn)控制、性能監(jiān)控和配置功能。它將各臺(tái)計(jì)算服務(wù)器中的資源統(tǒng)一在一起,使這些資源在整個(gè)中心中的虛擬機(jī)之間共享。其原理是:根據(jù)系統(tǒng)管理員設(shè)置的策略,管理虛擬機(jī)到計(jì)算服務(wù)器的分配,以及資源到給定計(jì)算服務(wù)器內(nèi)虛擬機(jī)的分配。在vCenterServer無(wú)法訪問(wèn)(例如,網(wǎng)絡(luò)斷開(kāi))的情況下(這種情況極少出現(xiàn)),計(jì)算服務(wù)器仍能繼續(xù)工作。服務(wù)器可單獨(dú)管理,并根據(jù)上次設(shè)置的資源分配繼續(xù)運(yùn)行分配給它們的虛擬機(jī)。在vCenterServer的連接恢復(fù)后,它就能重新管理整個(gè)數(shù)據(jù)中心。管理客戶端:VMwarevSphere
12、為數(shù)據(jù)中心管理和虛擬機(jī)訪問(wèn)提供多種界面。這些界面包括VMwarevSphereClient(vSphereClient)、WebAccess(通過(guò)Web瀏覽器)、vSphere命令行界面(vSphereCLI)或vSphereManagementAssistant(vMA)。三、虛擬數(shù)據(jù)中心架構(gòu)VMwarevSphere虛擬化整個(gè)IT基礎(chǔ)架構(gòu)(包括服務(wù)器、存儲(chǔ)器和網(wǎng)絡(luò))。VMwarevSphere會(huì)聚合這些資源,并在虛擬環(huán)境中提供一組統(tǒng)一的元素。使用VMwarevSphere,可像管理共享實(shí)用程序一樣管理IT資源并將其動(dòng)態(tài)置備給不同的業(yè)務(wù)部門和項(xiàng)目。圖3顯示了虛擬數(shù)據(jù)中心中的重要元素。3虛擬數(shù)
13、據(jù)中心架構(gòu)使用vSphere可查看、配置和管理這些重要元素。下面列出了這些重要元素:A、稱為主機(jī)、群集和資源池的計(jì)算資源和內(nèi)存資源B、稱為數(shù)據(jù)存儲(chǔ)的存儲(chǔ)資源C、稱為網(wǎng)絡(luò)的網(wǎng)絡(luò)資源D、虛擬機(jī)主機(jī)是運(yùn)行ESX/ESXi的物理機(jī)的計(jì)算和內(nèi)存資源的虛擬表示。當(dāng)兩個(gè)或多個(gè)物理機(jī)組合在一起并作為一個(gè)整體來(lái)工作和進(jìn)行管理時(shí),聚合在一起的計(jì)算和內(nèi)存資源就形成群集。物理機(jī)可以動(dòng)態(tài)添加或從群集移除。從主機(jī)和群集獲得的計(jì)算和內(nèi)存資源能夠被精細(xì)地劃分成資源池的層次結(jié)構(gòu)。數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)中心內(nèi)基礎(chǔ)物理存儲(chǔ)資源組合的虛擬表示。這些物理存儲(chǔ)資源可能來(lái)自以下源:服務(wù)器的本地SCSI、SAS或SATA磁盤光纖通道SAN磁盤陣列i
14、SCSISAN磁盤陣列D、網(wǎng)絡(luò)附加存儲(chǔ)(NAS)陣列虛擬環(huán)境中的網(wǎng)絡(luò)將虛擬機(jī)相互連接或?qū)⑻摂M機(jī)連接到虛擬數(shù)據(jù)中心外部的物理網(wǎng)絡(luò)。在創(chuàng)建虛擬機(jī)時(shí),可將虛擬機(jī)指定到特定的主機(jī)、群集或資源池以及數(shù)據(jù)存儲(chǔ)。啟動(dòng)后,虛擬機(jī)隨著工作負(fù)載的增加而動(dòng)態(tài)地消耗資源或隨著工作負(fù)載的減少而動(dòng)態(tài)地歸還資源。置備虛擬機(jī)比置備物理機(jī)更加快捷簡(jiǎn)便。創(chuàng)建新的虛擬機(jī)在幾秒鐘內(nèi)即可完成。置備虛擬機(jī)時(shí),在虛擬機(jī)上安裝相應(yīng)的操作系統(tǒng)和應(yīng)用程序來(lái)處理特定的工作負(fù)載,與在物理機(jī)上的操作一樣??赏ㄟ^(guò)安裝并配置操作系統(tǒng)和應(yīng)用程序來(lái)置備虛擬機(jī)??筛鶕?jù)擁有資源的系統(tǒng)管理員設(shè)置的策略為虛擬機(jī)置備資源。這些策略可為特定的虛擬機(jī)保留一組資源,以保證該
15、虛擬機(jī)的性能。也可以為策略劃分優(yōu)先級(jí),并將整個(gè)資源分成可變的比例,分配給每個(gè)虛擬機(jī)。如果啟動(dòng)虛擬機(jī)會(huì)違反資源分配策略,因此虛擬機(jī)將無(wú)法啟動(dòng),從而避免消耗資源。有關(guān)資源和電源管理的詳細(xì)信息,請(qǐng)參見(jiàn)資源管理指南。3.1、 主機(jī)、群集和資源池主機(jī)、群集和資源池提供了靈活和動(dòng)態(tài)的方法來(lái)組織虛擬環(huán)境中的聚合計(jì)算和內(nèi)存資源,以及將這些資源重新鏈接到基礎(chǔ)物理資源。主機(jī)表示物理x86服務(wù)器的聚合計(jì)算和內(nèi)存資源。例如,如果物理x86服務(wù)器具有四個(gè)雙核CPU(每個(gè)CPU都以4GHz頻率運(yùn)行)和32GB系統(tǒng)內(nèi)存,則主機(jī)就具有可供用于運(yùn)行分配給它的虛擬機(jī)的32GHz計(jì)算能力和32GB內(nèi)存。一個(gè)群集相當(dāng)于一個(gè)實(shí)體,并可
16、作為單個(gè)實(shí)體進(jìn)行管理。它表示共享相同網(wǎng)絡(luò)和存儲(chǔ)陣列的一組物理x86服務(wù)器的聚合計(jì)算和內(nèi)存資源。例如,如果組包含八個(gè)服務(wù)器,且每個(gè)服務(wù)器都具有四個(gè)雙核CPU(每個(gè)CPU都以4GHz頻率運(yùn)行)和32GB內(nèi)存,則該群集具有可用于運(yùn)行虛擬機(jī)的256GHz聚合計(jì)算能力和256GB內(nèi)存。資源池是單個(gè)主機(jī)或群集內(nèi)的計(jì)算和內(nèi)存資源分區(qū)。資源池可以是分層和嵌套的。您可以將任意資源池分區(qū)為更小的資源池,從而向不同的組或針對(duì)不同目的來(lái)劃分和分配資源。圖4描述了資源池的使用情況。三個(gè)x86服務(wù)器(每個(gè)服務(wù)器都具有4GHz計(jì)算能力和16GB內(nèi)存)聚合形成一個(gè)具有12GHz計(jì)算能力和48GB內(nèi)存的群集。財(cái)務(wù)部門資源池保留
17、群集中的8GHz計(jì)算能力和32GB內(nèi)存。其余的4GHz計(jì)算能力和16GB內(nèi)存保留供其他虛擬機(jī)使用。在財(cái)務(wù)部門資源池中,更小的會(huì)計(jì)資源池保留4GHz計(jì)算能力和16GB內(nèi)存供會(huì)計(jì)部門的虛擬機(jī)使用。剩下的4GHz計(jì)算能力和16GB內(nèi)存供稱為Payroll的虛擬機(jī)使用。闋4主機(jī).瑤集和資源池劇募聘門氣尸食針;III(w):(vHCyw:16OBRAM»EGHj3?GBRAMJ一和e12GHZ4AG&RAM岫bAE曷圣城陽(yáng)11扎翳*E犯枉第第4GHz4GH£4GHZiBGBRAM1EGBRAMI6GBRAJM這要求會(huì)計(jì)資源池可以動(dòng)態(tài)更改資源分配策略。例如,在年末,會(huì)計(jì)工作負(fù)載
18、會(huì)增加,保留的計(jì)算能力從4GHz增加到6GHz。您可以動(dòng)態(tài)更改資源池而無(wú)需關(guān)閉關(guān)聯(lián)的虛擬機(jī)。如果保留的資源未被資源池或虛擬機(jī)使用,則可共享這些資源。在上面的示例中,如果為會(huì)計(jì)部門保留的4GHz資源未被使用,則Payroll虛擬機(jī)可以在其高峰時(shí)段使用該計(jì)算能力。當(dāng)會(huì)計(jì)資源需要增加時(shí),Payroll會(huì)動(dòng)態(tài)返還資源。資源保留供不同的資源池使用,但如果所有者未使用資源,資源也不會(huì)被浪費(fèi)。此功能有助于最大程度地利用資源,同時(shí)還可確保滿足保留要求且資源策略得以執(zhí)行。如示例所示,資源池可以嵌套、按層次結(jié)構(gòu)形式組織或動(dòng)態(tài)重新配置,以便IT環(huán)境符合公司組織。各個(gè)業(yè)務(wù)部門可以接收專用的資源,同時(shí)仍可利用資源池的效
19、率。ESX/ESXi提供內(nèi)存壓縮緩存,可在內(nèi)存過(guò)載使用時(shí)改進(jìn)虛擬機(jī)性能。默認(rèn)情況下已啟用了內(nèi)存壓縮。當(dāng)主機(jī)內(nèi)存過(guò)載時(shí),ESX/ESXi會(huì)壓縮虛擬頁(yè)面并將其存儲(chǔ)在內(nèi)存中。由于訪問(wèn)壓縮的內(nèi)存比訪問(wèn)交換到磁盤的內(nèi)存更快,因此通過(guò)ESX/ESXi中的內(nèi)存壓縮可以使內(nèi)存過(guò)載,而不會(huì)妨礙性能。當(dāng)需要交換虛擬頁(yè)面時(shí),ESX/ESXi會(huì)首先嘗試壓縮虛擬頁(yè)面??蓧嚎s至2KB或更小的頁(yè)面存儲(chǔ)在虛擬機(jī)的壓縮緩存中,從而增加主機(jī)的容量。3.2、 VMwarevSphere分布式服務(wù)VMwarevMotion、VMwareStoragevMotion、VMwareDRS、存儲(chǔ)I/O控制、VMwareHA和容錯(cuò)都是分布式
20、服務(wù),它們可自動(dòng)有效地管理資源,并實(shí)現(xiàn)虛擬機(jī)的高可用性。虛擬機(jī)在ESX/ESXi上運(yùn)行并消耗其資源。vMotion可將正在運(yùn)行的虛擬機(jī)從一臺(tái)物理服務(wù)器遷移到另一臺(tái)物理服務(wù)器,而無(wú)需中斷服務(wù),如圖5中所示。從而更高效地分配資源。使用vMotion,可將資源重新動(dòng)態(tài)分配至物理服務(wù)器上的虛擬機(jī)。圖5通過(guò)vMotion遷移ESVESXi主機(jī)ESX/ESXi主機(jī)StoragevMotion可以在數(shù)據(jù)存儲(chǔ)之間遷移虛擬機(jī)而無(wú)需中斷服務(wù)。這使得管理員可LUN、解決空以將虛擬機(jī)負(fù)載從一個(gè)存儲(chǔ)陣列遷移到另一陣列,以便執(zhí)行維護(hù)、重新配置間不足問(wèn)題和升級(jí)VMFS卷。通過(guò)無(wú)縫遷移虛擬機(jī)磁盤,管理員還可以使用Storag
21、evMotion優(yōu)化存儲(chǔ)環(huán)境來(lái)提高性能。VMwareDRS可幫助您將物理主機(jī)的群集作為單個(gè)計(jì)算資源進(jìn)行管理??梢詫⑻摂M機(jī)分配到群集,DRS會(huì)找到運(yùn)行該虛擬機(jī)的相應(yīng)主機(jī)。DRS放置虛擬機(jī)的方式可確保群集中的負(fù)載保持平衡,并強(qiáng)制執(zhí)行群集范圍內(nèi)的資源分配策略(例如,預(yù)留、優(yōu)先級(jí)和限制)啟動(dòng)虛擬機(jī)時(shí),DRS在主機(jī)上執(zhí)行虛擬機(jī)的初始放置。當(dāng)群集條件更改(例如,負(fù)載和可用資源)時(shí),DRS可根據(jù)需要將虛擬機(jī)遷移(使用vMotion)到其他主機(jī)。圖6VMwareDRS®®®®虛版機(jī)虛推機(jī)ESXJESXi主機(jī)iESM/ESXi主機(jī)料柒(vm)G'l(yvj虛擬機(jī)物
22、E甲亞鳥器£SX/E£Xi主機(jī)向群集添加新的物理服務(wù)器時(shí),借助DRS,虛擬機(jī)能夠立即利用新資源,因?yàn)樗?fù)責(zé)分發(fā)正在運(yùn)行的虛擬機(jī)。當(dāng)DPM處于啟用狀態(tài)時(shí),系統(tǒng)會(huì)將群集層以及主機(jī)層容量與群集內(nèi)運(yùn)行的虛擬機(jī)所需要的容量進(jìn)行比較。如果運(yùn)行的虛擬機(jī)所需的資源可通過(guò)群集中的主機(jī)子集得到滿足,DPM會(huì)將虛擬機(jī)遷移到此子集,并關(guān)閉不需要的主機(jī)。資源需求增加時(shí),DPM會(huì)重新啟動(dòng)這些主機(jī),并將虛擬機(jī)遷移到這些主機(jī)。DPM執(zhí)行的這種動(dòng)態(tài)群集調(diào)整功能減少了群集的功耗,而不影響虛擬機(jī)性能和可用性。可將DRS配置為執(zhí)行虛擬機(jī)放置、虛擬機(jī)遷移和主機(jī)電源操作,或?yàn)閿?shù)據(jù)中心管理員提供可用于評(píng)估并對(duì)其進(jìn)行手動(dòng)
23、操作的建議。存儲(chǔ)I/O控制擁堵管理允許對(duì)群集范圍的存儲(chǔ)I/O進(jìn)行優(yōu)化,并允許管理員設(shè)置I/O共享的擁堵閾值。如果主機(jī)出現(xiàn)故障,VMwareHA能快速地在群集內(nèi)的其他物理服務(wù)器上自動(dòng)重啟虛擬機(jī)。虛擬機(jī)內(nèi)的所有應(yīng)用程序都擁有高可用性。HA監(jiān)控群集內(nèi)的所有物理主機(jī)并檢測(cè)主機(jī)故障。放置于每個(gè)物理主機(jī)上的代理會(huì)維護(hù)資源池中其他主機(jī)的檢測(cè)信號(hào)。如果檢測(cè)信號(hào)丟失,將啟動(dòng)如下過(guò)程:重啟其他主機(jī)上所有受影響的虛擬機(jī)。有關(guān)VMwareHA的示例,請(qǐng)參見(jiàn)圖7。HA接入控制可確保群集中一直提供足夠的資源,以便在主機(jī)出現(xiàn)故障時(shí)重新啟動(dòng)其他物理主機(jī)上的虛擬機(jī)。圖7VMwareHA虎榛機(jī)ESX'ESXi王機(jī)虛Ktf
24、llESX'ESXi主機(jī)虛掇就ESXSXi主利物理耶梟器物理犀美器鞫理服臥器HA還提供用來(lái)監(jiān)控HA群集內(nèi)虛擬機(jī)狀態(tài)的虛擬機(jī)監(jiān)控功能。如果虛擬機(jī)沒(méi)有在指定時(shí)間內(nèi)生成檢測(cè)信號(hào),“虛擬機(jī)監(jiān)控”就會(huì)認(rèn)為該虛擬機(jī)發(fā)生了故障并重新啟動(dòng)該虛擬機(jī)。如果重新啟動(dòng),策略可以控制重新啟動(dòng)的次數(shù)。HA通過(guò)vCenterServer進(jìn)行集中配置。配置HA之后,它將在每個(gè)ESX主機(jī)上以分布式方式持續(xù)運(yùn)行,而無(wú)需vCenterServer。即使vCenterServer發(fā)生故障,HA故障切換仍然可以成功重新啟動(dòng)虛擬機(jī)。ESX/ESXi主機(jī)平臺(tái)上的VMware容錯(cuò)功能(FT)借助于VMwarevLockstep技術(shù),
25、通過(guò)使用在單獨(dú)主機(jī)上以虛擬鎖步方式運(yùn)行的卷影副本(輔助虛擬機(jī))來(lái)保護(hù)虛擬機(jī)(主虛擬機(jī)),從而提供連續(xù)可用性。系統(tǒng)會(huì)記錄在主虛擬機(jī)上執(zhí)行的輸入和事件,并在輔助虛擬機(jī)上進(jìn)行重放,以確保兩個(gè)虛擬機(jī)的狀況保持一致。例如,在主虛擬機(jī)上記錄鼠標(biāo)單擊和按鍵操作,然后在輔助虛擬機(jī)上重放。因?yàn)檩o助虛擬機(jī)以虛擬鎖步方式隨主虛擬機(jī)一起運(yùn)行,所以可在不中斷服務(wù)或丟失數(shù)據(jù)的情況下在任何點(diǎn)處接管執(zhí)行。四、網(wǎng)絡(luò)架構(gòu)VMwarevSphere有一組虛擬網(wǎng)絡(luò)元素,該組元素可以讓數(shù)據(jù)中心中的虛擬機(jī)像物理環(huán)境一樣聯(lián)網(wǎng)。圖8vNetwork標(biāo)準(zhǔn)交換機(jī)的網(wǎng)絡(luò)4,EcDE|+埔口坦一|aac0E圖8顯示了vSwitches虛擬環(huán)境內(nèi)部和
26、外部網(wǎng)絡(luò)之間的關(guān)系。虛擬環(huán)境提供了與物理環(huán)境類似的網(wǎng)絡(luò)元素。這些元素包括虛擬網(wǎng)絡(luò)接口卡(vNIC)、vNetwork標(biāo)準(zhǔn)交換機(jī)(vSwitch)、vNetwork分布式交換機(jī)(vDS)和端口組。vDS網(wǎng)絡(luò)在圖9中顯示。與物理機(jī)一樣,每個(gè)虛擬機(jī)都有一個(gè)或多個(gè)vNIC??蛻魴C(jī)操作系統(tǒng)和應(yīng)用程序通過(guò)常用的設(shè)備驅(qū)動(dòng)程序或VMware用于虛擬環(huán)境優(yōu)化的設(shè)備驅(qū)動(dòng)程序與vNIC進(jìn)行通信。無(wú)論哪種情況,客戶機(jī)操作系統(tǒng)中的通信就像與物理設(shè)備通信一樣。在虛擬機(jī)之外,vNIC擁有其自己的MAC地址以及一個(gè)或多個(gè)IP地址。它與物理網(wǎng)卡一樣響應(yīng)標(biāo)準(zhǔn)以太網(wǎng)協(xié)議。外部代理并未檢測(cè)到它正在與一個(gè)虛擬機(jī)通信。虛擬交換機(jī)的工作原
27、理與第2層物理交換機(jī)一樣。每臺(tái)服務(wù)器都有自己的虛擬交換機(jī)。虛擬交換機(jī)的一端是與虛擬機(jī)相連的端口組,另一端是與虛擬機(jī)所在服務(wù)器上的物理以太網(wǎng)適配器相連的上行鏈路。虛擬機(jī)通過(guò)與虛擬交換機(jī)上行鏈路相連的物理以太網(wǎng)適配器與外部環(huán)境連接。虛擬交換機(jī)可將其上行鏈路連接到多個(gè)物理以太網(wǎng)適配器以啟用網(wǎng)卡綁定。通過(guò)網(wǎng)卡綁定,兩個(gè)或多個(gè)物理適配器可用于分?jǐn)偭髁控?fù)載或在出現(xiàn)物理適配器硬件故障或網(wǎng)絡(luò)故障時(shí)提供被動(dòng)故障切換。有關(guān)網(wǎng)卡綁定的信息,請(qǐng)參見(jiàn)ESX配置指南或ESXi配置指南。端口組是虛擬環(huán)境特有的概念。端口組是一種策略設(shè)置機(jī)制,這些策略用于管理與端口組相連的網(wǎng)絡(luò)。一個(gè)vSwitch可以有多個(gè)端口組。虛擬機(jī)不是將
28、其vNIC連接到vSwitch上的特定端口,而是連接到端口組。即使與同一端口組相連接的虛擬機(jī)各自在不同的物理服務(wù)器上,這些虛擬機(jī)也都屬于虛擬環(huán)境內(nèi)的同一網(wǎng)絡(luò)??蓪⒍丝诮M配置為執(zhí)行策略,以提供增強(qiáng)的網(wǎng)絡(luò)安全、網(wǎng)絡(luò)分段、更佳的性能、高可用性以及流量管理。vNetwork分布式交換機(jī)(vDs)在所有關(guān)聯(lián)主機(jī)之間作為單個(gè)虛擬交換機(jī)使用。此功能可使虛擬機(jī)在跨多個(gè)主機(jī)進(jìn)行遷移時(shí)確保其網(wǎng)絡(luò)配置保持一致。與vSwitch一樣,每個(gè)vDS都是一種可供虛擬機(jī)使用的網(wǎng)絡(luò)集線器。vDS可在虛擬機(jī)之間進(jìn)行內(nèi)部流量路由或通過(guò)連接物理以太網(wǎng)適配器鏈接外部網(wǎng)絡(luò)。您還可以為每個(gè)vDS分配一個(gè)或多個(gè)dvPort組。dvPort組
29、將多個(gè)端口聚合在一個(gè)通用配置下,并為連接標(biāo)定網(wǎng)絡(luò)的虛擬機(jī)提供穩(wěn)定的定位S9vNetwork分布式交換機(jī)的網(wǎng)絡(luò)vhktMork分布式交犢機(jī)蠢陽(yáng)機(jī)_3K.1主機(jī)主機(jī)之虛地物理網(wǎng)絡(luò)資源池可確定在vDS上為不同網(wǎng)絡(luò)流量類型所指定的優(yōu)先級(jí)。啟用網(wǎng)絡(luò)資源管理時(shí),會(huì)將vDS流量劃分為六個(gè)網(wǎng)絡(luò)資源池:容錯(cuò)流量、iSCSI流量、vMotion流量、管理流量、NFS流量和虛擬機(jī)流量。通過(guò)為每個(gè)網(wǎng)絡(luò)資源池設(shè)置物理適配器份額和主機(jī)限制,您可控制其中每個(gè)網(wǎng)絡(luò)資源池中流量的優(yōu)先級(jí)。第2層安全選項(xiàng):通過(guò)控制雜亂模式、MAC地址更改或偽信號(hào)的能力,可以執(zhí)行vNICs附加到虛擬機(jī)端口組的策略。VLAN支持:將虛擬網(wǎng)絡(luò)與物理網(wǎng)絡(luò)
30、VLAN集成。專用VLAN:解決VLANID限制問(wèn)題,并避免在某些部署方案中用盡VLANID。流量調(diào)整:定義平均帶寬、峰值帶寬和流量突發(fā)大小的QOS策略。設(shè)置策略以改進(jìn)流量理。網(wǎng)卡綁定:為個(gè)別端口組或網(wǎng)絡(luò)設(shè)置網(wǎng)卡綁定策略,以分?jǐn)偭髁控?fù)載或在出現(xiàn)硬件故障時(shí)提供故障切換。五、存儲(chǔ)架構(gòu)VMwarevSphere存儲(chǔ)架構(gòu)由各種抽象層組成,這些抽象層隱藏并管理物理存儲(chǔ)子系統(tǒng)之間的復(fù)雜性和差異。此存儲(chǔ)架構(gòu)如圖10中所示。圖10存儲(chǔ)架構(gòu)DASSCSIFCSANtSC期NAS對(duì)于每個(gè)虛擬機(jī)內(nèi)的應(yīng)用程序和客戶機(jī)操作系統(tǒng),存儲(chǔ)子系統(tǒng)顯示為與一個(gè)或多個(gè)虛擬SCSI磁盤相連的虛擬SCSI控制器。虛擬機(jī)只能查看和訪問(wèn)以
31、上類型的SCSI控制器。這些控制器包括BusLogic并行、LSILogic并行、LSILogicSAS和VMware準(zhǔn)虛擬。虛擬SCSI磁盤通過(guò)數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)元素置備。數(shù)據(jù)存儲(chǔ)就像一個(gè)存儲(chǔ)設(shè)備,為多個(gè)物理主機(jī)上的虛擬機(jī)提供存儲(chǔ)空間。數(shù)據(jù)存儲(chǔ)抽象概念是一種模型,可將存儲(chǔ)空間分配到虛擬機(jī),使客戶機(jī)不必使用復(fù)雜的基礎(chǔ)物理存儲(chǔ)技術(shù)??蛻魴C(jī)虛擬機(jī)不對(duì)光纖通道SAN、iSCSISAN、直接連接存儲(chǔ)器和NAS公開(kāi)。每個(gè)數(shù)據(jù)存儲(chǔ)都是存儲(chǔ)設(shè)備上的物理VMFS卷。NAS數(shù)據(jù)存儲(chǔ)是帶有VMFS特征的NFS卷。數(shù)據(jù)存儲(chǔ)可以跨多個(gè)物理存儲(chǔ)子系統(tǒng)。單個(gè)VMFS卷可包含物理主機(jī)上本地SCSI磁盤陣列、光纖通道SAN磁
32、盤場(chǎng)或iSCSISAN磁盤場(chǎng)中的一個(gè)或多個(gè)LUN。添加到任何物理存儲(chǔ)子系統(tǒng)的新LUN可被檢測(cè)到,并可供所有的現(xiàn)有數(shù)據(jù)存儲(chǔ)或新數(shù)據(jù)存儲(chǔ)使用。可以擴(kuò)展先前創(chuàng)建的數(shù)據(jù)存儲(chǔ)上的存儲(chǔ)器容量,而不必關(guān)閉物理主機(jī)或存儲(chǔ)子系統(tǒng)。如果VMFS卷內(nèi)的任何LUN出現(xiàn)故障或不可用,則只有那些使用此LUN的虛擬機(jī)才受影響。具有跨區(qū)卷的第一個(gè)數(shù)據(jù)區(qū)的LUN除外。位于其他LUN中的虛擬磁盤所屬的所有其他虛擬機(jī)都會(huì)繼續(xù)運(yùn)行。每個(gè)虛擬機(jī)可作為一組文件存儲(chǔ)在數(shù)據(jù)存儲(chǔ)中的目錄中。與每個(gè)虛擬客戶關(guān)聯(lián)的磁盤存儲(chǔ)是客戶機(jī)目錄中的一組文件??梢宰鳛槠胀ㄎ募诳蛻舸疟P存儲(chǔ)上進(jìn)行操作。可以復(fù)制、移動(dòng)或備份磁盤存儲(chǔ)??上蛱摂M機(jī)添加新虛擬磁盤,而
33、無(wú)需關(guān)閉虛擬機(jī)。在這種情況下,系統(tǒng)將在VMFS中創(chuàng)建虛擬磁盤文件(.vmdk),從而為添加的虛擬磁盤或與虛擬機(jī)關(guān)聯(lián)的現(xiàn)有虛擬磁盤文件提供新存儲(chǔ)。VMFS是使用共享存儲(chǔ)的群集文件系統(tǒng),允許多個(gè)物理主機(jī)同時(shí)讀寫同一存儲(chǔ)器。VMFS提供磁盤鎖定,以確保多臺(tái)服務(wù)器不會(huì)同時(shí)啟動(dòng)同一虛擬機(jī)。如果物理主機(jī)出現(xiàn)故障,系統(tǒng)將釋放每個(gè)虛擬機(jī)的磁盤鎖定,以便虛擬機(jī)可在其他物理主機(jī)上重新啟動(dòng)。VMFS的功能還包括故障一致性和恢復(fù)機(jī)制,例如分布式日志、故障一致的虛擬機(jī)I/O路徑和虛擬機(jī)狀況快照。這些機(jī)制可幫助快速識(shí)別根本原因,并使虛擬機(jī)、物理主機(jī)和存儲(chǔ)子系統(tǒng)從故障中恢復(fù)。VMFS還支持裸設(shè)備映射(RDM)。RDM為虛擬
34、機(jī)提供了一種機(jī)制,使虛擬機(jī)能夠直接訪問(wèn)物理存儲(chǔ)子系統(tǒng)(僅限光纖通道或iSCSI)上的LUN。RDM可支持兩種典型類型的應(yīng)用程序:a、在虛擬機(jī)中運(yùn)行的SAN快照或其他分層應(yīng)用程序。RDM能夠使用SAN內(nèi)在功能更好地支持可擴(kuò)展的備份卸載系統(tǒng)。b、跨物理主機(jī)、使用虛擬到虛擬群集以及物理到虛擬群集的Microsoft群集服務(wù)(MSCS)。群集數(shù)據(jù)和仲裁磁盤必須配置為RDM(而不是共享VMFS上的文件)。nn裸設(shè)備映射皴靄存舜FCSAW盍沿CSISAHRDM是從VMFS卷到裸LUN的符號(hào)鏈接。映射使LUN顯示為VMFS卷中的文件。在虛擬機(jī)配置中引用映射文件而非裸LUN。打開(kāi)LUN進(jìn)行訪問(wèn)時(shí),系統(tǒng)會(huì)讀取映
35、射文件以獲取裸LUN的引用??刹挥猛ㄟ^(guò)映射文件直接對(duì)裸LUN進(jìn)行讀寫操作。六、VMwarevCenterServerVMwarevCenterServer用于集中管理數(shù)據(jù)中心。vCenterServer會(huì)聚合多臺(tái)ESX/ESXi主機(jī)的物理資源,系統(tǒng)管理員收集這些可用資源來(lái)置備虛擬環(huán)境中的虛擬機(jī)。vCenterServer組件包括用戶訪問(wèn)控件、核心服務(wù)、分布式服務(wù)、插件以及各種界面。圖12顯示了vCenterServer的重要組件。B12vCenterServe組件vCtnier分行式用弱靠福vMcliai整二方由用玳序4聲白班擊由白歲林口主機(jī)將事把機(jī)配虛席機(jī)青匚依世陽(yáng)副提討日多磔1用戶訪問(wèn)神相
36、通過(guò)用戶訪問(wèn)控制組件,系統(tǒng)管理員可以為不同的用戶類創(chuàng)建和管理對(duì)vCenterServer的不同訪問(wèn)權(quán)限級(jí)別。例如,一個(gè)用戶類可對(duì)數(shù)據(jù)中心中的物理虛擬化服務(wù)器硬件進(jìn)行管理和配置。而另一個(gè)用戶類則可管理虛擬機(jī)群集中特定資源池內(nèi)的虛擬資源。vCenterServer核心服務(wù)核心服務(wù)是虛擬數(shù)據(jù)中心的基本管理服務(wù)。核心服務(wù)包括以下服務(wù):虛擬機(jī)置備:引導(dǎo)和自動(dòng)化虛擬機(jī)及其資源的置備。主機(jī)和虛擬機(jī)配置:允許配置主機(jī)和虛擬機(jī)。資源和虛擬機(jī)清單管理:組織虛擬環(huán)境中的虛擬機(jī)和資源并幫助進(jìn)行管理。統(tǒng)計(jì)信息和日志記錄:有關(guān)數(shù)據(jù)中心元素(如虛擬機(jī)、主機(jī)、存儲(chǔ)器和群集)性能和資源使用情況的統(tǒng)計(jì)信息的日志和報(bào)告。警報(bào)和事件
37、管理:對(duì)潛在資源過(guò)度使用或發(fā)生任何事件的用戶加以跟蹤和警告。您可將警報(bào)設(shè)置為在發(fā)生事件時(shí)觸發(fā),在出現(xiàn)嚴(yán)重錯(cuò)誤時(shí)通知。警報(bào)僅在滿足特定時(shí)間條件時(shí)才觸發(fā),以最小化假觸發(fā)的數(shù)目。任務(wù)調(diào)度程序:調(diào)度操作(如vMotion)在給定時(shí)間發(fā)生。整合:分析數(shù)據(jù)中心內(nèi)物理資源的容量和使用情況。通過(guò)發(fā)現(xiàn)可轉(zhuǎn)換成虛擬機(jī)并整合到ESX/ESXi的物理系統(tǒng),為改善使用情況提供建議。自動(dòng)化整合過(guò)程,但也要允許用戶能夠靈活地調(diào)整整合參數(shù)。vApp:vApp與虛擬機(jī)的基本操作相同,但可包含多個(gè)虛擬機(jī)或設(shè)備。使用vApp,可以作為單獨(dú)實(shí)體(例如,克隆,啟動(dòng)、關(guān)閉和監(jiān)視)在多層應(yīng)用程序上執(zhí)行操作。vApp會(huì)對(duì)這些應(yīng)用程序進(jìn)行打包
38、和管理。分布式服務(wù)解決方案可將VMwarevSphere的功能擴(kuò)展到單個(gè)物理服務(wù)器之外。這些解決方案包括:VMwareDRS、VMwareHA和VMwarevMotion。使用分布式服務(wù),可以從vCenterServer集中配置和管理這些解決方案??梢詫⒍鄠€(gè)vCenterServer系統(tǒng)組合到單個(gè)連接組中。如果vCenterServer主機(jī)是連接組的一部分,則可以查看和管理該組中所有vCenterServer主機(jī)的清單。vCenterServer插件插件是可基于vCenterServer安裝的應(yīng)用程序。插件會(huì)添加額外的特性和功能。vCenterServer插件包括以下內(nèi)容:VMwarevCen
39、terConverter:允許用戶將物理機(jī)以及各種格式的虛擬機(jī)轉(zhuǎn)換為ESX/ESXi虛擬機(jī)。轉(zhuǎn)換的系統(tǒng)可導(dǎo)入到vCenterServer清單中的任何位置。VMwareUpdateManager:允許安全管理員在ESX/ESXi主機(jī)和受管虛擬機(jī)上執(zhí)行安全標(biāo)準(zhǔn)。此插件使您能夠創(chuàng)建用戶定義的安全基準(zhǔn)來(lái)表示一組安全標(biāo)準(zhǔn)。安全管理員可將主機(jī)和虛擬機(jī)與這些基準(zhǔn)進(jìn)行比較,以確定并修復(fù)不符合標(biāo)準(zhǔn)的虛擬機(jī)。vCenterServer接口vCenterServer接口將vCenterServer與第三方產(chǎn)品和應(yīng)用程序集成。vCenterServer具有以下重要接口:ESX管理:與vCenterServer代理連接的接口,用于管理數(shù)據(jù)中心的每個(gè)物理服務(wù)器。VMwarevSphereAPI:與VMware管理客戶端和第三方解決方案連接的接口。數(shù)據(jù)庫(kù)接口與Oracle、MicrosoftSQLServer或EMDB2相連,用于存儲(chǔ)信息(如虛擬機(jī)配置、主機(jī)配置、資源和虛擬機(jī)清單、性能統(tǒng)計(jì)信息、事件、警報(bào)、用戶權(quán)限以及角色)?;顒?dòng)目錄接口:與活動(dòng)目錄相連以獲得用戶訪問(wèn)控制信息。6.1、 vCenterSer
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 5.3 人體內(nèi)物質(zhì)的運(yùn)輸
- 辦公場(chǎng)所與設(shè)施維護(hù)管理制度
- 企業(yè)商標(biāo)管理制度
- 急救醫(yī)療流程規(guī)范制度
- 算法設(shè)計(jì)與分析 課件 10.3.3-綜合應(yīng)用-最短路徑問(wèn)題-貝爾曼福特算法
- 2024年來(lái)賓道路客運(yùn)從業(yè)資格證考試模擬試題
- 2024年西安客運(yùn)從業(yè)資格證考試考什么題型
- 2024年杭州客運(yùn)急救知識(shí)
- 2024年重慶客運(yùn)從業(yè)資格證實(shí)際操作試題答案解析
- 吉林藝術(shù)學(xué)院《中外動(dòng)畫史》2021-2022學(xué)年第一學(xué)期期末試卷
- 小學(xué)英語(yǔ)期中試卷分析(三篇)
- 系動(dòng)詞公開(kāi)課 完整版PPT
- 土工擊實(shí)儀不確定度評(píng)定
- 無(wú)機(jī)離子檢測(cè)
- 《語(yǔ)言學(xué)綱要》修訂版課后練習(xí)題
- 動(dòng)物醫(yī)學(xué)麻醉學(xué)07wasva吸入麻醉wsava2inhal agentswag49ch final
- 數(shù)字媒體技術(shù)專業(yè)群建設(shè)方案
- 裝配式混凝土結(jié)構(gòu)吊裝安全技術(shù)交底
- 機(jī)械畢業(yè)設(shè)計(jì)(PLC的恒溫箱控制系統(tǒng)設(shè)計(jì))
- 非哺乳期乳腺炎診治專家共識(shí)解讀及體會(huì)供參考
- 實(shí)驗(yàn)二 油菜考種
評(píng)論
0/150
提交評(píng)論