數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化技術(shù)交流

服務(wù)器虛擬化與網(wǎng)絡(luò)虛擬化技術(shù)探討C-MarketingDataCenterSPDT康樂(lè)杭州華三通信技術(shù)有限公司日期：2010年5月關(guān)于Server-to-networkedge的故事未來(lái)幾年，數(shù)據(jù)中心的新技術(shù)都將發(fā)生在Server-to-networkedge；FCOE、CNA、CCE/DCE、EVB，都是Server-to-networkedge的故事；數(shù)據(jù)中心以太網(wǎng)絡(luò)三個(gè)技術(shù)方向：融合、IO虛擬化、40G/100GFWLBIPSNetStreamFWLBIPSNetStreamServer-to-netwokredge概述——

虛擬化的定義虛擬化是資源的邏輯表示，它不受物理限制的約束——

引自IBM《虛擬化與云計(jì)算》“虛擬化”的定義包含了三層含義：虛擬化的對(duì)象是各種各樣的資源；經(jīng)過(guò)虛擬化后的邏輯資源對(duì)用戶隱藏了不必要的細(xì)節(jié)；用戶可以在虛擬環(huán)境中實(shí)現(xiàn)其真實(shí)環(huán)境的部分或全部功能;“虛擬化”的兩種形式：N:1虛擬化1:N虛擬化概述——包羅萬(wàn)象的虛擬化虛擬化服務(wù)器虛擬化存儲(chǔ)虛擬化桌面虛擬化軟件虛擬化網(wǎng)絡(luò)虛擬化服務(wù)器虛擬化：使用虛擬化軟件在一臺(tái)物理服務(wù)器上運(yùn)行多個(gè)操作系統(tǒng)；網(wǎng)絡(luò)虛擬化：將網(wǎng)絡(luò)的硬件和軟件進(jìn)行整合，想用戶提供虛擬網(wǎng)絡(luò)連接的技術(shù)，VLAN/VPN/VRF/IRF/VDC等，后面將詳細(xì)討論；存儲(chǔ)虛擬化：為物理存儲(chǔ)設(shè)備提供一個(gè)抽象邏輯視圖，用戶通過(guò)這個(gè)統(tǒng)一的邏輯接口來(lái)訪問(wèn)被整合的存儲(chǔ)資源，RAID/NAS/SAN。軟件虛擬化：應(yīng)用虛擬化、高級(jí)語(yǔ)言虛擬化（JAVA/JRE）；桌面虛擬化：將個(gè)人桌面環(huán)境保存在遠(yuǎn)端服務(wù)器上，終端與桌面解除耦合；目錄服務(wù)器虛擬化帶來(lái)的技術(shù)變革服務(wù)器虛擬化技術(shù)簡(jiǎn)介服務(wù)器虛擬化帶來(lái)的網(wǎng)絡(luò)技術(shù)變革虛擬機(jī)交換網(wǎng)絡(luò)的監(jiān)管與安全策略部署——EVB技術(shù)大二層網(wǎng)絡(luò)中的虛擬機(jī)遷移——網(wǎng)絡(luò)N:1虛擬化技術(shù)虛擬機(jī)高密部署——網(wǎng)絡(luò)無(wú)阻塞交換與大緩存技術(shù)網(wǎng)絡(luò)1:N虛擬化技術(shù)的應(yīng)用虛擬園區(qū)網(wǎng)方案服務(wù)器橫向整合方案服務(wù)器虛擬化技術(shù)簡(jiǎn)介服務(wù)器虛擬化的基本概念虛擬化前:每臺(tái)主機(jī)一個(gè)操作系統(tǒng)；軟件硬件緊密地結(jié)合

；在同一主機(jī)上運(yùn)行多個(gè)應(yīng)用程序通常會(huì)遭遇沖突；系統(tǒng)的資源利用率低；硬件成本高昂而且不夠靈活；虛擬化后:解除了操作系統(tǒng)和服務(wù)器硬件的互相依賴；每個(gè)虛擬機(jī)（邏輯服務(wù)器）被封裝成一個(gè)大文件，可拷貝/克?。粋€(gè)系統(tǒng)間邏輯隔離，故障隔離；虛擬機(jī)獨(dú)立于硬件,可在其他服務(wù)器上運(yùn)行；借助虛擬化軟件在一臺(tái)物理服務(wù)器上運(yùn)行多個(gè)操作系統(tǒng)；服務(wù)器虛擬化的兩個(gè)術(shù)語(yǔ)在虛擬化中有兩個(gè)常用的術(shù)語(yǔ)：VirtualMachine、virtualmachine

monitorVirtualMachine（VM）是指運(yùn)行在Hypervisor之上，擁有CPU、IO、內(nèi)存等虛擬硬件資源并可支撐操作系統(tǒng)運(yùn)行的一個(gè)完整的系統(tǒng)平臺(tái)。virtualmachinemonitor（VMM）或叫做Hypervisor，是支持虛擬機(jī)運(yùn)行的軟件平臺(tái)，負(fù)責(zé)虛擬機(jī)（VM）的托管和管理，它直接運(yùn)行在服務(wù)器硬件上，因此其實(shí)現(xiàn)直接受底層體系機(jī)構(gòu)的約束。VMM，有兩種典型的實(shí)現(xiàn)：主機(jī)實(shí)現(xiàn)方案（hosted），也叫做主機(jī)虛擬化，實(shí)現(xiàn)：VMwareServer(GSX)、VMwareWorkstation、VMwareFusionMicrosoftVirtualPC、MicrosoftVirtualServer裸金屬實(shí)現(xiàn)方案（bare-metal）,也叫做裸金屬虛擬化，實(shí)現(xiàn)：VMwareESXServerCitrixXenServerMicrosoftHyper-V當(dāng)前市場(chǎng)上的主流產(chǎn)品服務(wù)器虛擬化的典型實(shí)現(xiàn)VMM作為一個(gè)應(yīng)用程序運(yùn)行在通用操作系統(tǒng)之上，操作系統(tǒng)管理資源。多個(gè)虛擬機(jī)的OS間相互獨(dú)立，一個(gè)虛擬機(jī)宕機(jī)不影響其他虛擬機(jī)。操作系統(tǒng)支持的硬件，虛擬機(jī)就能支持。性能低。ApplicationApplicationVirtualPrivateServerVirtualPrivateServerVMM（虛擬化軟件）OSOSVMM負(fù)責(zé)硬件資源的管理。VM應(yīng)用層、VM內(nèi)核、Hypervisor處于不同的CPU特權(quán)等級(jí)多個(gè)虛擬機(jī)的OS間相互獨(dú)立，一個(gè)虛擬機(jī)宕機(jī)不影響其他虛擬機(jī)。處理性能高，接近非虛擬化運(yùn)行模式；VMM（虛擬化軟件）ApplicationApplicationVirtualPrivateServerVirtualPrivateServerOSOS一個(gè)虛擬機(jī)一個(gè)虛擬機(jī)一個(gè)虛擬機(jī)一個(gè)虛擬機(jī)主機(jī)虛擬化的結(jié)構(gòu)裸金屬虛擬化的結(jié)構(gòu)動(dòng)態(tài)遷移運(yùn)行中的VM可實(shí)現(xiàn)動(dòng)態(tài)遷移到不同物理及的虛擬平臺(tái)上分區(qū)在單一物理服務(wù)器上同時(shí)運(yùn)行

多個(gè)虛擬機(jī)隔離在同一服務(wù)器上的虛擬機(jī)之間

相互隔離封裝整個(gè)虛擬機(jī)都保存在文件中，而且可以通過(guò)移動(dòng)和復(fù)制這些文件的方式來(lái)移動(dòng)和復(fù)制該虛擬機(jī)服務(wù)器虛擬化的關(guān)鍵特性虛擬層虛擬交換機(jī)CPU虛擬化內(nèi)存虛擬化存儲(chǔ)資源虛擬化傳統(tǒng)數(shù)據(jù)中心視圖虛擬架構(gòu)視圖OperatingSystemExchangeOperatingSystem虛擬化層OperatingSystemVPNOperatingSystem虛擬化層OperatingSystemFile/PrintOperatingSystem虛擬化層OperatingSystemCRMOperatingSystem虛擬化層服務(wù)器虛擬化的對(duì)傳統(tǒng)IT架構(gòu)的改變虛擬化層虛擬交換機(jī)CPU虛擬化內(nèi)存虛擬化存儲(chǔ)資源虛擬化服務(wù)器虛擬化的對(duì)傳統(tǒng)IT架構(gòu)的改變CPU產(chǎn)商推動(dòng)服務(wù)器虛擬化技術(shù)進(jìn)步CPU北橋網(wǎng)卡Intel硬件輔助虛擬化技術(shù)路線圖（AMD也有對(duì)應(yīng)的技術(shù)）虛擬化層虛擬交換機(jī)CPU虛擬化內(nèi)存虛擬化存儲(chǔ)資源虛擬化網(wǎng)絡(luò)設(shè)備產(chǎn)商對(duì)服務(wù)器虛擬的影響在哪里服務(wù)器虛擬化帶來(lái)網(wǎng)絡(luò)接入層的變化虛擬交換機(jī)虛擬化Server虛擬機(jī)1Server虛擬機(jī)2虛擬機(jī)3虛擬機(jī)4虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬化之前虛擬化之后核心層匯聚層接入層核心層匯聚層接入層物理網(wǎng)卡虛擬交換機(jī)VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬交換機(jī)虛擬化Server虛擬機(jī)1虛擬機(jī)2虛擬機(jī)3虛擬機(jī)4虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡核心層匯聚層接入層接入層服務(wù)器虛擬化帶來(lái)網(wǎng)絡(luò)接入層的變化虛擬機(jī)交換網(wǎng)絡(luò)的監(jiān)管與安全策略部署

EVB技術(shù)IEEE802.1Q工作組提出了EdgeVirtualBridging(EVB)標(biāo)準(zhǔn)，包括兩個(gè)：HP/3COM/IBM等廠商主導(dǎo)的802.1Qbg，將2011年初成為正式標(biāo)準(zhǔn)；CISCO主導(dǎo)的802.1Qbh，預(yù)計(jì)在2012年成為正式標(biāo)準(zhǔn)；傳統(tǒng)的VSwitch的問(wèn)題1——管理邊界問(wèn)題物理網(wǎng)卡虛擬交換機(jī)VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬服務(wù)器邊界物理服務(wù)器邊界二層網(wǎng)絡(luò)邊界這部分由服務(wù)器管理員負(fù)責(zé)運(yùn)維。這部分由網(wǎng)絡(luò)管理員負(fù)責(zé)運(yùn)維。這部分由誰(shuí)負(fù)責(zé)運(yùn)維？物理服務(wù)器中的邏輯網(wǎng)絡(luò)由誰(shuí)管？相似的情況：刀片服務(wù)器中的交換機(jī)模塊由誰(shuí)管？Server-to-networkedge是當(dāng)前數(shù)據(jù)中心技術(shù)發(fā)展的熱點(diǎn)，融合、IO/虛擬化是熱點(diǎn)的兩個(gè)主題；其實(shí)，EVB/FCOE/CCE，都是在討論邊界上的技術(shù)問(wèn)題；傳統(tǒng)的VSwitch的問(wèn)題2——VM流量監(jiān)管問(wèn)題物理網(wǎng)卡VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡從虛擬機(jī)到物理服務(wù)器之外的流量可以通過(guò)交換機(jī)鏡像、網(wǎng)流分析設(shè)備進(jìn)行監(jiān)控；虛擬機(jī)之間的流量無(wú)法進(jìn)行監(jiān)控；也有將虛擬交換機(jī)軟件進(jìn)行改進(jìn)，以實(shí)現(xiàn)流量監(jiān)控或鏡像的方式，但這種方式需要消耗過(guò)多的CPU資源?？杀O(jiān)控的服務(wù)器流量不可監(jiān)控的服務(wù)器流量物理網(wǎng)卡VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡傳統(tǒng)的VSwitch的問(wèn)題3——服務(wù)器訪問(wèn)控制數(shù)據(jù)中心服務(wù)器之間采用了矩陣式的訪問(wèn)控制策略。不同的虛擬機(jī)之間需要通過(guò)ACL實(shí)現(xiàn)訪問(wèn)控制；傳統(tǒng)的VSwitch實(shí)現(xiàn)ACL需要消耗CPU資源，對(duì)服務(wù)器性能有影響；安全策略與VM的遷移緊綁定問(wèn)題需解決；HP/3COM802.1Qbg的解決方案MAC/PHY虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3VEPA以太網(wǎng)交換機(jī)VirtualEtherPortAggragation方案：現(xiàn)在的交換機(jī)只要稍做驅(qū)動(dòng)修改就可支持這種模式；原來(lái)的VSwitch變成了VEPA，但還是CPU處理，性能有一定限制；在物理網(wǎng)絡(luò)上實(shí)現(xiàn)了流控和安全控制；物理服務(wù)器邊界也是網(wǎng)管邊界；實(shí)現(xiàn)流量監(jiān)控、安全控制物理服務(wù)器邊界虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3以太網(wǎng)交換機(jī)實(shí)現(xiàn)流量監(jiān)控、安全控制物理服務(wù)器邊界虛擬網(wǎng)卡VM3VSwitchVEPA多通道標(biāo)簽處理模塊MAC/PHY多通道標(biāo)簽處理模塊Mutil-Channel方案：可同時(shí)支持軟/硬VSwitch、VEPA，需要升級(jí)網(wǎng)卡和接入層交換機(jī)支持Q-IN-Q；在物理網(wǎng)絡(luò)上實(shí)現(xiàn)了流控和安全控制物理服務(wù)器邊界也是網(wǎng)管邊界；物理網(wǎng)卡物理網(wǎng)卡CISCO的802.1Qbh解決方案虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3以太網(wǎng)交換機(jī)實(shí)現(xiàn)流量監(jiān)控、安全控制虛擬網(wǎng)卡VM3VSwitchVEPAM標(biāo)簽處理模塊（標(biāo)簽復(fù)制）MAC/PHYM標(biāo)簽處理模塊M標(biāo)簽處理模塊（標(biāo)簽復(fù)制）非虛擬化的服務(wù)器MAC/PHY物理網(wǎng)卡物理網(wǎng)卡操作系統(tǒng)非虛擬化的服務(wù)器MAC/PHY物理網(wǎng)卡端口擴(kuò)展FEX為解決多通道技術(shù)多播轉(zhuǎn)發(fā)的復(fù)雜性，提出了端口擴(kuò)展技術(shù)；端口擴(kuò)展技術(shù)實(shí)現(xiàn)了M部件，專用于對(duì)多播報(bào)文進(jìn)行轉(zhuǎn)發(fā)；M部件增加對(duì)多播tag的添加和刪除；操作系統(tǒng)兩個(gè)標(biāo)準(zhǔn)草案的比較802.1Qbg：目標(biāo)是定義EVB的基本功能；VEPA及其multi-channel是由HP、3COM、IBM、Broadcom、Qlogic、emulex等公司支持發(fā)起確定的IEEE標(biāo)準(zhǔn)，將2011年初成為正式標(biāo)準(zhǔn)；協(xié)議定義了虛擬機(jī)VMM以及交換機(jī)對(duì)來(lái)自VM的報(bào)文的處理方式，將VM的流量牽引到交換機(jī)上做轉(zhuǎn)發(fā)、監(jiān)管、安全控制，然后在送回到VM。該協(xié)議明確了服務(wù)器管理邊界、網(wǎng)絡(luò)管理邊界。802.1Qbh：目標(biāo)是定義端口擴(kuò)展；CISCO主導(dǎo)的802.1Qbh，預(yù)計(jì)在2012年成為正式標(biāo)準(zhǔn)；該協(xié)議定義了新的以太網(wǎng)報(bào)文格式（增加了M-TAG），一組M-tag代表一組端口，用于遠(yuǎn)端的部件進(jìn)行報(bào)文的復(fù)制（多播）。這兩個(gè)標(biāo)準(zhǔn)不沖突，Qbg實(shí)現(xiàn)VM之間交換的基本功能，可以借助Qbh提高多播的處理性能；Qbh可以單獨(dú)實(shí)現(xiàn)，但對(duì)硬件有特殊要求；大二層網(wǎng)絡(luò)中的虛擬機(jī)遷移問(wèn)題網(wǎng)絡(luò)設(shè)備N:1虛擬化服務(wù)器虛擬化的一個(gè)關(guān)鍵特性是虛擬機(jī)動(dòng)態(tài)遷移，遷移需要在二層網(wǎng)絡(luò)內(nèi)實(shí)現(xiàn)如何簡(jiǎn)化大二層網(wǎng)絡(luò)的部署，是服務(wù)器虛擬化帶來(lái)的又一個(gè)問(wèn)題；服務(wù)器虛擬化的關(guān)鍵特性——?jiǎng)討B(tài)遷移服務(wù)器硬件VMM服務(wù)器硬件VMMVMotion遷移虛擬機(jī)SAN、iSCSI或NAS動(dòng)態(tài)遷移可在X86架構(gòu)的VMWAREESX上實(shí)現(xiàn)，以可以在IBMP6小型機(jī)上實(shí)現(xiàn)；在不中斷服務(wù)的情況下，將VM遷移到其他的物理服務(wù)器上；可用在災(zāi)備、資源調(diào)整、服務(wù)器維護(hù)等場(chǎng)合；實(shí)現(xiàn)遷移的服務(wù)器必須在一個(gè)二層網(wǎng)絡(luò)內(nèi)，VM的GW在相同設(shè)備上；4P+2PIntel?Core?

MicroarchitectureEnhancedIntel?Core?MicroarchitectureNextGeneration

IntelMicroarchitecture1PXeon7500Xeon5400Xeon3300FutureFutureFutureXeon5300Xeon7300Xeon320065nm45nmHigh-K2006-20072007-20082008-2010μarchDualCore5100DualCore7200DualCore3000Intel?VTFlexMigrationIncreasedVMMobilitywithVMwareFail-Over防故障LoadBalance負(fù)載分擔(dān)

DisasterRecovery容災(zāi)ServerMaintenance服務(wù)器維護(hù)VMVMIntelCPU對(duì)虛擬機(jī)VMotion特性的支持借助intelVTFlexmirgration和vmwareESX的VMotion，先前在各代服務(wù)器間實(shí)時(shí)遷移虛擬機(jī)的障礙已得到解決。IBMP6/P7CPU支持“分區(qū)實(shí)時(shí)遷移”IBMSystemp系統(tǒng)的動(dòng)態(tài)分區(qū)遷移技術(shù)，允許將正在運(yùn)行的生產(chǎn)應(yīng)用程序從一個(gè)物理服務(wù)器移動(dòng)到另一個(gè)物理服務(wù)器動(dòng)態(tài)分區(qū)遷移有助于實(shí)現(xiàn)連續(xù)的可用性目標(biāo)：通過(guò)動(dòng)態(tài)地將應(yīng)用程序從一個(gè)服務(wù)器移動(dòng)到另一個(gè)服務(wù)器，減少計(jì)劃停機(jī)時(shí)間。通過(guò)允許您將工作負(fù)載從負(fù)載較重的服務(wù)器移動(dòng)到具有空閑容量的服務(wù)器，可以應(yīng)對(duì)不斷變化的工作負(fù)載和業(yè)務(wù)需求。通過(guò)允許您簡(jiǎn)單地整合工作負(fù)載，并關(guān)閉不使用的服務(wù)器，減少能量的消耗。IBMP6/P7CPU都支持“分區(qū)實(shí)時(shí)遷移”，類似與VMWARE的VMotion?！胺謪^(qū)實(shí)時(shí)遷移”需要服務(wù)器部署在同一個(gè)二層網(wǎng)絡(luò)中。傳統(tǒng)二層網(wǎng)絡(luò)的維護(hù)復(fù)雜性在匯聚交換機(jī)上指定根橋；匯聚交換機(jī)上不需要參與STP的端口關(guān)閉STP特性接入交換機(jī)與服務(wù)器直連端口設(shè)置為“邊緣端口”；接入交換機(jī)與服務(wù)器相連的端開(kāi)啟“BPDU保護(hù)”功能，標(biāo)■的端口；接入交換機(jī)上行端口開(kāi)啟“環(huán)路保護(hù)”功能，標(biāo)■的端口；匯聚交換機(jī)（根橋和備份根橋）與接入交換機(jī)互聯(lián)的端口開(kāi)啟“root保護(hù)”功能，標(biāo)■的端口；交換機(jī)上開(kāi)啟“TC-BPDU保護(hù)”功能；在交換機(jī)上開(kāi)啟loopback-detection（端口環(huán)回檢測(cè)）功能，防止錯(cuò)誤的配置或連接形成端口自環(huán)；利用VLAN與MSTP實(shí)例映射關(guān)系，實(shí)現(xiàn)業(yè)務(wù)流量負(fù)載分擔(dān)。在匯聚交換機(jī)或匯聚層L4/L7模塊上規(guī)劃多個(gè)VRRP組，實(shí)現(xiàn)服務(wù)器網(wǎng)關(guān)的備份和負(fù)載分擔(dān)。MSTP+VRRPAGG_SW2ACC_SW1VRRP3Master實(shí)例3（VLAN30）的根ACC_SW2VRRP5Master實(shí)例5（VLAN50）的根VLAN30VLAN50VLAN50AGG_SW1L3L2MSTP+VRRPACC_SW1ACC_SW2VLAN30VLAN50VLAN50AGG_SW1L3L2VRRP3MasterInstance3（VLAN30）RootVRRP5MasterInstance5（VLAN50）RootL3L2VLAN30VLAN50VLAN50IRF虛擬化的應(yīng)用——消除二層環(huán)路基于IRF的虛擬化網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)各層之間屏蔽環(huán)路，通過(guò)鏈路聚合實(shí)現(xiàn)負(fù)載分擔(dān)將多條網(wǎng)絡(luò)層間鏈路簡(jiǎn)化成一條邏輯鏈路可實(shí)現(xiàn)數(shù)據(jù)中心大范圍二層網(wǎng)絡(luò)互聯(lián)MSTP+VRRPL3L2IRF虛擬化的應(yīng)用——簡(jiǎn)化NIC-Teaming部署en0e