網(wǎng)絡(luò)虛擬化-正在進(jìn)行的網(wǎng)絡(luò)變革

1、網(wǎng)絡(luò)虛擬化-正在進(jìn)行的網(wǎng)絡(luò)變革編者注：這是一篇來(lái)自周倫EMC中國(guó)研究院云基礎(chǔ)構(gòu)架實(shí)驗(yàn)室高級(jí)研究員的文章。A revolution has started to free data center networks fromthe tyranny of inflexibility, complexity, vendor stranglehold, and high costs.It time to decouple network services from the underlyingphysicalhardware.It time to never have to think about th

2、e network again.It time to virtualize the network.摘自nicira主頁(yè)引子接觸網(wǎng)絡(luò)虛擬化純屬偶然。作為研究院微博五毛小分隊(duì)的成員，撰出一條微博是每天的任務(wù)。 那天無(wú)意中抓取了一條新聞：Xsigo公司推出了業(yè)界第一個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)全虛擬化解決方案。 巧的是Xsigo公司的方案是基于Infiniband技術(shù)的，而我最近的項(xiàng)目使我對(duì)Infiniband略懂，所以就重點(diǎn)關(guān)注了一下。這一關(guān)注不要緊，才發(fā)現(xiàn)里面水很深。不管是傳統(tǒng)IT豪強(qiáng)還是網(wǎng)絡(luò)巨人都對(duì)這一領(lǐng)域虎視眈眈，謀篇定局，更有無(wú)數(shù)的創(chuàng)業(yè)者們?cè)诖苏归_(kāi)深耕。抱著對(duì)技術(shù)要略懂的心態(tài)，我入水一探究竟。這篇博文

3、算是對(duì)我這次涉水的總結(jié)，網(wǎng)絡(luò)虛擬化發(fā)展到現(xiàn)在牽涉的技術(shù)非常多，每種技術(shù)都可以單獨(dú)寫一篇文章來(lái)介紹，限于我的精力和知識(shí)水平只能給大家做個(gè)整體的簡(jiǎn)單介紹，不足之處還請(qǐng)各位批評(píng)指正。如果讀者對(duì)某種技術(shù)感興趣可以搜索相關(guān)資料做更詳細(xì)的了解。什么是網(wǎng)絡(luò)虛擬化首先我們需要明確一個(gè)問(wèn)題，什么是網(wǎng)絡(luò)虛擬化，網(wǎng)絡(luò)虛擬化簡(jiǎn)單來(lái)講是指把邏輯網(wǎng)絡(luò)從底層的物理網(wǎng)絡(luò)分離開(kāi)來(lái)。這個(gè)概念產(chǎn)生的比較久了，VLAN , VPN , VPLS等都可以歸為網(wǎng)絡(luò)虛擬化的技術(shù)。近年來(lái)，云計(jì)算的浪潮席卷 IT界。幾乎所有的IT基礎(chǔ)構(gòu)架都在朝著云 的方向發(fā)展。在云計(jì)算的發(fā)展中，虛擬化技術(shù)一直是重要的推動(dòng)因素。作為基礎(chǔ)構(gòu)架，服務(wù)器和存儲(chǔ)的虛擬

4、化已經(jīng)發(fā)展的有聲有色，而同作為基礎(chǔ)構(gòu)架的網(wǎng)絡(luò)卻還是一直沿用老的套路。在這種環(huán)境下，網(wǎng)絡(luò)確實(shí)期待一次變革，使之更加符合云計(jì)算和互聯(lián)網(wǎng)發(fā)展的需求。云計(jì)算的大環(huán)境下，網(wǎng)絡(luò)虛擬化的定義沒(méi)有變，但是其包含的內(nèi)容卻大大增加了。云計(jì)算環(huán)境下的網(wǎng)絡(luò)虛擬化需要解決端到端的問(wèn)題，筆者將其歸納為三個(gè)部分：（一）第一部分是服務(wù)器內(nèi)部。隨著越來(lái)越多的服務(wù)器被虛擬化，網(wǎng)絡(luò)已經(jīng)延伸到Hypervisor內(nèi)部，網(wǎng)絡(luò)通信的端已經(jīng)從以前的服務(wù)器變成了運(yùn)行在服務(wù)器中的虛擬機(jī)，數(shù)據(jù)包從虛 擬機(jī)的虛擬網(wǎng)卡流出，通過(guò) Hypervisor內(nèi)部的虛擬交換機(jī)，在經(jīng)過(guò)服務(wù)器的物理網(wǎng)卡流出到上聯(lián)交換機(jī)。在整個(gè)過(guò)程中，虛擬交換機(jī)，網(wǎng)卡的 I/O問(wèn)

5、題以及虛擬機(jī)的網(wǎng)絡(luò)接入都是研 究的重點(diǎn)。(二)第二部分是服務(wù)器到網(wǎng)絡(luò)的連接。10Gb以太網(wǎng)和In巾niband等技術(shù)的發(fā)展使一根連接線上承載的帶寬越來(lái)越高。為了簡(jiǎn)化，通過(guò)一種連接技術(shù)聚合互聯(lián)網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)成為了 一個(gè)趨勢(shì)。(三)第三部分是網(wǎng)絡(luò)交換，需要將物理網(wǎng)絡(luò)和邏輯網(wǎng)絡(luò)有效的分離，滿足云計(jì)算多租戶， 按需服務(wù)的特性，同時(shí)具有高度的擴(kuò)展性。下面我就圍繞這三個(gè)方面來(lái)講述網(wǎng)絡(luò)虛擬化中的一些主要技術(shù)和標(biāo)準(zhǔn)。服務(wù)器內(nèi)部I/O虛擬化多個(gè)虛擬機(jī)共享服務(wù)器中的物理網(wǎng)卡，需要一種機(jī)制既能保證 I/O的效率，又要保證多個(gè)虛擬機(jī)對(duì)用物理網(wǎng)卡共享使用。 I/O虛擬化的出現(xiàn)就是為了解決這類問(wèn)題。I/O虛擬化包括了從C

6、PU到設(shè)備的一攬子解決方案。從CPU的角度看，要解決虛擬機(jī)訪問(wèn)物理網(wǎng)卡等I/O設(shè)備的性能問(wèn)題，能做的就是直接支持虛擬機(jī)內(nèi)存到物理網(wǎng)卡的DMA操彳Intel的VT-d技術(shù)及 AMD的IOMMU技術(shù)通過(guò)DMARemapping機(jī)制來(lái)解決這個(gè)問(wèn)題。DMARemapping 機(jī)制主要解決了兩個(gè)問(wèn)題，一方面 為每個(gè)VM創(chuàng)建了一個(gè)DMA保護(hù)域并實(shí)現(xiàn)了安全的隔離，另一方面提供一種機(jī)制是將虛擬 機(jī)的 GuestPhysical Address 翻譯為物理機(jī)的 HostPhysical Address 。從虛擬機(jī)對(duì)網(wǎng)卡等設(shè)備訪問(wèn)角度看，傳統(tǒng)虛擬化的方案是虛擬機(jī)通過(guò)Hypervisor來(lái)共享的訪問(wèn)一個(gè)物理網(wǎng)卡，H

7、ypervisor需要處理多虛擬機(jī)對(duì)設(shè)備的并發(fā)訪問(wèn)和隔離等。這樣 Hype rvisor容易行成一個(gè)性能瓶頸。為了提高性能，一種做法是虛擬機(jī)繞過(guò)Hypervisor直接操作物理網(wǎng)卡，這種做法通常稱作 PCIpass through , VMware , Xen和KVM都支持這種技術(shù)。 但這種做法的問(wèn)題是虛擬機(jī)通常需要獨(dú)占一個(gè)PCI插槽，不是一個(gè)完整的解決方案，成本較高且擴(kuò)展性不足。另一種做法是設(shè)備如網(wǎng)卡直接對(duì)上層操作系統(tǒng)或Hypervisor提供虛擬化的功能，一個(gè)以太網(wǎng)卡可以對(duì)上層軟件提供多個(gè)獨(dú)立的虛擬的PCIe設(shè)備并提供虛擬通道來(lái)實(shí)現(xiàn)并發(fā)的訪問(wèn)。這種方法也是業(yè)界主流的做法和發(fā)展方向，目前已經(jīng)

8、形成了標(biāo)準(zhǔn)，主要包括 SR-IOV(SingleRootIO Virtualization)和 MR-IOV(Multi-RootIO Virtualization)。這方面的技術(shù)在網(wǎng)上已有很好的文章來(lái)做介紹，推薦想進(jìn)一步了解的同學(xué)讀一讀： HYPERLINK /a /aK72XS虛擬接入在傳統(tǒng)的服務(wù)器虛擬化方案中，從虛擬機(jī)的虛擬網(wǎng)卡發(fā)出的數(shù)據(jù)包在經(jīng)過(guò)服務(wù)器的物理網(wǎng)卡 傳送到外部網(wǎng)絡(luò)的上聯(lián)交換機(jī)后，虛擬機(jī)的標(biāo)識(shí)信息被屏蔽掉了，上聯(lián)交換機(jī)只能感知從某個(gè)服務(wù)器的物理網(wǎng)卡流出的所有流量而無(wú)法感知服務(wù)器內(nèi)某個(gè)虛擬機(jī)的流量，這樣就不能從傳統(tǒng)網(wǎng)絡(luò)設(shè)備層面來(lái)保證 QoS和安全隔離。虛擬接入要解決的問(wèn)題是要把

9、虛擬機(jī)的網(wǎng)絡(luò)流 量納入傳統(tǒng)網(wǎng)絡(luò)交換設(shè)備的管理之中，需要對(duì)虛擬機(jī)的流量做標(biāo)識(shí)。在解決虛擬接入的問(wèn)題時(shí)，思科和惠普分別提出了自己的解決方案。思科的是VN-Tag,惠普的方案是 VEPA(VirtualEthernet Port Aggregator)。為了制定下一代網(wǎng)絡(luò)接入的話語(yǔ)權(quán)，思科和惠普這兩個(gè)巨頭在各自的方案上都毫不讓步，紛紛將自己的方案提交為標(biāo)準(zhǔn)，分別為 802.1Qbh和802.1 HYPERLINK /hGW /hGWQbg。關(guān)于虛擬接入也有一篇很好的文章來(lái)介紹，想深入了解的可以看看: nOQ網(wǎng)絡(luò)連接網(wǎng)絡(luò)連接技術(shù)一直都在追求更高的帶寬中發(fā)展。比如Infiniband和10Gb以太網(wǎng)。在

10、傳統(tǒng)的企業(yè)級(jí)數(shù)據(jù)中心IT構(gòu)架中，服務(wù)器到存儲(chǔ)網(wǎng)絡(luò)和互聯(lián)網(wǎng)絡(luò)的連接是異構(gòu)和分開(kāi)的。存儲(chǔ)網(wǎng) 絡(luò)用光纖，互聯(lián)網(wǎng)用以太網(wǎng)線(ISCSI雖然能夠在IP層上跑SCSI ,但是性能與光纖比還是 差的很遠(yuǎn))。數(shù)據(jù)中心連接技術(shù)的發(fā)展趨勢(shì)是用一種連接線將數(shù)據(jù)中心存儲(chǔ)網(wǎng)絡(luò)和互聯(lián)網(wǎng)絡(luò) 聚合起來(lái)，使服務(wù)器可以靈活的配置網(wǎng)絡(luò)端口，簡(jiǎn)化 IT部署。以太網(wǎng)上的 FCOE技術(shù)和I nfiniband技術(shù)本身都使這種趨勢(shì)成為可能。InfinibandInfiniband技術(shù)產(chǎn)生于上個(gè)世紀(jì)末，是由 Compaq、惠普、舊M、戴爾、英特爾、微軟和 Su n七家公司共同研究發(fā)展的高速先進(jìn)的I/O標(biāo)準(zhǔn)。最初的命名為SystemI/O ,

11、 1999年10月，正式改名為InfiniBand。InfiniBand是一種長(zhǎng)纜線的連接方式，具有高速、低延遲的傳輸特 性?；贗nfiniBand技術(shù)的網(wǎng)卡的單端口帶寬可達(dá)20Gbps,最初主要用在高性能計(jì)算系統(tǒng)中，近年來(lái)隨著設(shè)備成本的下降，Infiniband也逐漸被用到企業(yè)數(shù)據(jù)中心。為了發(fā)揮Infiniband設(shè)備的性能，需要一整套的軟件棧來(lái)驅(qū)動(dòng)和使用，這其中最著名的就是 OFED(OpenFabric s Enterprise Distribution) ，它基于 Infiniband 設(shè)備實(shí)現(xiàn)了 RDMA(remote direct memoryac cess). RDMA的最主要

12、的特點(diǎn)就是零拷貝和旁路操作系統(tǒng)，數(shù)據(jù)直接在設(shè)備和應(yīng)用程序內(nèi) 存之間傳遞，這種傳遞不需要CPU的干預(yù)和上下文切換。OFED還實(shí)現(xiàn)了一系列的其它軟件棧：IPoIB(IP over Infiniband), SRP(SCSI RDMA Protocol)等，這就為 Infiniband 聚合 存儲(chǔ)網(wǎng)絡(luò)和互聯(lián)網(wǎng)絡(luò)提供了基礎(chǔ)。OFED由OpenFabrics聯(lián)盟負(fù)責(zé)開(kāi)發(fā)。OpenFabrics最初叫做OpenIB,從2006年開(kāi)始 OpenIB在Infiniband之外也開(kāi)始支持以太網(wǎng)，業(yè)務(wù)做的大 了名字也從 OpenIB改為OpenFabrics 。OFED現(xiàn)已經(jīng)被主流的 Linux發(fā)行版本支持， 并

13、被 整合到微軟的 windowsserver 中。圖1 OFED軟件棧FCOE就在大家認(rèn)為Infiniband就是數(shù)據(jù)中心連接技術(shù)的未來(lái)時(shí)，10Gb以太網(wǎng)的出現(xiàn)讓人看到了其它選擇，以太網(wǎng)的發(fā)展好像從來(lái)未有上限，目前它的性能已經(jīng)接近Infiniband (詳見(jiàn)http:/ HYPERLINK /en/US/prod/collateral/ps10265/le_32804_pb_hpc10ge.pdf /en/US/prod/collateral/ps10265/le_32804_pb_hpc10ge.pdf )，而從現(xiàn)有網(wǎng) 絡(luò)逐漸升級(jí)到10Gb以太網(wǎng)也更易為用戶所接受。FCOE的出現(xiàn)則為數(shù)據(jù)中心

14、互聯(lián)網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)的聚合提供了另一種可能。FCOE是將光纖信道直接映射到以太網(wǎng)線上，這樣光纖信道就成了以太網(wǎng)線上除了互聯(lián)網(wǎng)網(wǎng)絡(luò)協(xié)議之外的另一種網(wǎng)絡(luò)協(xié)議。FCOE能夠很容易的和傳統(tǒng)光纖網(wǎng)絡(luò)上運(yùn)行的軟件和管理工具相整合，因而能夠代替光纖連接存儲(chǔ)網(wǎng)絡(luò)。雖然出現(xiàn)的晚，但FCOE發(fā)展極其迅猛。與Infiniband技術(shù)需要采用全新的鏈路相比，企業(yè)IT們更愿意升級(jí)已有的以太網(wǎng)。在兩者性能接近的情況下，采用 FCOE方案似乎性價(jià)比更高。 網(wǎng)絡(luò)交換在這一層面上要解決的問(wèn)題則是要對(duì)現(xiàn)有的互聯(lián)網(wǎng)絡(luò)進(jìn)行升級(jí)，使之滿足新業(yè)務(wù)的需求，網(wǎng)絡(luò)虛擬化則是這一變革的重要方向。在這一方向上目前有兩種做法，一種是在原有的基礎(chǔ)設(shè)施上

15、添加新的協(xié)議來(lái)解決新的問(wèn)題；另一種則完全推倒重來(lái)，希望設(shè)計(jì)出一種新的網(wǎng)絡(luò)交換模型。當(dāng)虛擬數(shù)據(jù)中心開(kāi)始普及后，虛擬數(shù)據(jù)中心本身的一些特性帶來(lái)對(duì)網(wǎng)絡(luò)新的需求。物理機(jī)的位置一般是相對(duì)固定的，虛擬化方案的一個(gè)很大的特性在于虛擬機(jī)可以遷移。當(dāng)虛擬機(jī)的遷移發(fā)生在不同網(wǎng)絡(luò)，不同數(shù)據(jù)中心之間時(shí)，對(duì)網(wǎng)絡(luò)產(chǎn)生了新的要求，比如需要保證虛擬機(jī)的 IP在遷移前后不發(fā)生改變，需要保證虛擬機(jī)內(nèi)運(yùn)行在第二層(鏈路層)的應(yīng)用程序也在遷 移后仍可以跨越網(wǎng)絡(luò)和數(shù)據(jù)中心進(jìn)行通信等等。在這方面，Cisco連續(xù)推出了 OTV, LISP和VXLAN等一系列解決方案。OTVOTV的全稱叫做 OverlayTransport Virtual

16、ization 。通過(guò)擴(kuò)展鏈路層網(wǎng)絡(luò)，它可以使局域網(wǎng) 跨越數(shù)據(jù)中心。很多應(yīng)用需要使用廣播和本地鏈路多播。通過(guò)擴(kuò)展鏈路層網(wǎng)絡(luò)，OTV技術(shù)能夠跨地域的處理廣播流和多播，這使得這些應(yīng)用所在的虛擬機(jī)在數(shù)據(jù)中心之間遷移后仍然能夠正常工作。OTV擴(kuò)展了鏈路層網(wǎng)絡(luò)實(shí)際上也擴(kuò)展了其相關(guān)的IP子網(wǎng)，需要IP路由同樣的做改變，這就引出了新的問(wèn)題，這個(gè)問(wèn)題就由 LISP來(lái)解決了。LISPLISP的全稱是 Locator/ID Separation Protocol o傳統(tǒng)的網(wǎng)絡(luò)地址IP蘊(yùn)含了兩個(gè)含義，一個(gè)是你是誰(shuí)（ID）,另一個(gè)是你在哪里（Locator ）。這樣帶來(lái)的一個(gè)問(wèn)題就是如果你的位 置變了（ Locato

17、r變了），IP必須跟著變化。LISP的目標(biāo)是將ID和Locator分開(kāi)，再通過(guò) 維護(hù)一個(gè)映射系統(tǒng)將兩者關(guān)聯(lián)。這樣虛擬機(jī)和服務(wù)器在網(wǎng)絡(luò)不同位置進(jìn)行遷移時(shí)可以保持相 同的IP地址。圖2 OTV和LISP的應(yīng)用VXLANVXLAN的目的是在云計(jì)算環(huán)境中創(chuàng)建更多的邏輯網(wǎng)絡(luò)。在云計(jì)算的多租戶環(huán)境中，租戶都 需要一個(gè)邏輯網(wǎng)絡(luò)， 并且與其它邏輯網(wǎng)絡(luò)能夠進(jìn)行很好的隔離。在傳統(tǒng)網(wǎng)絡(luò)中，邏輯網(wǎng)絡(luò)的隔離是通過(guò)VLAN技術(shù)來(lái)解決的。不幸的是在IEEE802.1Q標(biāo)準(zhǔn)中，VLAN的標(biāo)識(shí)號(hào)只有12位，這就限制了在一定范圍內(nèi)虛擬網(wǎng)絡(luò)最多只能擴(kuò)展到4K個(gè)VLANs。為了解決這個(gè)問(wèn)題，思科聯(lián)合 VMware 在今年推出了 VX

18、LAN 技術(shù)，通過(guò) MACin User Datagram Protocol(MAC-in-UDP)封裝技術(shù)，加入了一個(gè) 24位的段標(biāo)識(shí)符。用 UDP的多播代替廣播，將數(shù)據(jù)包限定在目標(biāo)網(wǎng)段內(nèi)。VXLAN技術(shù)極大的擴(kuò)充了云計(jì)算環(huán)境中所能支持的邏輯網(wǎng)絡(luò)的數(shù)量，同 時(shí)通過(guò)邏輯段可以將邏輯網(wǎng)絡(luò)擴(kuò)展到不同的子網(wǎng)內(nèi)，使虛擬機(jī)能夠在不同的子網(wǎng)間做遷移。圖3 VXLAN 幀格式圖4通過(guò)VXLAN來(lái)擴(kuò)展網(wǎng)絡(luò)NVGRE對(duì)于云計(jì)算環(huán)境中的下一代網(wǎng)絡(luò)，各大IT廠商們都不想隨便就丟掉話語(yǔ)權(quán)，就在 Cisco推出 VXLAN 不久，Microsoft 就聯(lián)合 Intel, HP& Dell 提出了 NVGRE 標(biāo)準(zhǔn)。NV

19、GRE 的全稱 是 NetworkVirtualization using Generic Routing Encapsulation。它和 VXLAN 解決相同的 問(wèn)題，只是用了稍微不同的方式，使用GRE (Generic Routing Encapsulation) key的低24位作為網(wǎng)絡(luò)租戶的標(biāo)識(shí)符。前面我們講的都是在原有的基礎(chǔ)設(shè)施上添加新的協(xié)議來(lái)解決新出現(xiàn)的問(wèn)題，而近年來(lái)SoftwareDefined Networking (SDN)的興起則期待從根本上改變目前的網(wǎng)絡(luò)交換模式。SDN中最著名的就是OpenFlow。OpenFlow0penFlow論壇起源于斯坦福大學(xué)的Clean sl

20、ate計(jì)劃，開(kāi)始主要是為了設(shè)計(jì)一種新的互聯(lián)網(wǎng)實(shí)驗(yàn)環(huán)境。在目前的實(shí)驗(yàn)網(wǎng)上沒(méi)有實(shí)際足夠多的用戶或者足夠大的網(wǎng)絡(luò)拓?fù)鋪?lái)測(cè)試新協(xié)議 的性能和功能，最好的方法是將運(yùn)行新協(xié)議的實(shí)驗(yàn)網(wǎng)絡(luò)嵌入實(shí)際運(yùn)營(yíng)的網(wǎng)絡(luò)，利用實(shí)際的網(wǎng)絡(luò)環(huán)境來(lái)檢驗(yàn)新協(xié)議的可行性和存在的問(wèn)題。OpenFlow的切入點(diǎn)是目前已有的互聯(lián)網(wǎng)上的交換設(shè)備。無(wú)論是交換機(jī)還是路由器，最核心的信息都保存在flowtable里面，這些flowtable用來(lái)實(shí)現(xiàn)諸如轉(zhuǎn)發(fā)、統(tǒng)計(jì)、過(guò)濾等各種功能。雖然不同生產(chǎn)廠家有不同格式的flowtable,但可以抽取出絕大多數(shù)switch和router都有的一些通用的功能。OpenFlow 試圖提出一種通用的flowtable設(shè)計(jì)，能被所有廠家的設(shè)備所支持。通過(guò)控制flowtable能夠?qū)崿F(xiàn)網(wǎng)絡(luò)流量的分區(qū)，將網(wǎng)絡(luò)流量劃分為不同的數(shù)據(jù)流，這些數(shù)據(jù)流能被歸于不同的組且相互隔離，能夠按照需要來(lái)處理和控制。更重要的是flowtable支持遠(yuǎn)程的訪問(wèn)和控制。OpenFlow的flowtable中每一個(gè)entry支持3個(gè)部分：規(guī)則，操作與狀態(tài)。規(guī)則是用來(lái)定義flow ;操作就是轉(zhuǎn)發(fā)、丟棄等行為；狀態(tài)部分則是主要用來(lái)做流量的統(tǒng)計(jì)。有了 OpenFLow,我們可以在正常運(yùn)行的網(wǎng)絡(luò)中自己定義一些特殊的規(guī)則，通過(guò)定義不同的 flowe