H3CSDN數(shù)據(jù)中心解決方案(詳細(xì)版)

（詳細(xì)版）第1章H3C數(shù)據(jù)中心解決方案概述 51.1數(shù)據(jù)中心演進節(jié)奏 51.2H3C數(shù)據(jù)中心解決方案架構(gòu)組成 61.3H3C數(shù)據(jù)中心解決方案特點 71.3.1新IT業(yè)務(wù)平面和運維平面無縫融合，支撐面向應(yīng)用的自動化 71.3.2開放、自動化、可編程的下一代網(wǎng)絡(luò)架構(gòu)，適用多種典型場景 71.3.3完整的軟件定義網(wǎng)絡(luò)模型SDN＋，助力用戶自描述網(wǎng)絡(luò) 8第2章H3CSDN方案關(guān)鍵特性 2.1組網(wǎng)模型 2.1.1EVPN分布式網(wǎng)關(guān)組網(wǎng) 2.1.2多Border組網(wǎng) 2.2Underlay自動化 2.2.1Fabric規(guī)劃 2.2.2自動配置 2.2.3可視化部署 2.2.4資源納管 2.3Overlay自動化–對接OpenStack 212.3.1支持OpenStackVLAN網(wǎng)絡(luò) 2.3.2層次化端口綁定 2.3.3支持OpenStackVxLAN網(wǎng)絡(luò) 2.4Overlay自動化–獨立Fabric場景 282.4.1軟件定義網(wǎng)絡(luò)模型 2.4.2Overlay配置下發(fā)到設(shè)備 2.4.3Fabric接入 第3章H3CSDN方案典型組網(wǎng) 29 29 31關(guān)鍵詞：EVPN、VXLAN、Fabric、Underlay、Overlay、自動化摘要：本文檔闡述了H3C數(shù)據(jù)中心解決方案的架構(gòu)和特點，并針對H3CSDN解決方案，重點介紹了其關(guān)鍵特性和典型組網(wǎng)?？s略語清單：虛擬融合架構(gòu)DC1.0是傳統(tǒng)數(shù)據(jù)中心所采用模塊化、層次化的建設(shè)模式，針對不同類型及批次的業(yè)務(wù)進行分區(qū)分期建設(shè)。這種“煙囪式”的建設(shè)方式存在著重復(fù)投資、資源利用率低、建設(shè)及交付周期長、網(wǎng)絡(luò)規(guī)劃復(fù)雜僵化、業(yè)務(wù)擴容困難等問題。隨著計算虛擬化技術(shù)的普及應(yīng)用，數(shù)據(jù)中心實現(xiàn)了計算資源池化，不同業(yè)務(wù)可以按需申請計算資源；同時，為了滿足計算虛擬化對網(wǎng)絡(luò)技術(shù)提出的大二層互通等新需求，開始應(yīng)用VxLAN等網(wǎng)絡(luò)虛擬化技術(shù)，數(shù)據(jù)中心建設(shè)進入了DC2.0。在這個階段，IT各部門負(fù)責(zé)前期統(tǒng)一規(guī)劃建設(shè)和定期擴容，業(yè)務(wù)部門按需申請池化資源配額，項目建設(shè)及擴容不再和業(yè)務(wù)部門具體項目強相關(guān)。計算和網(wǎng)絡(luò)虛擬化技術(shù)的融合，有效提高了資源利用率，縮短隨著云計算技術(shù)的發(fā)展，數(shù)據(jù)中心跨入DC3.0時代。云平臺作為面向業(yè)務(wù)部門的用戶界面，統(tǒng)一整合了對數(shù)據(jù)中心的計算、存儲、網(wǎng)絡(luò)池化資源，同時提供實時自助申請界H3C數(shù)據(jù)中心解決方案由三大關(guān)鍵組件構(gòu)成，形成“一網(wǎng)雙平面”的松耦合架構(gòu)：H3CloudOS：作為業(yè)務(wù)平面，面向交付，支撐DevOps模型FabricDirector：作為運維平面，面向運營，支撐業(yè)務(wù)運營體系VCFFabric：作為面向云的新一代IT基礎(chǔ)架構(gòu)，包含SDN控制器VCFC以及所有軟硬件網(wǎng)元，負(fù)責(zé)接入數(shù)據(jù)中心的計算及存儲池化資源，統(tǒng)籌實現(xiàn)用戶從業(yè)務(wù)平面及運維平面下發(fā)的業(yè)務(wù)模型和運維指令FabricDirector作為面向監(jiān)控運維的基礎(chǔ)架構(gòu)管理平面，負(fù)責(zé)數(shù)據(jù)中心物理資源的部署、納管，物理及虛擬資源的運維和監(jiān)控；云平臺作為面向交付的云&租戶管理平面，負(fù)責(zé)數(shù)據(jù)中心虛擬資源部署，同時為PaaS及SaaS層面的應(yīng)用自動化部署提供支持。兩者以數(shù)據(jù)中心資源生命周期管理為軸，實現(xiàn)了無縫融合。H3C數(shù)據(jù)中心解決中心的網(wǎng)絡(luò)架構(gòu)，支持不同層次的業(yè)務(wù)及監(jiān)控平臺對接，在如下典型場景中提供開放、標(biāo)準(zhǔn)、自動化的可編程Fabric架構(gòu)：SDN場景：SDN控制器承上啟下，北向提供完整的RestfulAPI，通過Neutron插件與OpenStack對接，同時支持各類第三方云平臺對接；南向納管Openflow及EVPN兩種組網(wǎng)形式；是當(dāng)前H3C數(shù)據(jù)中心解決方案的主打場景OpenStackPlugin場景：無SDN控制器，由網(wǎng)元上運行的Cowmare平臺直接對接OpenStackNeutron組件第三方自動化軟件場景：針對特定用戶需求，支持Ansible、Puppet等第三方自動化軟件，為用戶業(yè)務(wù)提供更多靈活性＋，用戶通過云平臺申請計算資源、存儲資源、租戶虛擬網(wǎng)絡(luò)，其中的計算和存儲資源是業(yè)務(wù)部署需要，而虛擬網(wǎng)絡(luò)負(fù)責(zé)將計算和存儲資源連接起來。為了滿足不同業(yè)務(wù)的網(wǎng)絡(luò)互通及隔離需求，必須支持完整的軟件定義網(wǎng)絡(luò)模型，包括：提供完整的網(wǎng)絡(luò)抽象模型基于網(wǎng)絡(luò)抽象模型，用戶自描述/自定義網(wǎng)絡(luò)租戶虛擬網(wǎng)絡(luò)根據(jù)自身需求可靈活自定義，而物理網(wǎng)絡(luò)可保持不變。網(wǎng)絡(luò)資源可基于租戶、租戶不同業(yè)務(wù)進行細(xì)分；支持查看租戶虛擬網(wǎng)絡(luò)拓?fù)浜臀锢砭W(wǎng)絡(luò)拓?fù)涞挠成潢P(guān)系，并基于該統(tǒng)一拓?fù)溥M行運維和排障。H3C數(shù)據(jù)中心解決方案的VCFFabric網(wǎng)絡(luò)架構(gòu)在實現(xiàn)完整的軟件定義網(wǎng)絡(luò)模型的同時，還提供了多樣化的網(wǎng)絡(luò)轉(zhuǎn)發(fā)控制平面模型和Overlay組網(wǎng)方式，充分滿足用戶各類網(wǎng)1.VCFFabric支持的網(wǎng)絡(luò)轉(zhuǎn)發(fā)控制平面模型VCFFabric提供2種網(wǎng)絡(luò)轉(zhuǎn)發(fā)控制平面模型：集中控制模型：轉(zhuǎn)發(fā)控制平面基于OpenFlow，由SDN控制器負(fù)責(zé)通過Openflow下發(fā)流表；用戶在云平臺上配置的網(wǎng)絡(luò)模型及策略，也由控制器轉(zhuǎn)換為配置后通過Netconf/OVSDB下發(fā)，支持多種Overlay模式，提供靈活部署選擇松散控制模型：轉(zhuǎn)發(fā)控制平面基于EVPN，由設(shè)備自學(xué)習(xí)實現(xiàn)；配置及策略仍然由由控制器負(fù)責(zé)下發(fā)，支持分布式數(shù)據(jù)中心及多活DC部署，提供更具擴展性和彈性的SDN方案2.VCFFabric支持的多種Overlay組網(wǎng)方式和網(wǎng)元角色VxLAN網(wǎng)絡(luò)邊緣設(shè)備，又稱VTEP（VXLANTunnelEndPoint，VXLAN隧道的起點/終點）。根據(jù)VTEP類型不同，Overlay組網(wǎng)可分為以下三類：網(wǎng)絡(luò)Overlay：使用Leaf設(shè)備作為VTEP。主機Overlay：使用部署在服務(wù)器上的軟件虛擬交換機作為VTEP?；旌螼verlay：在同一Overlay網(wǎng)絡(luò)中，同時存在網(wǎng)絡(luò)Overlay和主機Overlay的情況，稱為混合Overlay。VxLANL2網(wǎng)關(guān)負(fù)責(zé)將VLAN報文轉(zhuǎn)換為VxLAN報文，并在同一VxLAN對應(yīng)的二層廣播域中進行二層轉(zhuǎn)發(fā)；VxLANL3網(wǎng)關(guān)負(fù)責(zé)處理跨VxLAN的三層轉(zhuǎn)發(fā)。根據(jù)Overlay網(wǎng)元承擔(dān)的網(wǎng)關(guān)角色，可以分為以下兩類：集中式網(wǎng)關(guān)：Leaf設(shè)備或者虛擬交換機（VTEP）作為VxLANL2網(wǎng)關(guān)，Spine設(shè)備或者專門部署的NFV網(wǎng)元作為VxLANL3網(wǎng)關(guān)。分布式網(wǎng)關(guān)：Leaf設(shè)備或者虛擬交換機（VTEP）同時作為VxLANL2/L3網(wǎng)關(guān)。3.用戶典型組網(wǎng)場景及對比考慮到各類Overlay組網(wǎng)及網(wǎng)關(guān)角色的特點，主機/混合Overlay會配合集中式網(wǎng)關(guān)使用，網(wǎng)絡(luò)Overlay會配合分布式網(wǎng)關(guān)使用。結(jié)合不同的網(wǎng)絡(luò)轉(zhuǎn)發(fā)控制平面，VCFFabric支持如下典型組網(wǎng)場景：組網(wǎng)場景一：主機/混合Overlay+集中控制模型+集中式網(wǎng)關(guān)由于運行在內(nèi)核態(tài)的虛擬交換機沒有實現(xiàn)完整的TCP/IP協(xié)議棧，無法承擔(dān)V網(wǎng)關(guān)功能，也無法支持EVPN協(xié)議，因此主機/混合Overlay組網(wǎng)通常會選擇集中控制模型在本場景中，虛擬交換機嚴(yán)格按照控制器下發(fā)的流表進行轉(zhuǎn)發(fā)，由于不受硬件轉(zhuǎn)發(fā)芯片的格式限制，控制器可以將源和目的均為本數(shù)據(jù)中心內(nèi)主機的/L3轉(zhuǎn)發(fā)表項也下發(fā)到虛擬交換機，使其具備一部分分布式網(wǎng)關(guān)的功能。對于源或目的不是本數(shù)據(jù)中心內(nèi)主機的情況，仍然需要送到專門的VxLANL3網(wǎng)關(guān)處理。該場景的VxLANL3網(wǎng)關(guān)及L2VTEP均可使用軟件網(wǎng)元承擔(dān)，適用于傳統(tǒng)數(shù)據(jù)中心的SDN改造。組網(wǎng)場景二：網(wǎng)絡(luò)Overlay+集中控制模型+集中式網(wǎng)關(guān)與場景一相比，本方案使用硬件設(shè)備作為與場景一相比，本方案使用硬件設(shè)備作為VTEP，轉(zhuǎn)發(fā)性能更高；缺點是硬件VxLANL2網(wǎng)關(guān)受芯片格式限制，無法處理同一設(shè)備下接入的不同VxLAN間的三層轉(zhuǎn)發(fā)，必須繞行到專門的VxLANL3網(wǎng)關(guān)，流量路徑不是最優(yōu)。組網(wǎng)場景三：網(wǎng)絡(luò)Overlay+松散控制模型+分布式網(wǎng)關(guān)網(wǎng)絡(luò)Overlay組網(wǎng)通常為Spine-Leaf架構(gòu)全硬件組網(wǎng)，硬件設(shè)備可以很好地支持EVPN/VxLAN協(xié)議，使用分布式網(wǎng)關(guān)也保證了硬件轉(zhuǎn)發(fā)流量路徑最優(yōu)。該場景的轉(zhuǎn)發(fā)性能高，同時分布式網(wǎng)關(guān)適合網(wǎng)絡(luò)橫向擴容，是新建數(shù)據(jù)中心大規(guī)模組網(wǎng)的理想選擇，H3CSDN方案正是使用了此類場景。上述組網(wǎng)場景的對比如下：關(guān)鍵特性關(guān)鍵特性場景一：主機/混合集中控制模型+集中式松散控制模型+分布式網(wǎng)關(guān)轉(zhuǎn)發(fā)性能中高高流量模型存在繞行計算虛擬化兼容性與廠商支持程度相關(guān)好好組網(wǎng)規(guī)模無限制中控制器可靠性影響轉(zhuǎn)發(fā)中控制器可靠性影響轉(zhuǎn)發(fā)高轉(zhuǎn)發(fā)與控制器無關(guān)廠商支持情況VMware、H3C等H3CSDN方案的基礎(chǔ)組網(wǎng)是EVPN分布式網(wǎng)關(guān)組網(wǎng)，該組網(wǎng)基于全硬件網(wǎng)絡(luò)OverlaySpine-Leaf兩層架構(gòu)，在Leaf設(shè)備上部署分布式網(wǎng)關(guān)，具備可靠性高、性能最優(yōu)、擴展性在此組網(wǎng)基礎(chǔ)上，為了提升Fabric出口Border設(shè)備可靠性、滿足用戶特定組網(wǎng)需求，進一步細(xì)分了LeafBorder（支持多Border）組網(wǎng)和SpineBorder（支持多Border）組1.控制平面實現(xiàn)EVPN分布式網(wǎng)關(guān)組網(wǎng)的控制平面由Spine及Leaf設(shè)備運行EVPN協(xié)議實現(xiàn)，Leaf和Spine的分工如下：Leaf作為分布式網(wǎng)關(guān)，同時承擔(dān)VxLANL3網(wǎng)關(guān)及L2VTEP角色；Leaf間互相建立EVPN鄰居關(guān)系，通過MP-BGP協(xié)議擴展，交換各自接入的主機路由和MAC信息，形成VxLANL2/L3轉(zhuǎn)發(fā)表項BGPRR角色，將從任意Leaf收到的EVPN消息反射給其他Leaf，提升EVPN協(xié)議報文交互效率基于上述分工，EVPN分布式網(wǎng)關(guān)組網(wǎng)支持如下特性：利用EVPN的BGPRR實現(xiàn)鄰居發(fā)現(xiàn)，設(shè)備間相互通告各自的VxLAN信息，使得所有VTEP設(shè)備都持有全網(wǎng)的VxLAN信息以及VxLAN和下一跳設(shè)備的關(guān)系；各VTEP設(shè)備與跟自己有相同VxLAN的下一跳設(shè)備自動建立VxLAN隧道。詳細(xì)流程如下：1)Spine設(shè)備實EVPN的BGPRR角色，Leaf設(shè)備實現(xiàn)EVPN的RRClient角色2)RRClient向RR發(fā)起注冊(攜帶自身IP/VxLAN列表)3)RR轉(zhuǎn)發(fā)收到的報文給所有其它鄰居RRClient4)RRClient根據(jù)收到的報文中的IP/VxLAN列表，在有相同VxLANid各VTEP之間自動創(chuàng)建VxLAN隧道，自動關(guān)聯(lián)VxLAN隧道和VxLAN各VTEP設(shè)備與跟自己有相同VxLAN的下一跳設(shè)備自動建立VxLAN隧道后，再將VxLAN隧道與這些相同的VXLAN關(guān)聯(lián)。本地MAC和ARP的學(xué)習(xí)由Leaf完成。本地MAC的學(xué)習(xí)通過以太報文的源MAC學(xué)習(xí)獲得，ARP通過ARP或免費ARP等報文學(xué)習(xí)獲得。本地學(xué)到MAC和ARP后，再同步到其他利用EVPN的MP-BGP路由協(xié)議完成MAC地址同步、主機路由同步兩個功能。因此，在EVPN網(wǎng)絡(luò)里面，不需要將ARP請求泛洪到網(wǎng)絡(luò)中。詳細(xì)流程如下：1)某VM上線，對應(yīng)Leaf學(xué)習(xí)到該VM的MAC和主機路由后，通過BGP擴展協(xié)議向2)RR把接收到的路由更新同步給所有其他Leaf3)其他Leaf接收到BGP報文，把學(xué)習(xí)到的VM的MAC和IP地址添加到表項中，MAC放到相同VxLAN的L2表項中，路由放到L3表項中EVPN網(wǎng)絡(luò)構(gòu)建的是一個私有網(wǎng)絡(luò)，它也可以通過接入外網(wǎng)，實現(xiàn)跟外網(wǎng)通信的目的。BorderLeaf通過普通接口跟上EVPN可以引入這些外部路由，進而通告到EVPN網(wǎng)絡(luò)中，使其他VTEP也能學(xué)到這些外部路由。這些路由的下一跳均指向通告此路由的BorderLeaf。當(dāng)網(wǎng)絡(luò)中存在多臺BorderLeaf時，多臺BorderLeaf都可以通告此路由，這樣在遠(yuǎn)端還可以形成等價路由，以達(dá)到網(wǎng)遷移消息：新遷移到的VTEP或網(wǎng)關(guān)會重新感知到主機/虛擬機上線，會重新通告該MAC/IP路由，此路由跟遷移前通告的MAC/IP路由的區(qū)別在于在BGPupdate消息中攜帶了一種新的擴展團體：MACMobility擴展團體。此擴展團體里面包含一個序列號。消息更新：每次遷移，遷移序列號將遞增，遠(yuǎn)端在收到一個比自己系列號更大的消息時，更新自己的MAC/IP路由消息，下一跳指向遷移后通告此路由的VTEP或GW。消息撤銷：原VTEP在收到此路由更新后，撤銷之前通告的路由。泛洪抑制：為了避免廣播發(fā)送的ARP請求報文占用核心網(wǎng)絡(luò)帶寬，Leaf根據(jù)從BGP收到的EVPN路由在本地建立ARP緩存表項。ARP代答：后續(xù)當(dāng)Leaf收到本站點內(nèi)虛擬機請求其它虛擬機MAC地址的ARP請求時，優(yōu)先根據(jù)本地存儲的ARP表項進行代理回應(yīng)。ARPMISS：如果沒有對應(yīng)的表項，則將ARP請求泛洪到其他Leaf。特點：ARP泛洪抑制功能可以大大減少ARP泛洪的次數(shù)。2.數(shù)據(jù)平面實現(xiàn):分布式網(wǎng)關(guān)二層轉(zhuǎn)發(fā)EVPN通過BGP協(xié)議通告本地學(xué)到的MAC，遠(yuǎn)端根據(jù)BGP收到的MAC路由消息，將MAC下到遠(yuǎn)端Tunnel上，形成單播MAC表項。VTEP接收到二層數(shù)據(jù)幀后，判斷其所屬的VSI，根據(jù)目的MAC地址查找該VSI的MAC地址表，通過表項的出接口轉(zhuǎn)發(fā)該數(shù)據(jù)幀。如果出接口為本地接口，則VTEP直接通過該接口轉(zhuǎn)發(fā)數(shù)據(jù)幀；如果出接口為Tunnel接口，則VTEP根據(jù)Tunnel接口為數(shù)據(jù)幀添加VxLAN封裝后，通過VxLAN隧道將其轉(zhuǎn)發(fā)給遠(yuǎn)端VTEP。除了單播流量轉(zhuǎn)發(fā)，EVPN網(wǎng)絡(luò)中還需要轉(zhuǎn)發(fā)廣播，未知組播與未知單播流量，即BUM流量。目前EVPN轉(zhuǎn)發(fā)BUM可以使用頭端復(fù)制方式。VTEP接收到本地虛擬機發(fā)送的組播、廣播和未知單播數(shù)據(jù)幀后，判斷數(shù)據(jù)幀所屬的VxLAN，通過該VXLAN內(nèi)除接收接口外的所有本地接口和VXLAN隧道轉(zhuǎn)發(fā)該數(shù)據(jù)幀。通過VxLAN隧道轉(zhuǎn)發(fā)數(shù)據(jù)幀時，需要為其封裝VxLAN頭、UDP頭和IP頭，將泛洪流量封裝在多個單播報文中，發(fā)送到VXLAN內(nèi)的所有遠(yuǎn)端VTEP。VxLAN的頭端復(fù)制列表是EVPN自動發(fā)現(xiàn)并創(chuàng)建的，不需要手工干預(yù)。3.數(shù)據(jù)平面實現(xiàn):分布式網(wǎng)關(guān)三層轉(zhuǎn)發(fā)在EVPN網(wǎng)絡(luò)中，分布式網(wǎng)關(guān)既可以做二層Bridge轉(zhuǎn)發(fā)功能，也可以做三層Router功能，因此稱為集成橋接和路由，即IRB(IntegratedRoutingandBridging)。在分布式網(wǎng)關(guān)里面，IRB轉(zhuǎn)發(fā)可以分為對稱IRB和非對稱IRB兩種。H3C實現(xiàn)的是對稱IRB轉(zhuǎn)發(fā)模型。對稱IRB轉(zhuǎn)發(fā)引入了以下2個概念：L3VNI（Layer3VNI）:是指在分布式網(wǎng)關(guān)之間通過VxLAN隧道轉(zhuǎn)發(fā)流量時，屬于同一租戶(VRF)的流量通過L3VNI來標(biāo)識。L3VNI唯一關(guān)聯(lián)一個VPN實例，通過VPN實例確保不同租戶之間的業(yè)務(wù)隔離。RouteMAC：網(wǎng)關(guān)的RouterMAC地址，是指每個分布式網(wǎng)關(guān)擁有的唯一一個用來標(biāo)識本機的本地MAC地址，此MAC用于在網(wǎng)關(guān)之間通過VxLAN隧道轉(zhuǎn)發(fā)三層流量。報文在網(wǎng)關(guān)之間轉(zhuǎn)發(fā)時，報文的內(nèi)層MAC地址為出口網(wǎng)關(guān)的RouterMAC地址。所謂非對稱IRB，是指在Ingress入口網(wǎng)關(guān)，需要同時做Layer-2bridging和Layer-3routing功能，而在Egress出口網(wǎng)關(guān)，只需要做Layer-2bridging功能。因此是不對稱的。轉(zhuǎn)發(fā)路徑：非對稱IRB流量來回路徑不一致，去程流量使用VNI300對應(yīng)的隧道，回程VTEP配置：在VTEP配置本地VNI的VSI，還需要配所有的和本地VNI在同一個VRF的其它VTEP上VNI的VSI。表項：VTEP硬件轉(zhuǎn)發(fā)表中包含VRF所含VNI內(nèi)所有遠(yuǎn)端主機的IP和MAC，以指導(dǎo)報文源VNI轉(zhuǎn)發(fā)到目的VNI，內(nèi)層DMAC切換為目的主機的MAC，到達(dá)目的VTEP后，解封裝非對稱IRB存在以下缺點：1)配置復(fù)雜：每個VTEP上需要配置Fabric內(nèi)所有的VNI的VSI信息2)占用表項大：每個VTEP上需要維護其下掛主機所在VRF所含VNI內(nèi)的全部主機的MAC信息（包括遠(yuǎn)端主機的MAC）3)來回路徑不一致：非對稱IRB流量來回路徑不一致，去程流量和回程流量使用使用不同的VNI完成三層轉(zhuǎn)發(fā)相比于非對稱IRB，對稱IRB是指在Ingress入口網(wǎng)關(guān)和Egress出口網(wǎng)關(guān)，都只做Layer-3routing功能(同網(wǎng)段則只做briding功能)。因此是對稱的。轉(zhuǎn)發(fā)路徑：對稱IRB流量來回路徑一致，去程流量使用VNI1000對應(yīng)的隧道，回程流量使用VNI1000對應(yīng)的隧道VTEP配置：在VTEP配置本地VNI的VSI，需要配一個新類型L3VNI，L3VNI會有同一個VRF內(nèi)的路由，三層轉(zhuǎn)發(fā)的流量會在L3VNI完成轉(zhuǎn)發(fā)表項：每個VTEP上只需要維護其下掛主機所在的VNI內(nèi)的MAC信息，只需要知道遠(yuǎn)端VTEP的RouterMAC表項占用更少轉(zhuǎn)發(fā)流程：VTEPA收到報文如果需要進行三層轉(zhuǎn)發(fā)，將報文從源VNI轉(zhuǎn)發(fā)到L3VNI，內(nèi)層DMAC切換為目的VTEP的RMAC-C；VTEPC解封裝后發(fā)現(xiàn)內(nèi)層DMAC為自己,將內(nèi)層報文在L3VNI所對應(yīng)的VRF中做三層轉(zhuǎn)發(fā)對稱IRB具有如下優(yōu)勢：1)配置簡單：每個VTEP上只需要配置其下主機所在VNI的VSI信息和所在的VRF的L3VNI的VSI，配置簡單，更有利于自動化部署2)表項占用少：每個VTEP上只需要維護其下掛主機所在的VNI內(nèi)的MAC信息，只需要知道遠(yuǎn)端VTEP的routerMAC.表項占用更少3)來回路徑一致：對稱IRB流量來回路徑一致，如本例中，去程流量使用VNI1000對應(yīng)的隧道，回程流量也使用VNI1000對應(yīng)的隧道多Border組網(wǎng)包括LeafBorder和SpineBorder，完全繼承了EVPN分布式網(wǎng)關(guān)的控制平面和數(shù)據(jù)平面實現(xiàn)，與基礎(chǔ)組網(wǎng)相比，主要差異在于Border設(shè)備的數(shù)量和Border的位SpineBorder：將Border改為部署在Spine上，同時也支持多個Spine同時作為1.Border改為部署在SpineBorder設(shè)備必須是Overlay設(shè)備，且需要支持分布式網(wǎng)關(guān)，因此只要將Spine設(shè)備替換為支持分布式網(wǎng)關(guān)的設(shè)備，即可滿足組網(wǎng)要求。2.Border數(shù)量擴展不同租戶的L3隔離是通過VRF實現(xiàn)的，租戶主機如果需要通過Border與外網(wǎng)進行南北向通信，需要將租戶VRF與專門的BorderVRF進行路由互引操作?？梢酝ㄟ^在Leaf和Border設(shè)備上手動配置實現(xiàn)路由互引，也可以通過在SDN控制器的圖形化界面的vRouterLink功能，將租戶VRF對應(yīng)的租戶vRouter與BorderVRF對應(yīng)的BordervRouter連接起來實現(xiàn)路由互引。Border數(shù)量擴展到多個后，不論其位置是Leaf或Spine，其他Leaf到Border的轉(zhuǎn)發(fā)模式均可分為等價和非等價兩種：在等價模式中，多臺Border設(shè)備上配置同一BorderVRF，在SDN控制器上對應(yīng)同一BordervRouter；租戶VRF與BorderVRF進行路由互引后，租戶VRF中的南北向流量可以經(jīng)由不同Border轉(zhuǎn)發(fā)到外網(wǎng)設(shè)備，實現(xiàn)了等價路由負(fù)載分擔(dān)。等價模式增強了Border的可靠性，在不使用IRF的情況下，多臺Border中有部分設(shè)備宕機，并不影響租戶VRF的南北向流量通信。在非等價模式中，首先對多臺Border設(shè)備進行分組，同組內(nèi)如有多臺Border設(shè)備，均配置同一BorderVRF，組內(nèi)形成等價模式。租戶VRF需要選擇所使用的Border組，并與該組Border的VRF進行路由互引，實現(xiàn)南北向流量轉(zhuǎn)發(fā)。非等價模式為不同租戶的業(yè)務(wù)提供了更多靈活性，不同租戶可以選擇不同的南北向流量出口；同時歸屬同一組內(nèi)的多臺Border設(shè)備仍然可以形成等價模式，進行流量負(fù)載分H3CSDN方案的Underlay自動化功能，由FabricDirector軟件和Spine-Leaf網(wǎng)絡(luò)設(shè)開始自動化部署之前，需要先根據(jù)用戶需求完成準(zhǔn)備工作，包括以下步驟：1.物理設(shè)備連線，安裝Director軟件，通過帶外管理交換機將Director和物理設(shè)備管理2.根據(jù)用戶需求完成Underlay網(wǎng)絡(luò)規(guī)劃，包括IP地址、可靠性、路由部署規(guī)劃等，規(guī)劃完成后，自動生成Spine-Leaf規(guī)劃拓?fù)洹?.通過Director完成Underlay自動化預(yù)配置1)通過Director完成DHCP服務(wù)器、TFTP服務(wù)器的部署和參數(shù)設(shè)置2)基于Spine/Leaf角色，通過Director完成設(shè)備軟件版本和配置模板文件的準(zhǔn)備3)指定Fabric的RR、Border角色，支持指定多個Spine/Leaf作為BorderUnderlay網(wǎng)絡(luò)自動配置的目的是為Overlay自動化提供一個IP路由可達(dá)的三層網(wǎng)絡(luò)，包括以下步驟：1.設(shè)備上電，基于Spine/Leaf角色，自動獲取管理IP、版本文件、配置模板2.根據(jù)拓?fù)鋭討B(tài)生成配置4.自動配置Underlay路由協(xié)議，可選OSPF、ISISDirector根據(jù)IP地址段掃描已經(jīng)上線的設(shè)備，生成Underlay自動化過程中的動態(tài)拓?fù)洌⒃谠撏負(fù)渖蠈崟r呈現(xiàn)自動化狀態(tài)和進度：設(shè)備根據(jù)角色加載版本，并獲取配置文件模板，開始自動化配置過程，進入設(shè)備自動2.查看實時IRF狀態(tài)設(shè)備加入IRF時，支持上報設(shè)備IRF開始；設(shè)備加入IFR完成后，支持上報設(shè)備IRF結(jié)束；設(shè)備出現(xiàn)故障等導(dǎo)致IRF分裂，支持上報設(shè)備離開IRF。3.查看實時拓?fù)錉顟B(tài)支持上報設(shè)備互連接口UP、DOWN狀態(tài)；設(shè)備互連接口獲取IP，路由收斂后，支持上報設(shè)備間Spine和Leaf鏈路三層連通性狀態(tài)；設(shè)備互連接口獲取IP，路由收斂后，支持上報鏈路連通狀態(tài)的整網(wǎng)檢測結(jié)果。支持Fabric自動化過程結(jié)束狀態(tài)上報。Underlay網(wǎng)絡(luò)自動化完成后，所有參與自動化的物理網(wǎng)絡(luò)設(shè)備自動被Director納管。Underlay自動化完成后，用戶可以從云平臺界面按需配置虛擬網(wǎng)絡(luò)模型，或者直接在SDN控制器的界面完成同樣的工作，兩種情況下，均由SDN控制器將虛擬網(wǎng)絡(luò)模型轉(zhuǎn)換為當(dāng)用戶通過云平臺進行配置時，在創(chuàng)建接入主機的虛擬L2網(wǎng)絡(luò)時可以選擇VLAN網(wǎng)絡(luò)、VxLAN網(wǎng)絡(luò)等類型，H3CSDN方案統(tǒng)一使用基于VxLAN的Overlay網(wǎng)絡(luò)來進行對接。當(dāng)租戶使用VLAN網(wǎng)絡(luò)時，需要提前進行的準(zhǔn)備工作如下：在VCFC上為該VLAN網(wǎng)絡(luò)配置VxLAN-VLAN映射關(guān)系如果配置下發(fā)方式為預(yù)下發(fā)，配置完成后會立刻下發(fā)到指定的設(shè)備所有端口或指定端口；如果配置下發(fā)方式為按需下發(fā)，在VM上線后再下發(fā)到VM上線端口。準(zhǔn)備完成后，租戶申請VM的整個處理流程如下：1.租戶在云平臺界面創(chuàng)建VM1)云平臺租戶根據(jù)業(yè)務(wù)需求，創(chuàng)建VM，并接入指定VLANNetwork，分配到對應(yīng)VLANID及IP地址2)Neutron組件為該VM分配接入VLAN網(wǎng)絡(luò)的vPort3)Nova組件將VM創(chuàng)建請求下發(fā)到選定計算節(jié)點2.計算節(jié)點創(chuàng)建VM成功1)計算節(jié)點為VM分配云平臺指定的計算資源配額（CPU、內(nèi)存、磁盤空間等），VM創(chuàng)建成功2)計算節(jié)點上運行的NovaAgent通知Nova組件VM創(chuàng)建成功，Nova相關(guān)處理完成3)計算節(jié)點上運行的NeutronAgent向NeutronServer請求該VM分配到的VLANID，并配置在vSwitch上，保證VM啟動后發(fā)出的報文經(jīng)由vSwitch上送到交換機時攜帶該VLANID3.Neutron將相關(guān)信息下發(fā)到VCFCVM創(chuàng)建成功，NeutronServer將分配給該VM的vPort信息、IP地址下發(fā)到SDN控制器VCFC。VM創(chuàng)建成功后，用戶啟動VM，開始正常使用，整個流程如下：4.VM啟動并上線5.VCFC處理DHCP代答及VM上線1)如果部署了獨立DHCP服務(wù)器，不需要VCFC進行DHCP代答，則跳過此步驟2)如果需要VCFC進行DHCP代答，Leaf通過Openflow通道將DHCP請求上送到VCFC，VCFC使用VM創(chuàng)建成功時Neutron下發(fā)的IP地址構(gòu)造DHCP應(yīng)答報文，經(jīng)由Leaf發(fā)送給VM3)VCFC將VM對應(yīng)的vPort狀態(tài)標(biāo)記為上線，如果配置下發(fā)方式是按需下發(fā)，此時會將提前在VCFC界面配置的VxLAN-VLAN映射關(guān)系下發(fā)到Leaf接入該VM的端口上6.VM發(fā)送首個報文VM在發(fā)送首個業(yè)務(wù)報文前，先發(fā)送針對其目的IP的ARP請求，獲取其目的IP對應(yīng)的7.Leaf進行ARP處理1)Leaf復(fù)制ARP請求上送控制器2)Leaf根據(jù)當(dāng)前配置，進行ARP代理/代答應(yīng)答處理8.VCFC進行ARP處理如果部署了獨立DHCP服務(wù)器，VCFC未進行DHCP代答，此時該VM對應(yīng)的vPort在VCFC處并未上線；VCFC收到Leaf上送的ARP請求后，將VM對應(yīng)的vPort狀態(tài)標(biāo)記為上線，如果配置下發(fā)方式是按需下發(fā)，此時會將提前在VCFC界面配置的VxLAN-VLAN映射關(guān)系下發(fā)到Leaf接入該VM的端口上。經(jīng)過上述流程處理，租戶VM創(chuàng)建及上線均已完成，可以基于虛擬VLAN網(wǎng)絡(luò)進行正云平臺租戶使用OpenStackVLAN網(wǎng)絡(luò)類型時，受限于4KVLAN限制，最多只能創(chuàng)建不超過4K的L2虛擬網(wǎng)絡(luò)。如果使用OpenStackVxLAN網(wǎng)絡(luò)類型，在云平臺上沒有4KVLAN限制；當(dāng)云平臺將虛擬網(wǎng)絡(luò)模型下發(fā)到VCFFabric時，就形成了如下圖示的分層網(wǎng)絡(luò)：Spine-Leaf、Leaf-Leaf是VxLAN網(wǎng)絡(luò)，其SegmentID（L2廣播域標(biāo)識符）為VxLANID，通過VxLANID區(qū)分不同的L2虛擬網(wǎng)絡(luò)Leaf到計算節(jié)點間是VLAN網(wǎng)絡(luò)，其SegmentID（L2廣播域標(biāo)識符）為VLAN不同層級的網(wǎng)絡(luò)，由Neutron組件中對應(yīng)的MechanismDriver對接管理對于分層網(wǎng)絡(luò)，為了保證VM可以接入并正常使用端到端的L2虛擬網(wǎng)絡(luò)，必須解決以下2個問題：問題1：對同一VM（vPort），不同層級網(wǎng)絡(luò)的SegmentID如何形成映射關(guān)系問題2：如果SegmentID間是靜態(tài)1:1映射關(guān)系，且下層網(wǎng)絡(luò)為VLAN網(wǎng)絡(luò)，則端到端的二層廣播域數(shù)量將受到VLAN4K限制為了解決上述問題，OpenStack從Liberty版本開始，正式引入層次化端口綁定特性。解決問題1：通過不同MechanismDriver配合，為同一主機在各層網(wǎng)絡(luò)分配對應(yīng)的SegmentID解決問題2：下層網(wǎng)絡(luò)（VLAN網(wǎng)絡(luò)）使用動態(tài)分配的SegmentID1)在下層網(wǎng)絡(luò)對應(yīng)的MechanismDriver中，為每個計算節(jié)點建立獨立的SegmentID范圍2)當(dāng)接入某vPort的VM需要分配SegmentID時，上層網(wǎng)絡(luò)（VxLAN網(wǎng)絡(luò)）分配靜態(tài)ID，下層網(wǎng)絡(luò)（VLAN網(wǎng)絡(luò)）從主機所在計算節(jié)點的SegmentID范圍中分配動態(tài)ID3)當(dāng)VM（vPort）遷移到新的計算節(jié)點，上層網(wǎng)絡(luò)的靜態(tài)ID保持不變，下層網(wǎng)絡(luò)從新計算節(jié)點的SegmentID范圍中再次分配新的動態(tài)ID4)按上述實現(xiàn)，單個計算節(jié)點上的VM所接入的虛擬網(wǎng)絡(luò)不能超過4K，整網(wǎng)無此限制H3CSDN方案已經(jīng)支持了層次化端口綁定特性（特別說明：由于不同計算虛擬化軟件的限制，當(dāng)前暫時只有OpenStack＋KVM的組合支持該特性）；當(dāng)租戶使用VxLAN網(wǎng)絡(luò)時，當(dāng)需要提前進行的準(zhǔn)備工作如下：在Neutron組件配置文件中，為每個計算節(jié)點配置獨立的VLAN范圍，不同節(jié)點的VLAN范圍可以重疊承載VM的物理服務(wù)器需要啟用LLDP協(xié)議，向Leaf設(shè)備定期發(fā)送LLDP報文（Leaf設(shè)備的LLDP協(xié)議已經(jīng)在Underlay自動化時開啟）準(zhǔn)備完成后，租戶申請VM的整個處理流程如下：1.租戶在云平臺界面創(chuàng)建VM1)云平臺租戶根據(jù)業(yè)務(wù)需求，創(chuàng)建VM，并接入指定VxLANNetwork，分配到對應(yīng)VxLANID及IP地址2)Nova組件將VM創(chuàng)建請求下發(fā)到選定計算節(jié)點3)Neutron組件為該VM分配接入VxLAN網(wǎng)絡(luò)的vPort，同時從選定計算節(jié)點的VLAN范圍中，為該VxLANID分配對應(yīng)VLANID2.計算節(jié)點創(chuàng)建VM成功1)計算節(jié)點為VM分配云平臺指定的計算資源配額（CPU、內(nèi)存、磁盤空間等），VM創(chuàng)建成功2)計算節(jié)點上運行的NovaAgent通知Nova組件VM創(chuàng)建成功，Nova相關(guān)處理完成3)計算節(jié)點上運行的NeutronAgent向NeutronServer請求該VM分配到的VLANID，并配置在vSwitch上，保證VM啟動后發(fā)出的報文經(jīng)由vSwitch上送到交換機時攜帶該VLANID3.Neutron將相關(guān)信息下發(fā)到VCFCVM創(chuàng)建成功，Neutron組件的VCFCMechanismDriver將分配給該VM的vPort信4.VCFC處理LLDP報文1)Leaf收到計算節(jié)點定期發(fā)送的LLDP報文，將其通過Openflow通道上送給VCFC2)VCFC收到Leaf上送的計算節(jié)點LLDP報文后，從中解析得到該計算節(jié)點當(dāng)前接入的端口信息，填寫到該計算節(jié)點上當(dāng)前已創(chuàng)建VM的vPort信息中，形成完整的VxLAN-VLAN映射關(guān)系（VxLANID、VLANID、計算節(jié)點接入端口如果配置下發(fā)方式為預(yù)下發(fā)，立刻下發(fā)到該端口；如果配置下發(fā)方式為按需下發(fā)，在VM上線后再下發(fā)到該端口VM創(chuàng)建成功后，用戶啟動VM，開始正常使用，整個流程如下：5.VM啟動并上線6.VCFC處理DHCP代答及VM上線1)如果部署了獨立DHCP服務(wù)器，不需要VCFC進行DHCP代答，則跳過此步驟2)如果需要VCFC進行DHCP代答，Leaf通過Openflow通道將DHCP請求上送到VCFC，VCFC使用VM創(chuàng)建成功時Neutron下發(fā)的IP地址構(gòu)造DHCP應(yīng)答報文，經(jīng)由Leaf發(fā)送給VM3)VCFC將VM對應(yīng)的vPort狀態(tài)標(biāo)記為上線，如果配置下發(fā)方式是按需下發(fā)，此時會將該vPort的VxLAN-VLAN映射關(guān)系下發(fā)到Leaf接入該VM的端口上7.VM發(fā)送首個報文VM在發(fā)送首個業(yè)務(wù)報文前，先發(fā)送針對其目的IP的ARP請求，獲取其目的IP對應(yīng)的8.Leaf進行ARP處理1)Leaf復(fù)制ARP請求上送控制器2)Leaf根據(jù)當(dāng)前配置，進行ARP代理/代答應(yīng)答處理9.VCFC進行ARP處理如果部署了獨立DHCP服務(wù)器，VCFC未進行DHCP代答，此時該VM對應(yīng)的vPort在VCFC處并未上線；VCFC收到Leaf上送的ARP請求后，將VM對應(yīng)的vPort狀態(tài)標(biāo)記為上線，如果配置下發(fā)方式是按需下發(fā)，此時會將提前在VCFC界面配置的VxLAN-VLAN映射關(guān)系下發(fā)到Leaf接入該VM的端口上。經(jīng)過上述流程處理，租戶VM創(chuàng)建及上線均已完成，可以基于虛擬VxLAN網(wǎng)絡(luò)進行正H3CSDN方案所使用的SDN控制器VCFC支持OpenStackNeutron標(biāo)準(zhǔn)網(wǎng)絡(luò)模型，用戶可以選擇通過云平臺或VCFC界面配置虛擬網(wǎng)絡(luò)模型，實現(xiàn)相同的功能。VCFC將虛擬網(wǎng)絡(luò)模型轉(zhuǎn)換為具體配置后，向納管網(wǎng)元下發(fā)，配置類型有：AC配置（含VxLAN-VLAN映射關(guān)系）VCFC下發(fā)配置的方式，按下發(fā)配置的時機，分為以下兩種：在VCFC上配置完成后，立刻下發(fā)到網(wǎng)元，此時通常主機還未上線，并不需要使用相關(guān)配置按需下發(fā)（部分）AC配置在主機上線時下發(fā)，其他配置預(yù)先下發(fā)。如果將VCFFabric整體看成一臺虛擬網(wǎng)絡(luò)設(shè)備，數(shù)據(jù)中心的所有軟硬件資源，包括計算及存儲資源、數(shù)據(jù)中心出口的外部網(wǎng)絡(luò)，都必須接入到Fabric的某個端口，才能正常使當(dāng)前H3C