2.2.5 HCDCE130 數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)-VXLAN(鄭志強(qiáng)) ISSUE1.00

HCDCE130--1.00鄭志強(qiáng)/WX2404242016-7-20劉立燦/180730新開發(fā)數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)

—VXLANVXLAN采用MACinUDP封裝方式，是數(shù)據(jù)中心大二層網(wǎng)絡(luò)中主要的網(wǎng)絡(luò)虛擬化技術(shù)。VXLAN在面向云數(shù)據(jù)中心以及SDN數(shù)據(jù)中心場(chǎng)景中具有天然的優(yōu)勢(shì)，支持多租戶，軟件定義，靈活調(diào)度。學(xué)完本課程后，您應(yīng)該能：了解VXLAN技術(shù)的原理；了解VXLAN技術(shù)的適用場(chǎng)景；了解VXLAN技術(shù)的部署方案；VXLAN概述VXLAN轉(zhuǎn)發(fā)機(jī)制VXLAN應(yīng)用VXLAN配置示例應(yīng)用案例分享VXLAN優(yōu)點(diǎn)網(wǎng)絡(luò)依賴小隧道間水平分割、IPoverlayTTL避免環(huán)路。數(shù)據(jù)流量基于IP路由SPF及ECMP快速轉(zhuǎn)發(fā)。網(wǎng)絡(luò)變化實(shí)時(shí)偵聽全網(wǎng)拓?fù)浜撩胧諗??；贗P的overlay，僅需要邊界設(shè)備間IP可達(dá)。環(huán)路避免高效轉(zhuǎn)發(fā)快速收斂虛擬化Overlay+VNI構(gòu)建虛擬網(wǎng)絡(luò)，支持多達(dá)１６Ｍ的虛擬網(wǎng)絡(luò)部署靈活物理設(shè)備、vSwitch均能夠部署VXLAN基本概念Layer2orLayer3NVECoreNVECoreNVEEdgeNVEEdgeNVEEdgeNVO3概念NVO3(NetworkVirtualizationOverLayer3)，基于三層IPoverlay網(wǎng)絡(luò)構(gòu)建虛擬網(wǎng)絡(luò)技術(shù)統(tǒng)稱為NVO3，目前比較有代表性的有：VXLAN、NVGRE、STT。運(yùn)行NVO3的設(shè)備叫做NVE（NetworkVirtualizationEdge），它位于overlay網(wǎng)絡(luò)的邊界，實(shí)現(xiàn)二、三層的虛擬化功能；VXLAN概念VXLAN(VirtualExtensibleLAN，虛擬可擴(kuò)展局域網(wǎng))是目前NVO3中影響力最為廣泛的一種。它通過L2overL4（MACinUDP）的報(bào)文封裝方式，實(shí)現(xiàn)基于IPoverlay的虛擬局域網(wǎng)。VTEP概念VTEP必須全網(wǎng)唯一VTEP概念VXLAN網(wǎng)絡(luò)中的NVE以VTEP進(jìn)行標(biāo)識(shí)，VTEP（VXLANTunnelEndpoint，VXLAN隧道端點(diǎn)）；每一個(gè)NVE至少有一個(gè)VTEP，VTEP使用NVE的IP地址表示；兩個(gè)VTEP可以確定一條VXLAN隧道，VTEP間的這條VXLAN隧道將被兩個(gè)NVE間的所有VNI所公用；NVE3NVE5NVE2NVE4NVE1我的VTEP是10.1.1.1VNI1VNI2VNINVNI1VNI2VNI

NVLANtunnelVXLAN報(bào)文格式VXLAN是MACinUDP的網(wǎng)絡(luò)虛擬化技術(shù)，所以其報(bào)文封裝是在原始以太報(bào)報(bào)文之前添加了一個(gè)UDP封裝及VXLAN頭封裝。VXLAN報(bào)文格式

DA：外層目的MAC，單播為下一跳路由器MAC，組播復(fù)制為組播MAC。

SA：外層源MAC，為每一跳路由設(shè)備自身MAC。

DIP:目的NVE的IP地址。

SIP：源NVE的IP地址。

UDPDestPort：VXLAN保留UDP目的端口號(hào)，默認(rèn)為4789。

UDPSourcePort：根據(jù)數(shù)據(jù)流HASH動(dòng)態(tài)生成。

VXLANIflag：必須置為1，標(biāo)識(shí)VNI字段有效。

VXLANVNI：24比特，用于標(biāo)識(shí)虛擬網(wǎng)絡(luò)，最大支持16M。

OriginalEthernetFrame：按照標(biāo)準(zhǔn)建議，報(bào)文進(jìn)行VXLAN封裝后，需要?jiǎng)兊粼紙?bào)文的VLANTAG，即使不剝掉，在egressNVE也僅僅基于VNI轉(zhuǎn)發(fā)（忽略原始報(bào)文的VLAN）。VXLAN數(shù)據(jù)封裝與轉(zhuǎn)發(fā)源終端的二層報(bào)文能夠穿越IP網(wǎng)絡(luò)到達(dá)目的終端，VXLAN網(wǎng)絡(luò)對(duì)于主機(jī)來說相當(dāng)于是BridgeFabric！As1s2Bs3逐跳改變外層MAC端到端不變VTEPIPBDataA內(nèi)層MACVTEPIP外層MACIngressNVETransitEgressNVE傳統(tǒng)以太幀VXLAN以太幀VNIBs1s3s1s2DataAVBs1s3s2s3DataAVBDataAVXLAN和其他幾種二層技術(shù)對(duì)比傳統(tǒng)二層CSS+iStackTRILLVXLAN封裝方式傳統(tǒng)ETH頭（無TTL）傳統(tǒng)ETH頭（無TTL）TRILL（有TTL）MACinUDP（有TTL）破環(huán)方式MSTP協(xié)議管理方式TRILL協(xié)議路由協(xié)議環(huán)路避免+隧道間水平分割ECMP不支持ECMP通過LAG方式，支持ECMP和三層IP網(wǎng)絡(luò)類似，支持逐跳ECMP完全復(fù)用三層網(wǎng)絡(luò)的ECMP、FRR組播樹數(shù)目NANA少（二層共享組播樹）NA或較少（IP雙向組播）最短路徑轉(zhuǎn)發(fā)不支持支持支持支持收斂時(shí)間長(zhǎng)，而且收斂時(shí)間不穩(wěn)定短較短（整網(wǎng)收斂幾百ms）較短（整網(wǎng)收斂幾百ms）多租戶支持4K（按照VLAN進(jìn)行隔離）4K（按照VLAN進(jìn)行隔離）4K（按照VLAN進(jìn)行隔離），將來可以演進(jìn)到通過FineLabel來隔離租戶，從而可以支持16M租戶最大支持16M（按照VNI進(jìn)行隔離）組網(wǎng)成本低高（框間通信帶寬占用多，而且很難做到無阻塞）較高，一般要整網(wǎng)設(shè)備支持TRILL低，只需要邊界節(jié)點(diǎn)支持VXLAN，可以延伸到服務(wù)器的vSwitch中網(wǎng)絡(luò)規(guī)模小中等（堆疊節(jié)點(diǎn)數(shù)目受限，而且堆疊框架無法做到無阻塞）大大適合組網(wǎng)適合逐級(jí)收斂的組網(wǎng)，不適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合用于SDN（邊界節(jié)點(diǎn)感知，無縫延伸到vSwitch）VXLAN概述VXLAN轉(zhuǎn)發(fā)機(jī)制VXLAN應(yīng)用VXLAN配置示例應(yīng)用案例分享隧道建立與維護(hù)控制器和轉(zhuǎn)發(fā)器的鄰居關(guān)系建立是通過OpenFlow協(xié)議完成，建立的通道稱為OpenFlow通道。用戶可通過網(wǎng)管或CLI配置來維護(hù)控制器。VXLAN網(wǎng)關(guān)和VLAN類似，不同VNI之間的VXLAN，及VXLAN和非VXLAN之間不能直接進(jìn)行二層通信。為了使VXLAN之間，以及VXLAN和非VXLAN之間能夠進(jìn)行通信，VXLAN引入了VXLAN網(wǎng)關(guān)。BUM報(bào)文轉(zhuǎn)發(fā)流程當(dāng)BUM報(bào)文進(jìn)入VXLAN隧道，接入端VTEP采用頭端復(fù)制方式進(jìn)行報(bào)文的VXLAN封裝。BUM報(bào)文出VXLAN隧道，出口端VTEP對(duì)報(bào)文解封裝。頭端復(fù)制：接口收到BUM（Broadcast&Unknown-unicast&Multicast）報(bào)文，本地VTEP通過控制平面獲取屬于同一個(gè)VNI的VTEP列表，將收到的BUM報(bào)文根據(jù)VTEP列表進(jìn)行復(fù)制并發(fā)送給屬于同一個(gè)VNI的所有VTEP。通過頭端復(fù)制完成BUM報(bào)文的廣播，不需要依賴組播路由協(xié)議。為了防止環(huán)路，VXLAN遵循水平分割原則，即：基于VXLAN隧道收到的BUM報(bào)文不會(huì)再向其他VXLAN隧道進(jìn)行頭端復(fù)制轉(zhuǎn)發(fā)，只向?qū)?yīng)廣播域BD下的用戶側(cè)進(jìn)行廣播。已知單播報(bào)文轉(zhuǎn)發(fā)流程三層網(wǎng)關(guān)不同網(wǎng)段的VXLAN間通信，及VXLAN和非VXLAN的通信，需要通過IP路由實(shí)現(xiàn)。在三層網(wǎng)關(guān)上創(chuàng)建BD，將VNI以1:1方式映射到BD，基于BD創(chuàng)建BDIF接口，通過BDIF接口配置IP地址實(shí)現(xiàn)不同網(wǎng)段的VXLAN間，及VXLAN和非VXLAN的通信。BDIF接口類似VLANIF接口。ARP代答為了避免ARP廣播請(qǐng)求報(bào)文給網(wǎng)絡(luò)帶來廣播風(fēng)暴，可在圖所示的控制器上使能ARP代答功能。VM1發(fā)送ARP請(qǐng)求報(bào)文，請(qǐng)求目的主機(jī)VM3的MAC地址具體實(shí)現(xiàn)過程如下：VM1發(fā)送ARP請(qǐng)求報(bào)文（SMAC:MAC1，SIP:IP1，DMAC:FF-FF-FF，DIP：IP3）。Switch_1收到ARP請(qǐng)求報(bào)文后，通過Openflow通道上送控制器處理?？刂破鞲鶕?jù)IP3查詢用戶信息庫，獲得VM3對(duì)應(yīng)的MAC地址MAC3。控制器封裝ARP應(yīng)答報(bào)文，通過Openflow通道發(fā)送給Switch_1。Switch_1根據(jù)控制器指定的出端口（ARP請(qǐng)求報(bào)文的入端口）將ARP應(yīng)答報(bào)文發(fā)送給VM1。VXLANQOSVXLANQoS用來實(shí)現(xiàn)原始報(bào)文攜帶的QoS優(yōu)先級(jí)、設(shè)備內(nèi)部?jī)?yōu)先級(jí)（又稱為本地優(yōu)先級(jí)，是設(shè)備內(nèi)部區(qū)分報(bào)文服務(wù)等級(jí)的優(yōu)先級(jí)）與封裝后報(bào)文優(yōu)先級(jí)之間的轉(zhuǎn)換，從而設(shè)備根據(jù)內(nèi)部?jī)?yōu)先級(jí)提供有差別的QoS服務(wù)質(zhì)量。VXLAN網(wǎng)絡(luò)設(shè)備管理VXLAN是基于IP網(wǎng)絡(luò)的overlay技術(shù)，其部署的前提是IP的連通性；可以保證設(shè)備與網(wǎng)管系統(tǒng)、SDN控制器的IP互聯(lián)，從而實(shí)現(xiàn)網(wǎng)管及SDN控制器對(duì)設(shè)備的管理和控制；RB1RB2RB3網(wǎng)管VXLANIP:10.1.1.2IP:10.1.1.3IP:10.1.1.4SDNcontrollerTCP(SNMP)Console(CLI)TCP(Openflow)TCP(Netconf)AC與SNC控制器對(duì)比（1）AC與SNC控制器對(duì)比（2）比較項(xiàng)AC控制器SNC控制器控制器與云平臺(tái)對(duì)接通過RESTful接口接收來自云平臺(tái)的指令。通過RESTful接口接收來自云平臺(tái)的指令?？刂破鞯奶幚韺⒃破脚_(tái)下發(fā)的指令經(jīng)過智能運(yùn)算處理轉(zhuǎn)化為對(duì)網(wǎng)絡(luò)設(shè)備的配置。AC控制器只將部分?jǐn)?shù)量大、變化頻繁的協(xié)議計(jì)算上收到控制器生成流表，以輔助設(shè)備增強(qiáng)協(xié)議計(jì)算能力。例如，ARP協(xié)議，數(shù)據(jù)中心中大量的VM會(huì)產(chǎn)生大量的ARP協(xié)議交互。將云平臺(tái)下發(fā)的指令經(jīng)過智能運(yùn)算處理轉(zhuǎn)化為流表。SNC控制器將網(wǎng)絡(luò)設(shè)備上所有的協(xié)議計(jì)算上收到控制器，捕獲設(shè)備接收的協(xié)議報(bào)文，進(jìn)行協(xié)議計(jì)算，轉(zhuǎn)化為流表?？刂破髋c設(shè)備對(duì)接控制器通過NETCONF接口與設(shè)備對(duì)接，給設(shè)備下發(fā)配置?？刂破魍ㄟ^OpenFlow接口給設(shè)備下發(fā)流表指導(dǎo)設(shè)備轉(zhuǎn)發(fā)，通過OpenFlowPacket-In和Packet-Out接口進(jìn)行報(bào)文收發(fā)?？刂破魍ㄟ^OpenFlow接口與設(shè)備對(duì)接，給設(shè)備下發(fā)流表指導(dǎo)設(shè)備轉(zhuǎn)發(fā)，通過OpenFlowPacket-In和Packet-Out接口進(jìn)行報(bào)文收發(fā)。設(shè)備的處理設(shè)備保存控制器下發(fā)的業(yè)務(wù)配置，進(jìn)行協(xié)議計(jì)算生成轉(zhuǎn)發(fā)表項(xiàng)。設(shè)備基于配置和流表進(jìn)行流量轉(zhuǎn)發(fā)。設(shè)備上可查詢所有業(yè)務(wù)和表項(xiàng)，可以單獨(dú)基于設(shè)備進(jìn)行業(yè)務(wù)維護(hù)和問題定位。設(shè)備根據(jù)流表進(jìn)行流量轉(zhuǎn)發(fā)，設(shè)備不感知VXLAN業(yè)務(wù)，無法單獨(dú)基于設(shè)備進(jìn)行業(yè)務(wù)維護(hù)和問題定位。VXLAN網(wǎng)絡(luò)設(shè)備故障定位VXLAN是基于IP網(wǎng)絡(luò)的overlay技術(shù)。可以使用原有的IP網(wǎng)絡(luò)中ping及trace進(jìn)行故障檢測(cè)。查看ARP表項(xiàng)下發(fā)的實(shí)際狀態(tài)和統(tǒng)計(jì)信息，協(xié)助用戶進(jìn)行故障定位。目前沒有設(shè)備間虛擬網(wǎng)絡(luò)連通性的故障檢測(cè)機(jī)制（比如VPLSping）。NVE1NVE2NVE3VXLANIpv4unicatpingNVE1routerNVE2IPv4unicasttrace12VXLAN概述VXLAN轉(zhuǎn)發(fā)機(jī)制VXLAN應(yīng)用VXLAN配置示例應(yīng)用案例分享同網(wǎng)段終端用戶通信的應(yīng)用如圖所示，某企業(yè)在不同的數(shù)據(jù)中心中都擁有VM，且位于同一網(wǎng)段?，F(xiàn)需要實(shí)現(xiàn)不同數(shù)據(jù)中心相同ID的VM的互通。不同網(wǎng)段終端用戶通信的應(yīng)用如圖所示，某企業(yè)在不同的數(shù)據(jù)中心中都擁有VM，且位于不同網(wǎng)段?，F(xiàn)需要實(shí)現(xiàn)不同數(shù)據(jù)中心同一企業(yè)的VM互通。在虛擬機(jī)遷移場(chǎng)景中的應(yīng)用如圖所示，某企業(yè)在數(shù)據(jù)中心中有兩個(gè)群集Cluster，其中工程部門和財(cái)務(wù)部門都在Cluster1上，營銷部門在Cluster2上。Cluster1上顯示計(jì)算空間不足，而Cluster2未充分利用。網(wǎng)絡(luò)管理員需要將工程部門遷移到Cluster2上，而不影響業(yè)務(wù)。NVE1NVE2MAC1MAC2IP

MAC----------------IP2

MAC2ARPCacheIPoverlayNVE3Controlplan（SDNcontroller）1MAC3BrodcastARPrequestforIP2ARPrequestfor

IP2inVXLANARPrequestforIP2inVXLANARPreplyforIP2ARP請(qǐng)求捕獲到控制面2ARP代理直接應(yīng)答ARP請(qǐng)求3ARPcache不命中，再給源剪枝泛洪，由目標(biāo)主機(jī)自行應(yīng)答VXLAN網(wǎng)絡(luò)內(nèi)ARP廣播優(yōu)化——代答SDN控制器通過云平臺(tái)獲取VM信息，生成ARPCache；在ingressNVE截獲廣播的ARP請(qǐng)求，上送控制面（SDNController）處理控制面（SDNController），解析ARP請(qǐng)求，根據(jù)請(qǐng)求的目標(biāo)地址查詢ARPCache命中，則直接回應(yīng)ARP單播，ARP廣播報(bào)文終結(jié)；不命中，則發(fā)給ingressNVE，再源接口剪枝發(fā)送出去，由真實(shí)的目標(biāo)主機(jī)來處理請(qǐng)求。ARPreplyforIP2NVE1NVE2MAC1MAC2IP

MAC----------------IP2

MAC2ARPCacheIPoverlayNVE3Controlplan1MAC3BrodcastARPrequestforIP2UnicastARPrequestforIP2inVXLANARP請(qǐng)求捕獲到控制面VXLAN網(wǎng)絡(luò)內(nèi)ARP廣播優(yōu)化——廣播轉(zhuǎn)單播ARPreplyforIP22將廣播的ARP請(qǐng)求的目的MAC替換成目標(biāo)主機(jī)的單播MAC，單播給目標(biāo)主機(jī)ARPcache不命中，再給源剪枝泛洪，由目標(biāo)主機(jī)自行應(yīng)答34被請(qǐng)求主機(jī)自行回應(yīng)ARP請(qǐng)求相比較前者，這種方式網(wǎng)絡(luò)設(shè)備不會(huì)“吃掉”ARP請(qǐng)求報(bào)文；主要考慮到：1、ARP在網(wǎng)絡(luò)中除了地址解析的作用外，還衍生出許多功能，如虛擬集群探測(cè)、網(wǎng)卡狀態(tài)探測(cè)；2、不同的主機(jī)ARP協(xié)議棧實(shí)現(xiàn)可能有差異；基于以上考慮，這種方式保證目標(biāo)主機(jī)能正常收到ARP請(qǐng)求，不會(huì)因?yàn)榫W(wǎng)絡(luò)將報(bào)文“吃掉”而導(dǎo)致意想不到的問題。VXLAN雙活接入在VXLAN網(wǎng)絡(luò)中，為了提高可靠性，用戶經(jīng)常采用雙歸接入的方式將安裝有雙網(wǎng)卡的服務(wù)器接入到VXLAN網(wǎng)絡(luò)，使得當(dāng)服務(wù)器的一個(gè)網(wǎng)卡發(fā)生故障時(shí)不會(huì)導(dǎo)致業(yè)務(wù)中斷。接入側(cè)M-LAG技術(shù)將服務(wù)器雙歸的兩臺(tái)接入設(shè)備虛擬成一臺(tái)設(shè)備，消除了冗余路徑。通過虛擬VTEP技術(shù)，兩臺(tái)雙歸的設(shè)備使用的是同一個(gè)虛擬VTEP，對(duì)于遠(yuǎn)端設(shè)備，相當(dāng)于是通過一臺(tái)邏輯設(shè)備接入到VXLAN網(wǎng)絡(luò)中，從而消除了MAC地址漂移現(xiàn)象。ARP廣播抑制ARP代答的過程如下：1、openstack在創(chuàng)建vm時(shí)，將vm的(ip,mac)信息下發(fā)給SNC,SNC對(duì)vm信息進(jìn)行緩存，用于ARP代答。2、主機(jī)發(fā)送ARP請(qǐng)求報(bào)文到TOR，TOR將ARP報(bào)文通過openflow通道上送給SNC。3、SNC查詢ARP緩存表，SNC查找到ARP緩存表情況下，代替ARP請(qǐng)求的主機(jī)進(jìn)行應(yīng)答，將應(yīng)答報(bào)文通過openflow通道發(fā)送給TOR，TOR解openflow封裝，將ARP應(yīng)答報(bào)文發(fā)送主機(jī)，主機(jī)可以學(xué)習(xí)到請(qǐng)求的ARP表項(xiàng)。4、SNC查找不到ARP緩存表情況下，將報(bào)文發(fā)給轉(zhuǎn)發(fā)器進(jìn)行廣播，遠(yuǎn)端主機(jī)收到請(qǐng)求報(bào)文后進(jìn)行arp應(yīng)答，主機(jī)根據(jù)應(yīng)答學(xué)習(xí)到請(qǐng)求的ARP。業(yè)務(wù)流程VXLAN接入可靠性VXLAN雙活接入優(yōu)點(diǎn)：1、提高CE設(shè)備接入帶寬利用率，實(shí)現(xiàn)基于流的ECMP。2、簡(jiǎn)化CE設(shè)備功能，CE只需要支持標(biāo)準(zhǔn)LAG功能即可。不用考慮用戶接入點(diǎn)下的破環(huán)。VXLAN服務(wù)器雙網(wǎng)卡主備模式：只有一個(gè)網(wǎng)卡活躍，鏈路利用率低，帶寬小server主備接入方式&堆疊方式IPNetworkVXLANServer或增值業(yè)務(wù)設(shè)備路由器通過LAG捆綁組實(shí)現(xiàn)基于流的負(fù)載分擔(dān)雙活接入方式server接入NVE設(shè)備堆疊，配置LAG與服務(wù)器LAG對(duì)接；需要堆疊，單控制面，部分用戶比較排斥。server堆疊VXLAN集中式多活三層網(wǎng)關(guān)網(wǎng)關(guān)接口BDIF1:10.1.1.1/24網(wǎng)關(guān)接口BDIF2:20.1.1.1/24網(wǎng)關(guān)接口MAC：虛MAC(00-005e-00XX)網(wǎng)關(guān)虛擬VTEP：vVTEPVTEP1VTEP2VTEP3VTEP4vVTEP網(wǎng)關(guān)接口BDIF1:10.1.1.1/24網(wǎng)關(guān)接口BDIF2:20.1.1.1/24網(wǎng)關(guān)接口MAC：虛MAC(00-005e-00XX)網(wǎng)關(guān)虛擬VTEP：vVTEPVNI1VNI1VNI2VNI2VXLANApplication1flowApplication2flowApplication3flowApplication4flow1、每個(gè)網(wǎng)關(guān)上都配置所有網(wǎng)關(guān)接口、網(wǎng)關(guān)接口配置相同的IP和MAC、配置相同的IP地址作為虛擬VTEP。2、每個(gè)網(wǎng)關(guān)都發(fā)布虛擬VTEP地址的路由，在遠(yuǎn)端IngressNVE上形成到網(wǎng)關(guān)虛VTEP的ECMP等價(jià)路由，學(xué)習(xí)到的網(wǎng)關(guān)MAC會(huì)關(guān)聯(lián)到該虛擬VTEP。IngressNVE到達(dá)該虛擬VTEP會(huì)形成負(fù)載分擔(dān)。目的MAC遠(yuǎn)端VTEP網(wǎng)關(guān)虛MACvVTEP目的VTEP路由下一跳網(wǎng)關(guān)vVTEPNVEX互聯(lián)接口IPNVEY互聯(lián)接口IPIngressNVE上MAC和IP路由轉(zhuǎn)發(fā)表多活網(wǎng)關(guān)之間能夠?qū)崿F(xiàn)基于業(yè)務(wù)流的負(fù)載分擔(dān)！ExternalnetworkNVEXNVEYNVE1NVE2NVE3NVE4VXLAN集中式多活三層網(wǎng)關(guān)方案：ARP同步1、網(wǎng)關(guān)設(shè)備需要同步ARP表項(xiàng)；2、否則外部訪問主機(jī)的流量發(fā)到?jīng)]有ARP的設(shè)備，流量將因?yàn)闆]有ARP而丟棄。VNI1VNI1VNI2VNI2HOST4HOST3HOST2HOST1VXLANVTEP1VTEP2VTEP3VTEP4vVTEPARP：HOST1=>MAC4,VTEP4ExternalnetworkNVEXNVEYNVE1NVE2NVE3NVE4ARP：HOST1=>MAC4,VTEP4沒有ARP，流量無法發(fā)到目標(biāo)主機(jī)SDNControllerSDN控制器將ARP推送給所有多活網(wǎng)關(guān)，實(shí)現(xiàn)ARP同步VXLAN集中式多活三層網(wǎng)關(guān)：優(yōu)點(diǎn)一相比VRRP三層網(wǎng)關(guān)，多活物理網(wǎng)關(guān)之間流量能夠?qū)崿F(xiàn)Flow-basedLoadbalancing，網(wǎng)關(guān)能夠擴(kuò)展到4臺(tái)及以上?！璑oGood…GoodVXLAN集中式多活三層網(wǎng)關(guān)：優(yōu)點(diǎn)二網(wǎng)關(guān)之間不需要運(yùn)行類似VRRP、GLBP的基于子網(wǎng)粒度的心跳協(xié)議，網(wǎng)關(guān)信令處理壓力小?！璑oGood基于VLAN粒度的VRRP等心跳報(bào)文，VRRPSession數(shù)目太多！…Good網(wǎng)關(guān)之間沒有心跳報(bào)文VXLAN分布式三層網(wǎng)關(guān)1.本地跨子網(wǎng)流量也通過集中式網(wǎng)關(guān)進(jìn)行轉(zhuǎn)發(fā)，流量迂回；2.集中網(wǎng)關(guān)需要部署所有的虛擬網(wǎng)絡(luò)，容易成為表項(xiàng)規(guī)格瓶頸；3.整網(wǎng)所有東西向流量都通過集中網(wǎng)關(guān)轉(zhuǎn)發(fā)，容易出現(xiàn)轉(zhuǎn)發(fā)瓶頸。1.分布式網(wǎng)關(guān)情況下，跨子網(wǎng)流量也是最優(yōu)路徑轉(zhuǎn)發(fā)；2.每個(gè)網(wǎng)關(guān)僅部署下掛VM所涉及的虛擬網(wǎng)絡(luò)，表項(xiàng)規(guī)格需求??；系統(tǒng)規(guī)格理論可以做到隨接入NVE數(shù)量線性增加；擴(kuò)展性強(qiáng)；3.沒有集中流量處理點(diǎn)，消除流量處理瓶頸。適合中小型組網(wǎng)適合大型組網(wǎng)VXLAN分布式三層網(wǎng)關(guān)轉(zhuǎn)發(fā)過程分布式網(wǎng)關(guān)間，通過BGP互相通告主機(jī)路由集中式與分布式架構(gòu)比較架構(gòu)比較集中式分布式網(wǎng)絡(luò)規(guī)模租戶規(guī)模&子網(wǎng)：整網(wǎng)受限硬件交換機(jī)4K/16K租戶規(guī)模&子網(wǎng)：整網(wǎng)彈性可擴(kuò)展，單點(diǎn)受限硬件交換機(jī)4K/16K管理難度集中式網(wǎng)關(guān)流量模型簡(jiǎn)單管理運(yùn)維難度低分布式網(wǎng)關(guān)流量模型復(fù)雜管理運(yùn)維難度大可靠性故障切換時(shí)間短，可靠性高故障切換時(shí)間較長(zhǎng)，可靠性中，強(qiáng)調(diào)網(wǎng)絡(luò)故障后可恢復(fù)能力特點(diǎn)總結(jié)適用客戶：客戶網(wǎng)絡(luò)規(guī)模及業(yè)務(wù)布放有明確規(guī)劃及預(yù)期，租戶規(guī)?；蚋綦x可控的客戶子網(wǎng)下虛機(jī)均勻分布客戶高度看重網(wǎng)絡(luò)的可靠性，可維護(hù)性大部分企業(yè)私有云客戶具備上述特點(diǎn)適用客戶：客戶網(wǎng)絡(luò)規(guī)模無法明確預(yù)期動(dòng)態(tài)業(yè)務(wù)布放需求強(qiáng)烈租戶&子網(wǎng)規(guī)模彈性可擴(kuò)展客戶看中網(wǎng)絡(luò)自愈，可恢復(fù)能力。大部分公有云，XSP，及少量私有云客戶具備上述特點(diǎn)集中式與分布式組網(wǎng)比較組網(wǎng)比較硬件Overlay混合Overlay轉(zhuǎn)發(fā)性能基于ASIC芯片提供穩(wěn)定的網(wǎng)絡(luò)吞吐量：us級(jí)延時(shí)，抖動(dòng)受限于CPU及vSwitch轉(zhuǎn)發(fā)能力瓶頸：吞吐量受限，后續(xù)會(huì)通過用戶態(tài)vSwitch轉(zhuǎn)發(fā)延時(shí)抖動(dòng)不穩(wěn)定可維護(hù)性所有硬件設(shè)備納管，端到端設(shè)備、流量管理Underlay網(wǎng)絡(luò)不受控，流量無法端到端運(yùn)維控制面設(shè)備支持EVPN標(biāo)準(zhǔn)協(xié)議AC支持（EVPN+vSwitch流表管理）建設(shè)成本高，需要全網(wǎng)設(shè)備支持VxLAN低，利舊/異構(gòu)3rdTOR,支持刀片服務(wù)器；適用于現(xiàn)網(wǎng)改造，網(wǎng)絡(luò)對(duì)彈性運(yùn)營成本中高特點(diǎn)總結(jié)適用客戶：新建數(shù)據(jù)中心，所有設(shè)備重新采購網(wǎng)絡(luò)質(zhì)量要求高標(biāo)準(zhǔn)協(xié)議互通適用客戶：客戶已采購TOR設(shè)備，或Underlay與Overlay網(wǎng)絡(luò)分開招標(biāo)NFVI市場(chǎng)由于VNF網(wǎng)元虛擬化，需要混合Overlay方案VXLAN結(jié)合防火墻引流（1）VXLANL3GWFWGatewaysubif1subif2VRF1UpLinkvFW2vFW1VRF2用戶VRF靜態(tài)默認(rèn)路由，將由南向北的流量引到防火墻引流VRF靜態(tài)默認(rèn)路由，將由南向北的流量引到外部路由器過濾VXLANL3GWFWGatewaysubif1subif2VRF1UpLinkvFW2vFW1VRF2用戶VRF靜態(tài)網(wǎng)段路由，將由北向南的流量引到網(wǎng)關(guān)設(shè)備引流VRF靜態(tài)網(wǎng)段路由，將由北向南的流量引到防火墻過濾VXLAN結(jié)合防火墻引流（2）VXLANL3GWFWGatewaysubif1subif2UpLinkvFW策略路由匹配用戶報(bào)文五元組+設(shè)備接口信息，將流量引到防火墻互聯(lián)接口；發(fā)給防火墻的流量不帶VXLAN封裝防火墻處理后的流量直接路由轉(zhuǎn)發(fā)出設(shè)備過濾（不必跨vFW）VXLANL3GWFWGatewaysubif1subif2UpLink策略路由匹配用戶報(bào)文五元組+設(shè)備接口信息，將流量引到防火墻互聯(lián)接口；過濾vFW防火墻處理后的流量直接路由轉(zhuǎn)發(fā)出設(shè)備VXLAN概述VXLAN轉(zhuǎn)發(fā)機(jī)制VXLAN應(yīng)用VXLAN配置示例應(yīng)用案例分享CE交換機(jī)與AC控制器的連接示例協(xié)議名稱功能說明SNMP通過SNMP協(xié)議，Controller可以添加和管理設(shè)備，獲取設(shè)備的狀態(tài)信息，及時(shí)接受設(shè)備的告警信息和性能數(shù)據(jù)。Netconf通過Netconf協(xié)議，Controller可以向設(shè)備發(fā)送和獲取配置。Openflow通過Openflow協(xié)議，Controller可以向設(shè)備發(fā)送和接受VXLAN信息和ARP流表。設(shè)備與Controller完成SNMPv3、Netconf對(duì)接后，Controller可以通過Netconf為設(shè)備開啟Openflow配置，設(shè)備側(cè)無需手動(dòng)配置。配置設(shè)備做VXLAN三層網(wǎng)關(guān)步驟命令說明1[FP2]bridge-domain10[FP2-bd10]vxlanvni10[FP2-bd10]quit創(chuàng)建虛擬廣播域BD，并關(guān)聯(lián)VNI2[FP2]interfacenve1[FP2-Nve1]source1.1.1.1[FP2-Nve1]vnid10head-endpeer192.168.10.1[FP2-Nve1]quit[FP2]commit配置設(shè)備VTEP地址，并配置VNI關(guān)聯(lián)的其他VTEP3[FP2]interfacevbdif10[FP2-Vbdif10]ipaddress192.168.10.1024[FP2-Vbdif10]mac-address0000-5e00-0001[FP2-Vbdif10]quit[FP2-Vbdif10]commit基于虛擬廣播域配置網(wǎng)關(guān)接口；配置網(wǎng)關(guān)IP及MAC配置集中式多活網(wǎng)關(guān)示例（單機(jī)方式）如圖所示，某企業(yè)數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)為“Spine-Leaf”兩層結(jié)構(gòu)：Spine1和Spine2為基礎(chǔ)承載網(wǎng)絡(luò)中的骨干節(jié)點(diǎn)，位于匯聚層；Leaf1～Leaf3為基礎(chǔ)承載網(wǎng)絡(luò)中的葉子節(jié)點(diǎn)，位于接入層；Leaf設(shè)備與Spine設(shè)備之間全連接，構(gòu)成ECMP，保證網(wǎng)絡(luò)的高可用性；Spine節(jié)點(diǎn)之間互不連接，Leaf節(jié)點(diǎn)之間也不互聯(lián)。VM所屬的VLANID分別是VLAN10、VLAN20和VLAN30。廣播域BDID分別是BD10、BD20和BD30。VXLAN網(wǎng)絡(luò)標(biāo)識(shí)VNIID分別是VNI5000、VNI5001和VNI5002。配置思路1、在Leaf1～Leaf3、Spine1～Spine2上配置OSPF，保證網(wǎng)絡(luò)三層互通。2、在Leaf1～Leaf3、Spine1～Spine2上配置VXLAN隧道，實(shí)現(xiàn)在基礎(chǔ)三層網(wǎng)絡(luò)上創(chuàng)建虛擬大二層VXLAN網(wǎng)絡(luò)。3、在Leaf1～Leaf3上配置業(yè)務(wù)接入點(diǎn)，區(qū)分出服務(wù)器的流量并轉(zhuǎn)發(fā)至VXLAN網(wǎng)絡(luò)。4、在Spine1～Spine2上配置VXLAN三層網(wǎng)關(guān)實(shí)現(xiàn)VXLAN與非VXLAN網(wǎng)絡(luò)、不同網(wǎng)段VXLAN之間的通信。集中式VXLAN配置步驟一1、OSPF配置此處省略，詳細(xì)參考實(shí)驗(yàn)手冊(cè)2、配置隧道模式并使能NVO3的ACL擴(kuò)展功能#配置Spine1、Spine2、Leaf1、Leaf2和Leaf3的配置與Spine1類似。4、在Leaf1～Leaf3、Spine1～Spine2上配置VXLAN隧道，組建VXLAN網(wǎng)絡(luò)#配置Leaf1、Leaf2和Leaf3的配置與Leaf1類似。5、配置Spine1。#Spine2的配置與Spine1類似。配置NOV3的ACL擴(kuò)展：[~Spine1]iptunnelmodevxlan[*Spine1]assignforwardnvo3aclextendenable配置Leaf節(jié)點(diǎn)：[~Leaf1]bridge-domain10[*Leaf1-bd10]vxlanvni5000[*Leaf1]interfacenve1[*Leaf1-Nve1]source10.10.10.3[*Leaf1-Nve1]vni5000head-endpeer-list10.10.10.1配置Spine節(jié)點(diǎn)：[~Spine1]bridge-domain10[*Spine1-bd10]vxlanvni5000[*Spine1]bridge-domain20[*Spine1-bd20]vxlanvni5001[*Spine1]bridge-domain30[*Spine1-bd30]vxlanvni5002[*Spine1]interfacenve1[*Spine1-Nve1]source10.10.10.1[*Spine1-Nve1]vni5000head-endpeer-list10.10.10.3[*Spine1-Nve1]vni5001head-endpeer-list10.10.10.4[*Spine1-Nve1]vni5002head-endpeer-list10.10.10.5集中式VXLAN配置步驟二在Leaf1～Leaf3、Spine1～Spine2上執(zhí)行displayvxlanvni命令可查看到VNI的狀態(tài)是up[~Spine1]displayvxlanvniNumberofvxlanvni:3VNIBD-IDState---------------------------------------500010up500120up500230up[~Spine1]displayvxlantunnelNumberofvxlantunnel:3TunnelIDSourceDestinationStateType--------------------------------------------------------------402653184210.10.10.110.10.10.3upstatic402653184310.10.10.110.10.10.4upstatic402653184410.10.10.110.10.10.5upstatic執(zhí)行displayvxlantunnel命令可查看到VXLAN隧道的信息。以Spine1顯示為例。集中式VXLAN配置步驟三在Leaf1～Leaf3上配置業(yè)務(wù)接入點(diǎn)#配置Leaf1、Leaf2和Leaf3的配置與Leaf1類似。[~Leaf1]vlan10[*Leaf1]bridge-domain10[*Leaf1-bd10]l2bindingvlan10[*Leaf1]interface10ge1/0/3[*Leaf1-10GE1/0/3]portlink-typetrunk[*Leaf1-10GE1/0/3]undoporttrunkallow-passvlan1[*Leaf1-10GE1/0/3]porttrunkallow-passvlan10[~Spine1]interfacevbdif10[*Spine1-Vbdif10]ipaddress192.168.10.124[*Spine1-Vbdif10]mac-address0000-5e00-0101[*Spine1]interfacevbdif20[*Spine1-Vbdif20]ipaddress192.168.20.124[*Spine1-Vbdif20]mac-address0000-5e00-0102[*Spine1]interfacevbdif30[*Spine1-Vbdif30]ipaddress192.168.30.124[*Spine1-Vbdif30]mac-address0000-5e00-0103在Spine1～Spine2上配置VXLAN三層網(wǎng)關(guān)#配置Spine1、Spine2的配置與Spine1類似。集中式VXLAN配置步驟四在Spine1～Spine2上配置多活網(wǎng)關(guān)#配置Spine1。Spine2的配置與Spine1類似。[~Spine1]dfs-group1[*Spine1-dfs-group-1]sourceip10.10.10.10[*Spine1-dfs-group-1]active-active-gateway[*Spine1-dfs-group-1-active-active-gateway]peer10.10.10.20[*Spine1-dfs-group-1-active-active-gateway]quit[*Spine1-dfs-group-1]quit[*Spine1]commit[~Spine1]displaydfs-group1active-active-gatewayA:ActiveI:Inactive-------------------------------------------------------------------PeerSystemnameStateDuration10.10.10.20Spine2A0:0:8上述配置成功后，在Spine1、Spine2上執(zhí)行命令displaydfs-group1active-active-gateway，可以查看到DFSGroup多活網(wǎng)關(guān)的信息。以Spine1顯示為例。查詢虛擬網(wǎng)絡(luò)二層廣播域信息<HUAWEI>displayvxlanvniNumberofvxlanvni:2VNIBD-IDState---------------------------------------501010UP502020UP<HUAWEI>displayvxlanvni5000verboseBDID:10State:UPNVE:1610612739Source:1.1.1.1UDPPort:4789BUMMode:head-endGroupAddress:-PeerList:2.2.2.22.2.2.3項(xiàng)目描述Numberofvxlanvni標(biāo)識(shí)設(shè)備上存在的VNI總數(shù)。VNI標(biāo)識(shí)VNIID，可通過命令vxlanvnivni-id配置或更改。BD-ID（BDID）標(biāo)識(shí)VNI關(guān)聯(lián)的廣播域BDID，可通過命令bridge-domainbd-id配置或更改。State標(biāo)識(shí)VNI的狀態(tài)：UP/DOWNNVE標(biāo)識(shí)NVE接口。Source標(biāo)識(shí)源端VTEP的IP地址，可通過命令sourceip-address配置或更改。UDPPort標(biāo)識(shí)UDP目的端口，端口號(hào)值固定為4789。BUMMode標(biāo)識(shí)VNI采用頭端復(fù)制模式轉(zhuǎn)發(fā)BUM（Broadcast&Unknown-unicast&Multicast）報(bào)文。GroupAddress標(biāo)識(shí)VNI采用組播復(fù)制模式轉(zhuǎn)發(fā)BUM報(bào)文。當(dāng)前，還不支持組播復(fù)制模式，該字段固定顯示為“-”。PeerList標(biāo)識(shí)遠(yuǎn)端VTEP的IP地址，可通過命令vnivni-idhead-endpeer-listip-address&<1-10>配置或更改遠(yuǎn)端VTEP的IP地址。查詢VXLAN隧道信息<HUAWEI>displayvxlantunnelNumberofvxlantunnel:2TunnelIDSourceDestinationStateType----------------------------------------------------------336860181.1.1.12.2.2.2upstatic336860191.1.1.12.2.2.3upstatic項(xiàng)目描述Numberofvxlantunnel標(biāo)識(shí)設(shè)備上存在的VXLAN隧道總數(shù)。TunnelID標(biāo)識(shí)VXLAN隧道的ID，VXLAN隧道成功建議后，ID由系統(tǒng)自動(dòng)創(chuàng)建。Source標(biāo)識(shí)VXLAN隧道的源IP地址。Destination標(biāo)識(shí)VXLAN隧道的目的IP地址。State標(biāo)識(shí)VXLAN隧道的狀態(tài)。

up：隧道可達(dá)down：隧道不可達(dá)Type標(biāo)識(shí)VXLAN隧道的類型。VXLAN隧道的狀態(tài)由vni

vni-idhead-endpeer-listip-address&<1-10>中的peer-listip-address的配置方式?jīng)Q定：static：標(biāo)識(shí)peer-listip-address是手工靜態(tài)配置。dynamic：標(biāo)識(shí)peer-listip-address是通過路由協(xié)議動(dòng)態(tài)學(xué)習(xí)。查詢VXLAN隧道信息<HUAWEI>displaymac-addressbridge-domain10----Flags:*-BackupBD:bridge-domain---------------------------------------------------------MACAddressVLAN/VSI/BDLearned-FromType0001-0001-0001-/-/10192.168.1.1dynamic----------------------------------------------------------Totalitems:1項(xiàng)目描述Backup標(biāo)識(shí)備份路徑。MACAddress標(biāo)識(shí)目的MAC地址。VLAN/VSI/BDVLAN：標(biāo)識(shí)接口關(guān)聯(lián)的VLAN。VSI：標(biāo)識(shí)接口關(guān)聯(lián)的VSI（VirtualSwitchingInstance）。BD：標(biāo)識(shí)接口關(guān)聯(lián)的BD。Learned-FromMAC地址類型是static時(shí)，該字段標(biāo)識(shí)在此接口上配置的靜態(tài)MAC地址。MAC地址類型是dynamic時(shí)，該字段標(biāo)識(shí)在此接口上學(xué)習(xí)到的MAC地址。Type標(biāo)識(shí)MAC地址的類型。static：標(biāo)識(shí)靜態(tài)MAC地址表項(xiàng)。dynamic：標(biāo)識(shí)動(dòng)態(tài)MAC地址表項(xiàng)。Totalitems標(biāo)識(shí)符合查看條件的顯示MAC地址表項(xiàng)的總數(shù)。查詢及維護(hù)<HUAWEI>system-view[~HUAWEI]bridge-domain10[*HUAWEI-bd10]statisticenable<HUAWEI>displaybridge-domain10statistics202306packetsinput,25895168bytes0packetsoutput,0bytesInput:202306unicasts,0multicasts0broadcasts0unknown-unicast-drops0unknown-multicast-drops0broadcasts-dropsOutput:0unicasts,0multicasts0broadcasts項(xiàng)目描述備注202306packetsinput,25895168bytes標(biāo)識(shí)BD接收到的報(bào)文統(tǒng)計(jì)數(shù)。接收到的報(bào)文分為：正確報(bào)文，包含單播報(bào)文、廣播報(bào)文、組播報(bào)文。丟棄報(bào)文。Input各字段信息如下：packets、bytes：正確接收的報(bào)文數(shù)和字節(jié)數(shù)。其中，報(bào)文數(shù)packets等于unicast、broadcast和multicast字段的和。unicast、broadcast、multicast：正確的單播、組播和廣播報(bào)文數(shù)。unknown-unicast-drops：未知單播丟棄報(bào)文數(shù)。unknown-multicast-drops：未知組播丟棄報(bào)文數(shù)。broadcasts-drops：廣播丟棄報(bào)文數(shù)。當(dāng)前不區(qū)分報(bào)文類型；丟棄的報(bào)文不統(tǒng)計(jì)0packetsoutput,0bytes標(biāo)識(shí)BD發(fā)送的報(bào)文統(tǒng)計(jì)數(shù)。Output各字段信息如下：packets、bytes：正確發(fā)送的報(bào)文數(shù)和字節(jié)數(shù)。其中，報(bào)文數(shù)packets等于unicast、broadcast和multicast字段的和。unicast、broadcast、multicast：正確的單播、組播和廣播報(bào)文數(shù)。使能統(tǒng)計(jì)及統(tǒng)計(jì)查詢VXLAN概述VXLAN轉(zhuǎn)發(fā)機(jī)制VXLAN應(yīng)用VXLAN配置示例應(yīng)用案例分享APPPortalRESTfulAPINovaCinderRESTfulAPINeutronPlugin/DriverRESTfulAPI業(yè)務(wù)呈現(xiàn)層面向運(yùn)營商的Portal，提供DC業(yè)務(wù)定制服務(wù)協(xié)同層采用開源OpenStack云平臺(tái)，實(shí)現(xiàn)存儲(chǔ)、計(jì)算和網(wǎng)絡(luò)資源的協(xié)同。網(wǎng)絡(luò)控制層