Broadcom以太網(wǎng)交換芯片轉(zhuǎn)發(fā)流程

1、Broadcom 以太網(wǎng)交換芯片培訓(xùn)(broadcom56504/56300)1、交換芯片架構(gòu)交換芯片由GE/XE接口（ MAC/PH丫）模塊、CPU接口模塊、輸入輸出匹配/修改模塊、MMU模塊、L2轉(zhuǎn)發(fā)模塊、L3轉(zhuǎn)發(fā)模塊、安全模塊、流分類模塊等模塊組成，其結(jié)構(gòu)如圖1所示:St curlyuHSML2I 2 TahlpL2Came it Aw arcProcessorMMUCMICMIIMPCILEDInterfacei2CMgmtCountersrigrPacModifierrg re ss/EgressPacKei ParserAG”J TAG24*GE (GP Cl4*HiGg+/10G

2、be124SerDub.SGMI i10/12 Gbps in HiGig+ modft10 Gbps in standard 10GbEmode圖1交換芯片的組成56504包含24個(gè)GE端口，4個(gè)10G端口，10G端口既可以用于堆疊，也可以用于上聯(lián)/級(jí)聯(lián)。56504交換芯片與CPU的接口稱為CMIC接口。交換芯片與CPU通過(guò)PCI總線連接。其他類型交換芯片與CPU的接口可以是：SPI+MII、I2C+MII、系統(tǒng)總線+MII、SMI+MII等。交換芯片的包處理流程如圖 2所示：:Enter ndEjsanMcnBnffer 心rwg凹曰itTrrfrfic ParwgprrntorlvLEk

3、ridlMod icjtonr-Dpattb圖2交換芯片的包處理流程簡(jiǎn)圖包由端口進(jìn)入交換芯片之后，首先進(jìn)行字段匹配，為流分類做準(zhǔn)備；然后經(jīng) 過(guò)一個(gè)安全引擎進(jìn)行包過(guò)濾；符合安全的包進(jìn)行L2交換或者L3路由，并經(jīng)過(guò)流 分類處理器對(duì)匹配的包做相關(guān)動(dòng)作（比如丟棄、限速、修改VLAN等）；對(duì)于可以轉(zhuǎn)發(fā)的包根據(jù)802.1P或DSCP放到不同隊(duì)列的buffer中，調(diào)度器根據(jù)優(yōu)先級(jí) 或者WRR等算法進(jìn)行隊(duì)列調(diào)度，在端口發(fā)出該包之前執(zhí)行流分類修改動(dòng)作，最 終從相應(yīng)端口發(fā)送出去。2、L2轉(zhuǎn)發(fā)流程2.1 L2轉(zhuǎn)發(fā)原理對(duì)于交換芯片來(lái)說(shuō)，L2轉(zhuǎn)發(fā)是一個(gè)最基本的功能。L2功能主要包括ingress 過(guò)濾、MAC學(xué)習(xí)和老化

4、、根據(jù)MAC+VLAN轉(zhuǎn)發(fā)、廣播與洪泛、生成樹控制等基 本功能。L2轉(zhuǎn)發(fā)的具體流程如圖3所示：從端口進(jìn)入交換芯片的包首先檢查 TAG,對(duì)于tagged包，判斷是否是802.1p 的包，（802.1p的包vid為0），對(duì)于untagged的包和802.1p的包，根據(jù)系統(tǒng) 配置加上tag （這些配置包括：基于 MAC的vian、基于子網(wǎng)的vlan、基于協(xié)議 的vlan和基于端口的vlan）。經(jīng)過(guò)這一步以后，到交換芯片部的包都變成802.1Q 的tagged包了（vid為1 4094，4095保留），如果設(shè)置了 in gress過(guò)濾，就會(huì) 檢查本端口是否在該vid對(duì)應(yīng)的VLAN中，對(duì)于本端口不在該

5、vid對(duì)應(yīng)的VLAN 中的包就丟棄。對(duì)于沒(méi)有設(shè)置ingress過(guò)濾，或者設(shè)置ingress過(guò)濾但本端口在該vid對(duì)應(yīng)的VLAN中 的包進(jìn)行STP端口狀態(tài)檢查，對(duì)于 BPDU以外的包，只有端口處于forwarding 狀態(tài)，才允許包進(jìn)入。然后進(jìn)行原 MAC地址檢查，以原MAC+ VID的哈希為索 引查找L2 TABLE如果沒(méi)有找到，就把這個(gè)表項(xiàng)（原 MAC + VID）以及對(duì)應(yīng)的 端口寫到L2 TABLE中，這個(gè)過(guò)程稱為MAC地址學(xué)習(xí)。當(dāng)然地址學(xué)習(xí)的方法有很 多種，可以是硬件學(xué)習(xí)，也可以是軟件學(xué)習(xí)，可以根據(jù)PORT表中的CMI字段的配置來(lái)進(jìn)行。下一步進(jìn)行目的MAC地址檢查：目的MAC地址為廣播地

6、址(Oxffffffff )的 包，在vlan廣播出去；目的MAC地址為組播地址的包，進(jìn)行組播流程的處理； 對(duì)于單播包，查找L2 TABLE如果沒(méi)有找到，就在vlan進(jìn)行洪泛；如果找到， 檢查表項(xiàng)中的L3 bit是否設(shè)置，如果設(shè)置了 L3 bit，就進(jìn)行L3流程的轉(zhuǎn)發(fā)；否則 就轉(zhuǎn)發(fā)到L2 TABLE表項(xiàng)中的端口去，在egress方向，也有egress過(guò)濾設(shè)置(默 認(rèn)是使能的)，如果egress端口不在vlan中也是不能轉(zhuǎn)發(fā)的。至此，L2轉(zhuǎn)發(fā)流 程完成了。與地址學(xué)習(xí)相反的過(guò)程是地址老化。地址老化的機(jī)制是：ASIC部有個(gè)定時(shí)器，稱為age timer，命令行可以對(duì)這個(gè)寄存器進(jìn)行設(shè)置，每次查找L2T

7、ABLE時(shí)(包括原地址查找和目的地址查找，可以配置)，如果命中，就會(huì)設(shè)置hit標(biāo)志。當(dāng)老化時(shí)間到后，ASIC把hit標(biāo)志清除，當(dāng)下一個(gè)老化時(shí)間到后，ASIC 把hit為0的地址設(shè)置為無(wú)效，這就是為什么實(shí)際地址老化的時(shí)間為12倍agingTime 的原因。2.2 L2轉(zhuǎn)發(fā)相關(guān)的表項(xiàng)2.2.1 port 表1HMSS.DROP0FILTER.PWELE腑n Ml Io t enabl&ConienlArare Prwssinj engine.恤 HV-MODID 愉船 g 唄 M be 也誡 nlPORT TA0LL W.ODfcr Xpocs mlie 諭 ed in XPORT.MAG.圖4

8、port表Port表是一個(gè)非常重要的表，有很多與端口相關(guān)的控制都在這里設(shè)置。每個(gè)端口對(duì)應(yīng)一個(gè)表項(xiàng)，按端口號(hào)進(jìn)行索引。下面介紹一下重要的設(shè)置：1) PVID:設(shè)置 PORT_VID2) 缺省優(yōu)先級(jí)：設(shè)置 PORT_PRI3) 流分類使能：設(shè)置FILTER_ENABLE4) VLAN 轉(zhuǎn)換使能：設(shè)置 VT_ENABLE和 VT_MISS_DROP5) Ingress 過(guò)濾使能：設(shè)置 EN_IFILTER6) 信任 COS還是信任 DSCP:對(duì)于 IPV4： TRUST_DSCP_V4二信任 COS;TRUST_DSCP_V4二信任 DSCP，對(duì)于 IPV6:同樣設(shè)置 TRUST_DSCP_V67)

9、 Ingress 方向 mirror 使能：設(shè)置 MIRROR8) MAC地址學(xué)習(xí)方式：設(shè)置 CML9) IP組播是否使用VLAN信息：設(shè)置IPMC_DO_VLAN10）L3 轉(zhuǎn)發(fā)使能：設(shè)置 V4L3_ENABLE和 V6L3_ENABLE11）是否丟棄BPDU:設(shè)置DROP_BPDU12）控制是否轉(zhuǎn)發(fā)帶tag和不帶tag的包：設(shè)置PORT_DIS_TA兮口PORT_DIS_UNTAG13）Pause 幀控制：設(shè)置 PASS_CONTROL_FRAMES14）基于子網(wǎng)的 VLAN 使能：設(shè)置 SUBNET_BASED_VID_ENABLE15）基于 MAC 的 VLAN 使能：設(shè)置 MAC_B

10、ASED_VID_ENABLE16）設(shè)置堆疊口： HIGIG_PACKET17）設(shè)置 NNI 口： NNI_PORT18）修改優(yōu)先級(jí)使能：MAP_TAG_PACKET_PRIORITY19）堆疊口 modid 設(shè)置：MY_MODID20）Out tpid 設(shè)置：OUTER_TPID21）基于MAC和基于子網(wǎng)的 VLAN優(yōu)先級(jí)設(shè)置：VLAN_PRECEDENCE22）是否允許單臂橋功能：PORT_BRIDGE23）IP 組播位圖設(shè)置：IGNOREPMC_L2_BITMA和 IGNOREPMC_L3_BITMAP2.2.2 egress port 表noRmeerM皿cths ;l p Rem陸搶

11、 Mmisioi?0見(jiàn)SfiCO_CHAMGE ftWChange SRC_MDDID Iw lhe eess minored packets oil dihehiGigporL ihCisatte. _1-Enatie.0耳RESERVEDTO訊3PF_ CPU.TAG卩下訴i忻脈就q;心就destined b th? CPI D由鬥卩蕪侶lag?1迪 EFILTEREiat 眄 ns VJfi nwt 稠聞 加 k卜沁0POPT 啊惟懈 MtU poit擲 RORT.TYPE 啊 is the H間G.BF, If I is Mlhen 恨卩ort i in HGigt mw?.i)-G+

12、XECPJpit1 l-ji-pwLBtffld POmiYPE堿訓(xùn)懸叭惟縱軸伽期is N川剛鳳M is nMI port0=UN port1-fiN portQiO圖 5 egress port 表EGR_PORT是一組寄存器，每個(gè)端口一個(gè)，用于 EGRESS向的控制，有幾個(gè)重 要設(shè)置介紹如下：1）設(shè)置 egress端口類型：PORT_TYP旨0, UNI 端口； PORT_TYPE 1 , NNI 端 口2）設(shè)置 egress 過(guò)濾：EN_EFILTER 12.2.3 L2地址表66SCPSoo加咽即D this祈増in陥 砒拘沁e ent環(huán)血 刪曲CoSh器prioiiy幗 deslin

13、atcnCoS.65SBCJISCAflDSaofaanlPas bit id加篠曲eM the阿愉 sbculd te dscaidedbasedon sourceMd【es&. Mhscaidonsim.64Oe$4naiondscantTins bit煦朮賓懈：tn幗佩熾shoJ aeb逹c or采:常如仁 HnnkndsMoR63CPUCPU bilSendspcta btbe CPU 血 i sL ItesCPU.COMTOlCPU BEFW PRK)fflTy ta riemal CoS.PRIMines tepnrir of Dis pattet 畑刪 L EW.PRE=1.m伽

14、.IJACaddiess.圖6 L2地址表56504的L2地址表大小為16K, 5630X的L2地址表大小為8K,地 址表使用MAC+VID的hash值作為索引查表。實(shí)際上 56504的L2地址表hash 值為4K,每個(gè)hash值對(duì)應(yīng)4條地址，這樣最多可以保存4條hash沖突的地址。 地址表中每個(gè)表項(xiàng)都保存了 MAC_ADDR和VLAN_ID。MAC學(xué)習(xí)的時(shí)候使用原 MAC+VID的hash查表，把表中的 MAC+VID與包中的MAC+VID進(jìn)行比較，如 果完全相等，表示找到了。然后看端口（ TGID_PORT是否相等，如果不相等表 示地址發(fā)生了遷移，對(duì)于動(dòng)態(tài)學(xué)習(xí)的地址需要更新 port ;如

15、果相等表示命中，更 新hit標(biāo)志。其他幾個(gè)重要的功能介紹如下：1）設(shè)置靜態(tài)地址：STATIC_BIF 12）設(shè)置L3轉(zhuǎn)發(fā)標(biāo)志：L3= 13）設(shè)置本地址的包都轉(zhuǎn)發(fā)到 CPU去：CPU=14）設(shè)置本地址匹配的包丟棄：SRC_DISCARD=1 DST_DISCARD=15）設(shè)置本地址匹配的包對(duì)某些端口阻塞：MAC_BLOCK_INDEX6）設(shè)置本地址匹配的包鏡像：MIRROR= 17）設(shè)置組播索引：L2MC_PTR8）地址有效標(biāo)志：VALID = 1223 VLAN 表Vian表分為ingress和egress兩個(gè)部分，分別對(duì)應(yīng)入口控制和出口控制41:40PFMindicate Port filt

16、efinainwiefcrmultei 00-FCOdall grewIn Ihemofe. all h工推岡i誰(shuí)f 點(diǎn) 踰蚯 耳帕L閉川舊 呱 10 O labte is used kr allOT=Food all unregistered group Addresses. Inti m iiess Huht.niili esrtist h he 眥 ad hHi con&paiding gioup MAC 血【雰 dll be 冊(cè)曲塚 number portset nliitti s 曲血d ly 恥附腕 姻rd p由in艷MtiNcasl愉詁瞅q険 10= Fie HL1冃松 i 屮.

17、甲沏essesJ伯is rn MAC卅掀甥加fd9d測(cè)1 sudl hMd切 qr皿血國(guó)nny；l岫-血 匕科社詢blz.hn帕劃v：$鵡印呵制 喻; 陽(yáng)儷 曙(fcpped11-UiiiSQdf pi:昭畀:柚:irr jw：v-j：upl.r 門帕卩討怖皿:&訓(xùn)恤snodejte g 叫 IMC$11也測(cè)岬Cad惋減 r_g redout is us?l口忙25卜釗伽押J 陽(yáng)呷i啤陰nit廣1 by a )rjAClm exists in 隔 hvPtans.Ctoith?STGSpanmgtw group DbVAUDValid Wir3Q四HGIG.TWNItOWIRIDE刪応 onn

18、lfeManVJbsn set Skates the HCig port titnap canncvad. k-坊總麗兀onk95osrascARjDiscard j=DiSd 1 = Emlh即d 肚;cc DIP rralcli (For norhAO reviaofts wly.i g.9偵卩卬Prwt.31RPERamapP lioriyEnabbliNEXT_HCP_WDEX護(hù)監(jiān)TnextliopjaljjdkxIPLlC padsbeow UNfi TYPtlfll reseral LslJCJNDE:.wVLANVLAN ID fch-jl used fe( this w65IP

19、hLCMica花5 膽加5 useJfcrar FUC rout Musibeffiftbfthsvfevi-64V6niicat 血 r!itn is5日新孑 r fi j莊 i.jst he mo fcr this 茫工63.3jPDCR U*JSffiP addiessbhs noj uaedb tilsw31.JIP?DCR32 bitIP riJiesi1 1圖10 L3單播主機(jī)路由表CZi2C.OeoJ8 -T taS七ssr1二CFlich ro*p-3J&$jn_ i c-n-j_ cjy11-1 -F-I -61 -J53TE3i3s1H-Hrri土 p r=jPU召Tl=T

20、!ZIwt冷FT?fni5B-匹-v 尋函11 L3國(guó)眾laWeM L3JCMP盹丿NameDescriptionlieHEWIMe詢闞.hep for thisECPwule圖12 ECMP表Table 406: EGR_L3_NEXT_H0PBit(s)NameDescription59J2fd.ADDRESSMAC 血段 tc 2 u 呦燈 CA卿:血nt 勺 L3； or CcntentA w 汕 modfie? packets11G1INF1UMhterf磅rmti薊Iokinfersi? NTF碗cfWfcrGonteflta?paclwtdw層 o 蜒圖13 EGRESS下一跳表

21、75.28HQ町氐TKJlfiESHOLD 亦LLSA TCHBl粘)taieMAC 皿側(cè)粉 be used for SA 啤 潮糊:in :ie _3 mo(Hati(rsTIL thieshold to Is used for L3 TTL chedtsVIDfob8iisedlofL3repteentI Mi 淞 5 i 脛 pat畑 needs lobeonfcL2 Switched andonljrl? nirfFcalioriS n 閩& to怕加ei.：TUNNEL INDEXTuind I血 to be used to EGA IP TUNNELbbie圖14接口表Table

22、408: iNG_L3_NEKT_H0PSi(s)flameIte 咖on2i.13VUWJVUW ID 041 hep12:7HOMOTxlii 打&1PORJGCPoOCIDcf next hop0L3UGJLNNEL TYPETin 帕 type圖15 INGRESS下一跳表4、L2組播轉(zhuǎn)發(fā)流程在L2轉(zhuǎn)發(fā)流程中，查找目的 MAC + VID的時(shí)候，如果表項(xiàng)的目的 MAC是一個(gè) 組播地址，該表項(xiàng)有一個(gè)組播指針指向組播表， 組播表中有一個(gè)端口位圖，表示 哪些端口屬于該組播組。組播組中的端口位圖與 VLAN中的端口位圖相與的結(jié)果 是實(shí)際轉(zhuǎn)發(fā)的端口位圖。靜態(tài)配置的或協(xié)議動(dòng)態(tài)添加的組播地址通過(guò)SS

23、P寫到MAC地址表中，組播成員通過(guò) SSP寫到組播表中。L2組播表的結(jié)構(gòu)如下：圖16 L2組播表5、L3組播轉(zhuǎn)發(fā)流程L3組播支持有源樹和共享樹。所謂有源樹是指根據(jù)源IP地址和組 地址來(lái)確定一個(gè)組播組，而共享樹是指僅根據(jù)組地址來(lái)確定一個(gè)組播組。芯片也 支持反向路徑檢查(Reverse Path Forwarding check)，所謂反向路徑檢查是指 通過(guò)檢查源IP地址確定源端口，從而不要向源端口轉(zhuǎn)發(fā)的技術(shù)。L3組播的轉(zhuǎn)發(fā)流程是，先查L(zhǎng)2表，對(duì)于組播地址而且是L3 bit置位的，查L(zhǎng)3表。L3表給出IPMCNDEX 根據(jù)這個(gè)索引查L(zhǎng)3_IPMC表，L3_IPMC 表給出L2_BITMAP和L3_

24、BITMAP。對(duì)于L2_BITMAP,按照L2組播流程轉(zhuǎn)發(fā)；對(duì) 于 L3_BITMAP,根據(jù) IPMC_INDEX和 BITMAP得到 IPMC_GROUP的 VLAN_INDEX, 最后根據(jù) VLAN_INDEX查找 IPMC_VLAN 表，IPMC_VLAN表0圖17 L3組播表7MC_GfiOUP(lkL5E VVh &MV股 VUUI圖18 L3組播復(fù)制0忙.TUA以)股WN包含了 VLAN的位圖，芯片在進(jìn)行L3組播的時(shí)候，對(duì)VLAN的位圖中的每個(gè)成 員進(jìn)行組播復(fù)制L3單播和組播的轉(zhuǎn)發(fā)流程綜合起來(lái)，如下圖所示:X-.FF門叮Riri IDL3KFF-3 EF4：罪 JDW.W 丁F.T

25、jrrt謝5P,R1EGRE5RJP.71JMELD|W 5Fnj-L眉葉早13訕沖抑IPIC圖19 L3單播和組播的轉(zhuǎn)發(fā)流程IPMC轉(zhuǎn)發(fā)相關(guān)的表的結(jié)構(gòu)如下:。川甫蚯汩1日VIAIdl319V1 9l/ldl 比 H平I叩Lua，x”un此祁別h和剛3ADmtU刁陽(yáng)IHQlaioiwd酹 iaiZ-LOioima an neone：i1呻晌ie$a阿）訓(xùn)11VAFldvuiiiqjJOdfsrdfiuijqiffldndtmit -c iVtZL0嘶現(xiàn)0出珊Mb（X0S99）12/（X0999）18 甫蚯峯日丄刁319V1 S1 0乙 Hjpf-Pd|thQiDiqgEH2Cd 眥 0OKss

26、卻 pejpjinos |q 賈oovd 3oms畑,5屮.-.-J 0.3Zeq 哪即Qi珂f斟闔r SI缶 駕SriWU|蝕網(wǎng)刑西愼VJ epoi園岀UE Kf卿即網(wǎng)聘訓(xùn)帥的訓(xùn)Ml糊 QWflA(TIOniL啊W1呻呻!)3(NI9： 29明陽(yáng)皿嗎陸IM X30H曲HLX3H理怡訊創(chuàng)0O3SfNn)flrdOHJJBNBSid1 EuunjIdAfmnroiIdlm期?qpu甲，:訓(xùn)也iuay3dd剛訓(xùn)匚IHJ: !P- a ：j|u? a屮臥;氏;f“：41onvA騎如睥叫呱州1IH-那眄1iqKja-D （審防冊(cè)|瞅 聲駅1謝叩即 出盟Q碑吭 那 嗣 d叫倏&團(tuán)申OSUD旦腳 Qy4U

27、 JC-l : !即 3 4歸 31|皿肥:與0111WK恤鮎譏底別咁UQU旳SiiqiiH sepi|K劍印茸憫AH1陽(yáng)藥卻叫人喇PPOUlUftTQOO|判閃岡JQvU： U列門莎 轉(zhuǎn)X |網(wǎng)卜1IHu訓(xùn)輕騎刑削倒丹師腳腳meDescnpfioF?65: mPorts, Pb11 -bit frst pnlefloLSB YUN t? tmap li pot SPwttJSKr1T-bit irst poirier fcLSE VLAN t tmep for port t43：羽PorfiJstPn11-bit firs: juiri&rlcLSE VLANt 肝璋 fee pat 333

28、：爼RDrtl.ldPfr1t bit irst poinl&r toLSB VLA N bitmap Ij port 22111Portl. IstPti1 t4)it irst porler to LSB VLAN titrrapferportt|io：oPortJPti114)it Srs： ook 制 loLSB 7L 訓(xùn) i tmap ；i pelt C圖 22 IPMC _GROUP TABLEIPMC _GROUP TABLE表項(xiàng)大小 1K。盹）NameDescription瞪75MSBLANM USS for VLAN |11；674.11LSB VLABMGUifLSB 牡

29、ANh蛇p1GDMexiPirli bilsnert VLAN bitmap pci個(gè)圖 23 IPMC _VLAN TABLEIPMC _VLAN TABLE表項(xiàng)大小 2K。6、流分類處理流程在 5650X/5630X 中，流分類是通過(guò) CFP實(shí)現(xiàn)的，CFP是 ContentAware FilterProcessor的縮寫。所謂ContentAware就是對(duì)packet的容進(jìn)行智能匹配的技術(shù)。5650X/5630X中的流分類分為5個(gè)階段，流程如圖：圖24 CFP流程這5個(gè)部分分別是智能協(xié)議識(shí)別選擇器、CAM查找引擎、策略引擎、meter 和統(tǒng)計(jì)引擎、動(dòng)作裁決引擎。在ingress端口，智能協(xié)

30、議識(shí)別選擇器對(duì)進(jìn)來(lái)的包 的前128bit按照協(xié)議字段進(jìn)行選擇和標(biāo)記，CAM查找引擎按照用戶給的key匹 配協(xié)議選擇器的容，如果找到了，就執(zhí)行策略引擎的動(dòng)作，并可以實(shí)驗(yàn)meter和統(tǒng)計(jì)引擎進(jìn)行限速、標(biāo)記顏色和統(tǒng)計(jì)。5650X有16個(gè)CAM查找引擎，5630X 有8個(gè)CAM查找引擎，它們可以并行執(zhí)行，執(zhí)行的動(dòng)作如果有沖突的話，由動(dòng) 作裁決引擎進(jìn)行裁決。與協(xié)議容識(shí)別選擇器有關(guān)的表是：1h/fSettingsBCM5S50XFPF13b000陽(yáng)M2Ma VSrc_hfcdM|23:18|, SFC_PorLTGID(17：12, DOodl 叩1瞬 Dst_Port_TGlD5：O3bOlOTCP/UDP 航 Porl|3116l TC円UDP Dst PorJ佔(zhàn);0|,送3W11OvM31*16, lvidi5D (Oirtar and irmr VLAN IQ at IE bits)31)100Ether7ype31J6.OvidI15：03lb101盼硏酬23規(guī)F PfoocoI刊仏3bHOLook 叩 Stalu815:0罷FPF24bOGOOSIP|127:9B. DIPp&Bfl, IP Pfo,ocdI63:56. L4 Sic554ft uOst3S24, DSCP23何IPJIa15:14. TCP_ConirOlI13: