H3C核心交換機(jī)常見故障定位手冊(cè)

H3手頁-CAL-FENGHAI.-(YICAI)-Company本頁僅作為文檔封面，使用請(qǐng)直接刪除

核心交換機(jī)常見故障處理手冊(cè)i

目錄錯(cuò)誤未指書。信設(shè)息其息故和處原模分的措

錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未定簽單描處電描處風(fēng)描處溫描處

錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)誤未指書。端描處端up·····························描處端Up描處1-1

錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。

端描處光障描處

錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)誤未指書。不描處障描處障描處轉(zhuǎn)描處

錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未定簽描處描處

錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未定簽描處內(nèi)率描處資描處1-2

錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。錯(cuò)!未指書。

11.11.1.1

故障處通流程信息搜集info-center搜集設(shè)備日志信息收?qǐng)?zhí)行displaydiagnostic-information令后，請(qǐng)輸入Y”，以選擇將保存到CF卡中（選擇display會(huì)出現(xiàn)信息搜集不全）。設(shè)備上單板越多，信息搜集的時(shí)間越長(zhǎng)，信息搜集期間不能輸入命令，請(qǐng)耐心等待。也可以將diag信息直接顯示出來（不建議這樣搜集），搜集前請(qǐng)先執(zhí)行screen-lengthdisable避免屏幕輸出被打斷，如下：其

1.1.2

搜集其他運(yùn)行信息除設(shè)備日志信息外，還需要搜集設(shè)備的其他運(yùn)行信息（包括但不限于以下）：搜集信息越全面、越詳細(xì)，越有利于故障的快速定位。1.2

故障定位和處理設(shè)備出現(xiàn)故障時(shí)，請(qǐng)先搜集設(shè)備運(yùn)行的相關(guān)信息，判斷大致的故障類型，然后參照對(duì)應(yīng)類型的故障處理流程進(jìn)行確認(rèn)。如遇到故障無法確認(rèn)，請(qǐng)將故障描述連同搜集的信息發(fā)送給公司技術(shù)支持人員分析。1.2.1

故障處理流程圖錯(cuò)誤!未指書簽。故障處理的一般流程，可以大致判斷出故障的類型。故故障分析時(shí)常用的方法有：開1.2.2

故障原因分類單如單板出現(xiàn)異常重啟、狀態(tài)異常、無法啟動(dòng)、反復(fù)重啟，請(qǐng)參照誤!未指書簽。錯(cuò)誤!未指定書。處理。

電如設(shè)備電源指示燈異常、不斷打印告警信息，請(qǐng)參照誤!未指定簽。誤!未指定簽。處理。風(fēng)如設(shè)備風(fēng)扇指示燈異常、風(fēng)扇停轉(zhuǎn)、不斷打印風(fēng)扇告警信息，請(qǐng)參照誤!未指書簽。錯(cuò)誤!未指定簽。處理。

溫如設(shè)備打印溫度告警，請(qǐng)參照誤!未指定書。錯(cuò)誤未指定書簽處理。鏈如端口出現(xiàn)無法UP、頻繁、端口錯(cuò)包，請(qǐng)參照錯(cuò)誤!未指書簽。誤!未指書簽。。硬如日志不斷出現(xiàn)Forwardingfault、Boardfault:chassisXslotY,pleasecheckit等打印信息，請(qǐng)參照錯(cuò)誤!未指定書簽。錯(cuò)!未指定書簽。理。報(bào)如出現(xiàn)ping、tracert丟包或不通、二層丟包或不通、三層丟包或不通、業(yè)務(wù)異常等，請(qǐng)參照錯(cuò)誤!未指定書。錯(cuò)誤未指定書簽。如設(shè)備無法形成IRF、IRF裂等，請(qǐng)參照錯(cuò)誤!未指定書簽錯(cuò)誤!指定書簽。如設(shè)備單板CPU占用率很高，請(qǐng)參照誤!未指定簽。錯(cuò)!未指定簽。處理。如設(shè)備單板內(nèi)存占用率很高，請(qǐng)參照誤!未指定簽。錯(cuò)!未指定簽。處理。如設(shè)備打印Noenoughresource資源不足，請(qǐng)參照錯(cuò)誤!未指書簽。誤!未指書簽。處理。1.2.3

故障模型及影響分析錯(cuò)誤!未指書簽。一個(gè)典型網(wǎng)絡(luò)故障模型，為提高網(wǎng)絡(luò)的可靠性，便于故障時(shí)快速切換恢復(fù)，組網(wǎng)中采用雙上行鏈路，兩臺(tái)核心交換機(jī)之間互為備份。

典故

可能現(xiàn)象

1（光模塊）234

端口down端口錯(cuò)包增加單板fault單板芯片故障（單板狀態(tài)正常）軟件異常同1設(shè)備down

業(yè)務(wù)會(huì)切換影響該鏈路上的業(yè)務(wù)（影響范圍大）業(yè)務(wù)會(huì)切換該芯片上的業(yè)務(wù)異常交換網(wǎng)板芯片故障會(huì)影響整機(jī)設(shè)備重啟，業(yè)務(wù)會(huì)切換協(xié)議模塊異常一般會(huì)影響業(yè)務(wù)影響該接入層交換機(jī)上的業(yè)務(wù)（影響范圍比故障點(diǎn)小一些）影響該設(shè)備下的業(yè)務(wù)1-6

1.2.4

單板芯片故障軟件異常5同16網(wǎng)絡(luò)正常，業(yè)務(wù)異常常見的故障恢復(fù)措施常

影響部分端口或整機(jī)業(yè)務(wù)設(shè)備重啟，影響設(shè)備下連業(yè)務(wù)協(xié)議模塊異常一般會(huì)影響業(yè)務(wù)影響該鏈路上服務(wù)器涉及的業(yè)務(wù)影響該服務(wù)器涉及業(yè)務(wù)故障原因硬件軟件鏈路其他

業(yè)務(wù)恢復(fù)動(dòng)作隔離故障單板；調(diào)整業(yè)務(wù)流向來隔離故障設(shè)備（如可以調(diào)整路由的優(yōu)先級(jí)，避免流量經(jīng)過故障設(shè)備，實(shí)現(xiàn)流量切換）重啟故障設(shè)備的協(xié)議；調(diào)整業(yè)務(wù)流向來隔離故障設(shè)備調(diào)整業(yè)務(wù)流向來隔離故障線路修改錯(cuò)誤配置；正確連接設(shè)備端口；調(diào)整業(yè)務(wù)流向來隔離故障線路

故障排除動(dòng)作更換備件（備件上線應(yīng)用前應(yīng)進(jìn)行必要的測(cè)試）升級(jí)版本（含補(bǔ)丁版本）；調(diào)整組網(wǎng)或配置消除引發(fā)故障因素檢修線路修改錯(cuò)誤配置；正確連接設(shè)備端口；檢修機(jī)房的電源、空調(diào)等支撐系統(tǒng)22.12.1.1

硬件類障理單板故障故障描述單單板狀態(tài)包括：Normal、Master、Slave、Absent、Fault、Loading。Master與Slave分別表示主、備主控板。Normal示單板處于正常運(yùn)行狀態(tài)。如果發(fā)現(xiàn)單板狀態(tài)出現(xiàn)Fault、Loading或該槽位存在單板但狀態(tài)卻是的，說明單板可能出現(xiàn)故障，請(qǐng)參考誤!未指定簽。錯(cuò)!未指定簽。處理。

2-7

單可以通過logfile日志或displayversion看設(shè)備啟動(dòng)后運(yùn)行時(shí)間來確認(rèn)單板有沒有出現(xiàn)過重啟，出現(xiàn)過重啟的單板運(yùn)行時(shí)間會(huì)明顯短于設(shè)備上其他單板。如果有單板出現(xiàn)過重啟，請(qǐng)參考錯(cuò)誤!未指書簽。錯(cuò)誤!未定書簽處理。:

2.1.2

故障處理步驟單單2-8

單這里的單板重啟是指單板出現(xiàn)過重啟，而當(dāng)前單板狀態(tài)是。displayversion:2.22.2.1

電源故障故障描述設(shè)備電源指示燈異?；蛏蠄?bào)2.2.2

故障處理步驟檢使用displaypower命顯示電源模塊狀態(tài)，查看是否存Fault或Absent狀態(tài)的電源模塊。

如果存在Absent狀態(tài)的電源模塊，請(qǐng)前往步驟。如果存在Fault狀態(tài)的電源模塊，請(qǐng)前往步驟。檢查看電源異常狀態(tài)：Absent或者Fault.使用displayalarm命令。如果存在Absent狀態(tài)的電源模塊，請(qǐng)前往步驟。如果存在Fault狀態(tài)的電源模塊，請(qǐng)前往步驟。檢如果電源模塊狀態(tài)為Absent表示對(duì)應(yīng)槽位沒有在位的電源模塊或者電源模塊沒有安裝牢固。如果電源模塊槽位有電源模塊在位且顯示為，請(qǐng)將電源模塊拆卸后重新安裝，然后使用displaypower命查看對(duì)應(yīng)槽位電源狀態(tài)是否顯示Normal。如果仍然顯示為Absent狀態(tài)，請(qǐng)更換新電源模塊。如果更換新電源模塊后仍然顯示為狀態(tài)，請(qǐng)前往步驟5。檢如果存在Fault狀態(tài)電源模塊，表示該電源模塊異常，無法供電。電源處于Fault狀態(tài)可能有以下原因：(1).電源線可能沒接穩(wěn)而脫落。如果電源線脫落，那么電源的電流和電壓都會(huì)顯示為0，電源狀態(tài)顯示為Fault請(qǐng)檢查電源是否接線，接線后使用displaypower令查看對(duì)應(yīng)槽位電源狀態(tài)是否顯示為。如果沒有恢復(fù)為，請(qǐng)前往(2)。(2).可能是電源模塊本身溫度過高導(dǎo)致。如果電源模塊上積灰較多可能引起電源模塊溫度升高。請(qǐng)查看電源模塊積灰情況，如果灰塵較多，請(qǐng)清理灰塵，并將電源模塊拆卸后重新安裝。然后使用display

power令查看對(duì)應(yīng)槽位電源狀態(tài)是否顯示為Normal如果沒有恢復(fù)為Normal，請(qǐng)將該電源模塊插入其它空閑電源模塊槽位并查看電源狀態(tài)是否為。如果該電源模塊仍然顯示為Fault狀態(tài)，請(qǐng)更換電源模塊。如果更換新電源模塊后仍然顯示為狀態(tài)，請(qǐng)前往步驟5。尋如果上述檢查完成后故障仍無法排除，請(qǐng)聯(lián)系的技術(shù)支持工程師。2.32.3.1

風(fēng)扇故障故障描述風(fēng)扇框指示燈異常，設(shè)備打印風(fēng)扇異常信息，如：2.3.2

故障處理步驟度

2.42.4.1

溫度告警故障描述設(shè)備打印溫度過低、過高等告警信息，如：2.4.2

故障處理步驟錯(cuò)誤未定簽錯(cuò)未指書。displayenvironment1123456123

33.13.1.1

鏈路端故處理端口錯(cuò)包故障描述使用displayinterface令查詢端口的入、出方向流量統(tǒng)計(jì)信息，發(fā)現(xiàn)錯(cuò)包統(tǒng)計(jì)計(jì)數(shù)不為0。-0000-

3-14

3.1.2

0-端端倍：故障處理步驟端錯(cuò)誤未定簽錯(cuò)!未定簽端Overrun計(jì)數(shù)是由于端口輸入速率超過端口處理能力，導(dǎo)致丟包。display

3.23.2.1

，端端端口無法p故障描述端口無法正常Up。3.2.2

故障處理步驟端Up雙DuplexFull

Speed

10GSupport

1000MSupport

100MSupport

10MSupport

HalfNosupportNosupportNosupportNosupport

錯(cuò)誤未定簽錯(cuò)!未定簽3.33.3.1

端口由變成D故障描述端口狀態(tài)由Up變成Down。3.3.2

故障處理步驟操配，Loopbackdetectiondown)錯(cuò)!未定簽錯(cuò)!未定簽

3.43.4.1

端口頻繁p/Down故障描述端口頻繁Up/Down。3.4.23.53.5.1

故障處理步驟錯(cuò)誤未定簽錯(cuò)!未定簽。信光模塊故障故障描述安裝光模塊的接口不能正常工作。3.5.2

故障處理步驟光字段

描述SFP/SFP+RXlossofsignalRXpowerhighRXpowerlowTXfaultTXbiashighTXbiaslow

接收信號(hào)丟失接收光功率高告警接收光功率低告警發(fā)送錯(cuò)誤偏置電流高告警偏置電流低告警

字段

描述TXpowerhigh

發(fā)送光功率高告警3-18

TXpowerlowTemphighTemplowVoltagehighVoltagelowTransceiverinfoI/OerrorTransceiverinfochecksumerrorTransceivertypeandportconfigurationmismatchTransceivertypenotsupportedbyporthardwareXFPRXlossofsignalRXnotreadyRXCDRlossoflockRXpowerhighRXpowerlowTXnotreadyTXfaultTXCDRlossoflockTXbiashighTXbiaslowTXpowerhighTXpowerlowModulenotreadyAPDsupplyfaultTECfaultWavelengthunlockedTemphighTemplowVoltagehighVoltagelowTransceiverinfoI/Oerror

發(fā)送光功率低告警溫度高告警溫度低告警電壓高告警電壓低告警模塊信息讀寫錯(cuò)誤模塊信息校驗(yàn)和錯(cuò)誤模塊類型和端口配置不匹配端口不支持該模塊類型接收信號(hào)丟失接收狀態(tài)未就緒RXCDR時(shí)鐘失鎖接收光功率高告警接收光功率低告警發(fā)送狀態(tài)未就緒發(fā)送錯(cuò)誤TXCDR時(shí)鐘失鎖偏置電流高告警偏置電流低告警發(fā)送光功率高告警發(fā)送光功率低告警模塊狀態(tài)未就緒APDPhoto雪崩光電二極管）錯(cuò)誤TECCooler熱電冷卻器）錯(cuò)誤光信號(hào)波長(zhǎng)失鎖溫度高告警溫度低告警電壓高告警電壓低告警模塊信息讀寫錯(cuò)誤3-18

TransceiverinfochecksumerrorTransceivertypeandportconfigurationmismatchTransceivertypenotsupportedbyporthardware

模塊信息校驗(yàn)錯(cuò)誤模塊類型和端口配置不匹配端口不支持該模塊類型H3C定制光模塊的接收光功率、發(fā)送光功率可以通過displaytransceiverdiagnosis命令查詢到（非H3C定制的光模塊可能查詢不到）。H3C定制光模塊的光功率上下門限值可以通過下面方式查看（二選一）：端_displaytransceiverinterface_transceiverdiagnosisinterface

在端口Up時(shí)：建議盡量使用H3C定制光模塊?？赏ㄟ^displaytransceivermanuinfo令來查詢光模塊的定制廠商信息，如果VendorName為H3C，說明是定制光模塊。4報(bào)文轉(zhuǎn)故處理4.1ping通或丟包4.1.1

故障描述報(bào)文轉(zhuǎn)發(fā)丟包，ping不通或丟包，tracert異常。

4.1.2

故障處理步驟設(shè)報(bào)文轉(zhuǎn)發(fā)異常通常會(huì)涉及多臺(tái)設(shè)備，需要逐一排查。為方便排查，排查前建議先明確報(bào)文的轉(zhuǎn)發(fā)走向，如經(jīng)過哪些中間設(shè)備，在設(shè)備的哪些接口進(jìn)入設(shè)備，又會(huì)從哪些接口出去。通過鏡像抓包或配置ACL規(guī)則統(tǒng)計(jì)設(shè)備有沒有收到或發(fā)出相應(yīng)的業(yè)務(wù)報(bào)文，以配置ACL規(guī)則統(tǒng)計(jì)端口入方向Ping報(bào)文為例：:報(bào)如果設(shè)備未收到Ping報(bào)文，請(qǐng)排查上游的相鄰設(shè)備；如果設(shè)備發(fā)送的報(bào)文計(jì)數(shù)正確，建議排查下游的相鄰設(shè)備；如果報(bào)文入出計(jì)數(shù)不正確，請(qǐng)參照錯(cuò)誤!未指定書。、錯(cuò)誤!未指定簽。、錯(cuò)誤未指定簽。繼續(xù)排查。

4.2L2發(fā)故障4.2.1

故障描述S12500-X與屬于同一個(gè)網(wǎng)段、使用相同的設(shè)備之間，二層流量丟包/通。報(bào)文在設(shè)備上進(jìn)行二層轉(zhuǎn)發(fā)的條件是報(bào)文的目的與交換機(jī)自身的MAC不相等。注意：交換機(jī)自身的MAC地址有多個(gè)，屬于同一個(gè)地址段，比如下面顯示的是交換機(jī)VLAN接口的。00004.2.2

故障處理步驟配檢查二層配置是否正常，如：檢查MAC學(xué)習(xí)的端口是否正確，是否存在環(huán)路導(dǎo)致學(xué)習(xí)到錯(cuò)誤端口，必要時(shí)可以配置靜態(tài)MAC來快速恢復(fù)業(yè)務(wù)。環(huán)

的表7漂4.3L3發(fā)故障4.3.1

故障描述故障現(xiàn)象通常有三層業(yè)務(wù)異常、丟包/不通。注意三層轉(zhuǎn)發(fā)的IP路由表并不是真正的轉(zhuǎn)發(fā)表，路由管理通過各路由協(xié)議選擇最佳的路由，并將選中的路由發(fā)送給軟件轉(zhuǎn)發(fā)表（FIB），F(xiàn)IB再將路由同步到芯片驅(qū)動(dòng)轉(zhuǎn)發(fā)表，最終實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)發(fā)，如誤未指定書。所示。

4.3.2

路故障處理步驟報(bào)報(bào)文在交換機(jī)上進(jìn)行三層轉(zhuǎn)發(fā)的條件是報(bào)文的目的為交換機(jī)本身的MAC。通過鏡像或抓包確認(rèn)這個(gè)條件是否滿足。注意交換機(jī)自身的地址有多個(gè)，屬于同一個(gè)地址段，比如下面顯示的是VLAN接口的MAC0000路檢查設(shè)備到某一目的IP網(wǎng)段的路由是否存在，如路由不存在，請(qǐng)檢查路由協(xié)議配置、狀態(tài)是否正確。檢查設(shè)備到某一目的IP網(wǎng)段的表項(xiàng)是否存在，如路由存在、FIB表項(xiàng)異常，請(qǐng)將故障信息發(fā)送技術(shù)支持人員分析。1檢查設(shè)備ARP學(xué)習(xí)的接口是否正確，如學(xué)習(xí)接口不正確，請(qǐng)通過arp令重新學(xué)習(xí)ARP，必要時(shí)可以配置靜態(tài)。如ARP學(xué)習(xí)的接口一直不正確，請(qǐng)將故障信息發(fā)送技術(shù)支持人員分析。

如4.4MPLS發(fā)故障4.4.1

故障描述MPLS常見故障現(xiàn)象有：4.4.2

故障處理步驟VLL、VPLS、L3VPN是基于建立的。在LSP入節(jié)點(diǎn)（即錯(cuò)誤未指定書簽。的PE1）上通過下列方式來檢查、確認(rèn)網(wǎng)絡(luò)中哪臺(tái)設(shè)備存在配置錯(cuò)誤。

displaycurrent-configurationconfigurationmpls-ldp配displaymplsinterface命mplslsr-id是接|4-26

路IP表::000004-27

5IRF類故處理5.1IRF法形成5.1.1

故障描述IRF無法正常建立。5.1.2

故障處理步驟通常為配置錯(cuò)誤引起，請(qǐng)檢查以下配置是否正確。

通過displayinterface詢IRF物理端口狀態(tài)是UP：配5.2IRF現(xiàn)分裂5.2.1

故障描述IRF運(yùn)行過程中出現(xiàn)分裂。5.2.2

故障處理步驟irfdetect，

錯(cuò)誤!未定簽錯(cuò)誤!未定簽錯(cuò)未指書。錯(cuò)!未指定簽錯(cuò)!未定簽:為保持IRF系統(tǒng)的健壯性，防止分裂，建議：框6系統(tǒng)管維類故障理6.1CPU用率高6.1.1

故障描述確連續(xù)使用命令displaycpu-usage看占用率，確定哪個(gè)槽位單板占用率高。如果CPU占用率持續(xù)在80以上，說明有某個(gè)任務(wù)長(zhǎng)時(shí)間占用CPU，需要確認(rèn)高的具體原因。6.1.2

故障處理步驟CPU占用率高的原因通常有：

查使用隱藏模式命令displayprocess[slot如1槽位CPU高。15

]觀察占CPU多的任務(wù)，比路通過displayroute-policy令可以查看設(shè)備配置的路由策略，請(qǐng)檢查配置的路由策略是否過多，導(dǎo)致CPU處理的負(fù)擔(dān)增加。::報(bào)在設(shè)備端口抓包，使用Wireshark工具分析報(bào)文特征，確認(rèn)攻擊源。然后針對(duì)攻擊源配置報(bào)文防攻擊。

也可以通過設(shè)備debug開關(guān)打印上送的報(bào)文，并轉(zhuǎn)換后分析：鏈鏈路成環(huán)時(shí)，網(wǎng)絡(luò)振蕩，大量的協(xié)議報(bào)文上送處理也可能導(dǎo)致CPU占用率升高。存在環(huán)路時(shí)流量成環(huán)，可能會(huì)出現(xiàn)廣播，設(shè)備很多端口的流量會(huì)變得很大，端口使用率達(dá)到％以上：0如鏈路出現(xiàn)環(huán)路：6.26.2.1

內(nèi)存占用率高故障描述多次查看單板內(nèi)存占用率持續(xù)升高，始終處于％以上，這類問題通常為軟件問題引起，如內(nèi)存泄露，也存在如路由數(shù)目過多導(dǎo)致的情況。請(qǐng)按照下述章節(jié)描述進(jìn)一步搜集信息發(fā)送給技術(shù)支持人員分析。11