華為PTN常見(jiàn)開(kāi)局故障處理PPT課件.ppt

1、2020/8/15,PTN常見(jiàn)開(kāi)局故障處理,PTN產(chǎn)品組,LITOlab,Page 2,培訓(xùn)目標(biāo),學(xué)完本課程后，您應(yīng)該能： 了解PTN 產(chǎn)品故障處理基本步驟 掌握PTN 產(chǎn)品常見(jiàn)故障處理方法,參考資料 OptiX PTN 故障處理手冊(cè) OptiX PTN 告警和性能手冊(cè),目錄,PTN 故障定位方法 PTN 常見(jiàn)故障處理,Page 4,PTN 故障定位方法,告警法 PTN在各種物理端口、邏輯端口、業(yè)務(wù)、PW等都有相關(guān)的告警。當(dāng)發(fā)生故障時(shí)，查詢當(dāng)前設(shè)備的相關(guān)告警。通過(guò)分析告警，可以迅速的找到問(wèn)題發(fā)生在什么層面。在定位業(yè)務(wù)故障的時(shí)候，通常建議首先關(guān)注傳輸層和物理層的告警 性能法 PTN在各種物理端口

2、、邏輯端口（如IMA組、MP組等）、業(yè)務(wù)、PW都支持性能統(tǒng)計(jì)計(jì)數(shù)。當(dāng)業(yè)務(wù)中斷后，通過(guò)讀取業(yè)務(wù)的相關(guān)性能，可以確認(rèn)數(shù)據(jù)報(bào)文在哪臺(tái)網(wǎng)元，在什么層面丟了。比如，如果發(fā)現(xiàn)端口上有誤碼計(jì)數(shù)，就可以直接判定是中間鏈路問(wèn)題 環(huán)回法（CES 業(yè)務(wù)常見(jiàn)方法） PTN在各種物理端口、邏輯端口（如IMA組）都支持環(huán)回功能。在某些物理端口的故障發(fā)生后，通過(guò)環(huán)回的方法，可以確認(rèn)問(wèn)題所在的設(shè)備（或鏈路） 業(yè)務(wù)oam法（重點(diǎn)了解和掌握） ATM業(yè)務(wù)與ETH業(yè)務(wù)都支持OAM功能，通過(guò)OAM可以準(zhǔn)確的定位到故障所在的網(wǎng)元和處理板，進(jìn)而可以快速的對(duì)業(yè)務(wù)進(jìn)行恢復(fù),Page 5,環(huán)回法定位CES 業(yè)務(wù)故障,現(xiàn)象描述：在下面的組網(wǎng)圖中

3、，用誤碼儀測(cè)出BSC 與BTS 之間的CES 業(yè)務(wù)中存在大量誤碼,處理步驟 步驟1 :在網(wǎng)元NE01 上連接儀表做誤碼測(cè)試。將NE04 的L75 單板上的2M 端口設(shè)置為“內(nèi)環(huán)回”，儀表顯示有大量誤碼。 步驟2 :在NE03 配置靜態(tài)ARP 表項(xiàng)，MAC 地址選擇NE03 的出端口，IP 地址選擇NE04。在NE03 和NE04 之間創(chuàng)建入標(biāo)簽和出標(biāo)簽相同的Tunnel 步驟3 :將NE04 的網(wǎng)絡(luò)側(cè)端口設(shè)置為“外環(huán)回”，連接NE01 的儀表仍然顯示有誤碼，將NE03 上連接NE04 的網(wǎng)絡(luò)側(cè)端口設(shè)置為“內(nèi)環(huán)回”，仍然有誤碼。 步驟4 :將NE03 上連接NE02 的網(wǎng)絡(luò)側(cè)端口設(shè)置為“外環(huán)回”

4、，誤碼消失。據(jù)此判定問(wèn)題出在NE03 網(wǎng)元。 步驟5: 更換NE03 網(wǎng)元上對(duì)NE02 對(duì)接的10GE 線路板EX2 ，誤碼消失,Page 6,PTN OAM知識(shí)-MPLS OAM,MPLS 支持多種三層和二層協(xié)議，提供一個(gè)完全不依賴于任何上層或下層的OAM 機(jī)制 MPLS OAM 使用CV/FFD、Ping 等方式檢測(cè)LSP 的連通性,CV（Connectivity Verification）/FFD（Fast Failure Detection）單向連通檢測(cè) 1.Ingress 節(jié)點(diǎn)發(fā)送CV/FFD 檢測(cè)報(bào)文，Transit 節(jié)點(diǎn)透?jìng)鲌?bào)文，報(bào)文通過(guò)被檢測(cè)的LSP到達(dá)Egress 節(jié)點(diǎn)； 2

5、. Egress 節(jié)點(diǎn)把接收到的報(bào)文類型、頻率、TTSI 等信息字段與本地記錄的應(yīng)該收到的對(duì)應(yīng)值相比較來(lái)判斷報(bào)文的正誤，并統(tǒng)計(jì)檢測(cè)周期內(nèi)收到的正確報(bào)文與錯(cuò)誤報(bào)文的數(shù)量，從而實(shí)現(xiàn)對(duì)LSP的連通性的實(shí)時(shí)監(jiān) 3. 當(dāng)Egress 節(jié)點(diǎn)檢測(cè)到LSP 缺陷后，分析出缺陷類型，通過(guò)反向通道將攜帶缺陷信息的BDI報(bào)文發(fā)送給Ingress 節(jié)點(diǎn)，從而使Ingress 節(jié)點(diǎn)及時(shí)獲知缺陷狀態(tài),MPLS Ping 單向連通檢測(cè) 1.MPLS Ping使用MPLS Echo Request 和MPLS Echo Reply 檢測(cè)LSP 的可用性。Echo Request 中攜帶需要檢測(cè)的FEC信息，和其他屬于此FEC

6、 的報(bào)文一樣沿LSP 發(fā)送，從而實(shí)現(xiàn)對(duì)LSP 的檢測(cè) 2.Echo Request 消息應(yīng)該達(dá)到Tunnel 的Egress 節(jié)點(diǎn)，由Egress 節(jié)點(diǎn)的控制平面確認(rèn)本節(jié)點(diǎn)是否是該FEC 的出口。通過(guò)MPLS Ping 可以檢測(cè)LSP 是否建立成功,Page 7,PTN OAM 知識(shí)-PW OAM,PTN 設(shè)備將業(yè)務(wù)報(bào)文進(jìn)行PW 封裝后送到Tunnel 中進(jìn)行承載。網(wǎng)絡(luò)中存在Tunnel 和PW兩個(gè)層次，MPLS Tunnel 可以通過(guò)MPLS OAM 維護(hù)和管理，而PW 層則需要通過(guò)PWOAM 來(lái)進(jìn)行維護(hù)和管理 PW OAM 的主要檢測(cè)方式是PW Ping，Ping 報(bào)文在Ingress 節(jié)

7、點(diǎn)封裝進(jìn)PW 中，沿虛電路發(fā)送，從而實(shí)現(xiàn)對(duì)PW 的檢測(cè),如圖 所示，NE1 和NE2 之間存在一條由PW承載的CES 業(yè)務(wù)，在NE1 發(fā)起PW Ping 測(cè)試，可以查看Ping 測(cè)試的結(jié)果，檢測(cè)PW 的運(yùn)行狀態(tài),Page 8,PTN OAM 知識(shí)- 以太業(yè)務(wù)OAM,以太網(wǎng)業(yè)務(wù)OAM 是一種基于MAC 層的協(xié)議，它通過(guò)發(fā)送OAM 報(bào)文來(lái)檢測(cè)以太網(wǎng)鏈路 以太網(wǎng)業(yè)務(wù)OAM 包括CC、LB 和LT 三種檢測(cè)手段,1.環(huán)回檢測(cè)（LB），源端MEP 將構(gòu)造并發(fā)送LBM 幀，同時(shí)啟動(dòng)定時(shí)器開(kāi)始計(jì)時(shí)。如果目的MEP 收到該LBM，將構(gòu)造LBR 幀發(fā)送回源端MEP，環(huán)回成功。如果源端MEP 定時(shí)器超時(shí)，環(huán)回失敗

8、,2.單向連通性檢測(cè)（CC），源端MEP 將周期性的發(fā)送CC 幀，目的MEP 收到源端發(fā)送的CC 幀后，啟動(dòng)CC 檢測(cè)功能。如果目的MEP 在一定時(shí)間之內(nèi)沒(méi)有收到源端的CC 報(bào)文，則自動(dòng)上報(bào)ETH_CFM_LOC 告警。,3.鏈路追蹤檢測(cè)（LT），源端MEP 發(fā)送LTM 幀，同時(shí)啟動(dòng)定時(shí)器開(kāi)始計(jì)時(shí)。鏈路上所有的MIP 都會(huì)轉(zhuǎn)發(fā)LTM 幀，所有收到LTM 幀的MEP 和MIP 都會(huì)回送LTR 幀響應(yīng)，根據(jù)這些LTR 幀可以判斷出源MEP 到目的MEP 所經(jīng)過(guò)的所有MIP。如果源端MEP 定時(shí)器超時(shí)，LT 失敗,Page 9,PTN 故障定位流程,掌握PTN OAM 使用是快速定位鏈路和業(yè)務(wù)故障的

9、關(guān)鍵,目錄,PTN 故障定位方法 PTN 常見(jiàn)故障處理 DCN故障處理 MPLS Tunnel故障處理 PW 故障處理 CES 業(yè)務(wù)故障處理 以太網(wǎng)業(yè)務(wù)故障處理 時(shí)鐘故障處理,Page 11,DCN 故障處理流程,DCN 故障現(xiàn)象 網(wǎng)管與網(wǎng)元通信中斷，網(wǎng)管上網(wǎng)元圖標(biāo)變灰色，網(wǎng)元脫管； 網(wǎng)管操作命令沒(méi)有響應(yīng)。若響應(yīng)中斷時(shí)間持續(xù)超過(guò)2 分鐘，網(wǎng)管與網(wǎng)元通信中斷 網(wǎng)管查詢信息部分丟失,故障可能原因 原因1：全網(wǎng)內(nèi)的網(wǎng)元ID、網(wǎng)元IP 或者子網(wǎng)掩碼存在沖突。 原因2：故障網(wǎng)元的帶內(nèi)DCN 端口未使能，或?qū)佣丝趨?shù)配置不一致。 原因3：故障網(wǎng)元與網(wǎng)管之間的物理連接中斷。 原因4：接收信號(hào)丟失或接收光功

10、率過(guò)低，無(wú)法提取DCN 報(bào)文。 原因5：?jiǎn)伟骞收稀?原因6：DCN 穿越的第三方網(wǎng)絡(luò)不健康，引入DCN 風(fēng)暴或DCN 中斷。 原因7：帶內(nèi)DCN 通道帶寬配置過(guò)低。 原因8：故障網(wǎng)元主控板正在復(fù)位或發(fā)生了主備倒換，帶內(nèi)DCN 報(bào)文得不到響應(yīng)。,Page 12,DCN 故障處理方法,Page 13,DCN 故障處理案例1/3,故障現(xiàn)象 兩臺(tái)非網(wǎng)關(guān)網(wǎng)元NE10 和NE30，分別通過(guò)ML-PPP 連接第三方SDH 設(shè)備，再連接到NE08 與網(wǎng)管保持通訊 NE10 和NE08 已配置業(yè)務(wù)且正常運(yùn)行，NE30 為新創(chuàng)建的網(wǎng)元，未配置業(yè)務(wù) NE30 創(chuàng)建后，NE10 和NE30 一直處于間歇性脫管狀態(tài)，網(wǎng)

11、管上報(bào)NE_COMMU_BREAK 和NE_NOT_LOGIN 告警,處理步驟 步驟1 :檢查NE10 的ML-PPP 端口狀態(tài)，發(fā)現(xiàn)鏈路無(wú)問(wèn)題，業(yè)務(wù)一直都是正常,排除DCN 通道質(zhì)量問(wèn)題 步驟2 :查看NE30 的網(wǎng)元IP，發(fā)現(xiàn)與NE10 某DCN 通道核心路由重復(fù)，確認(rèn)為NE30 網(wǎng)元IP設(shè)置錯(cuò)誤 步驟3 :在網(wǎng)管上更改NE30 的網(wǎng)元IP，返回提示成功后，發(fā)現(xiàn)該兩個(gè)網(wǎng)元仍出現(xiàn)間歇脫管 步驟4 :嘗試查詢NE30 網(wǎng)元信息，NE30 網(wǎng)元IP 仍為修改前的錯(cuò)誤值，網(wǎng)管上修改NE30 網(wǎng)元IP 的操作并未成功 步驟5 多次重復(fù)修改NE30 網(wǎng)元IP 的操作，直至網(wǎng)元間歇性脫管故障消失,案例類

12、型-IP 地址沖突導(dǎo)致網(wǎng)元間歇性脫管,Page 14,DCN 故障處理案例2/3,故障現(xiàn)象 PTN 網(wǎng)絡(luò)的網(wǎng)關(guān)網(wǎng)元穿越一個(gè)IP 傳送網(wǎng)絡(luò)后，保持與網(wǎng)管中心之間的通信 PTN 網(wǎng)絡(luò)中的非網(wǎng)關(guān)網(wǎng)元全部脫管，系統(tǒng)中出現(xiàn)大量MPLS_TUNNEL_LOCV 告警，業(yè)務(wù)中斷,處理步驟 步驟1：檢查該網(wǎng)關(guān)網(wǎng)元主控板上的ETH 接口，發(fā)現(xiàn)該接口通過(guò)網(wǎng)線與IP 傳送網(wǎng)絡(luò)中一臺(tái)路由器的2 號(hào)接口直連。該路由器的1 號(hào)接口連接網(wǎng)管，但3 號(hào)接口與4 號(hào)接口被另一條網(wǎng)線直連，產(chǎn)生了環(huán)路 步驟2 : IP 傳送網(wǎng)絡(luò)中的大量DCN 報(bào)文及其它報(bào)文通過(guò)交換機(jī)的環(huán)路被引入PTN 網(wǎng)絡(luò)中，造成網(wǎng)關(guān)網(wǎng)元的CPU 長(zhǎng)期被完全占用

13、，而PTN 網(wǎng)絡(luò)內(nèi)非網(wǎng)關(guān)網(wǎng)元的DCN 報(bào)文及其它協(xié)議報(bào)文無(wú)法得到處理，最終導(dǎo)致網(wǎng)元脫管，業(yè)務(wù)中斷 步驟3：拔掉引發(fā)交換機(jī)環(huán)回的網(wǎng)線，PTN 網(wǎng)絡(luò)恢復(fù)正常,案例類型-環(huán)回引發(fā)DCN 風(fēng)暴導(dǎo)致網(wǎng)元脫管,Page 15,DCN 故障處理案例3/3,案例類型-子網(wǎng)掩碼配置錯(cuò)誤導(dǎo)致全網(wǎng)網(wǎng)元脫管 故障現(xiàn)象：在由PTN 網(wǎng)元組成的網(wǎng)絡(luò)中，添加一個(gè)新網(wǎng)元后，其它所有網(wǎng)元全部脫管 處理步驟 步驟1 ：PTN 網(wǎng)元都屬于同一個(gè)網(wǎng)段，且“子網(wǎng)掩碼”都是16 位，而新添加的這個(gè)網(wǎng)元的“子網(wǎng)掩碼”是24 位 步驟2 :“子網(wǎng)掩碼”為24 位的網(wǎng)元會(huì)生成一個(gè)“255.255.255.0”的網(wǎng)段路由，而該路由會(huì)通過(guò)DCN

14、通道在網(wǎng)絡(luò)內(nèi)擴(kuò)散。在網(wǎng)管訪問(wèn)網(wǎng)元的過(guò)程中，根據(jù)最長(zhǎng)匹配原則，網(wǎng)管服務(wù)器主機(jī)原本16 位的網(wǎng)段“255.255.0.0”會(huì)被匹配為24 位的“255.255.255.0”，造成其它子網(wǎng)掩碼均為16 位的網(wǎng)元無(wú)法與網(wǎng)管通信，網(wǎng)元脫管 步驟3 :斷開(kāi)新添加網(wǎng)元與網(wǎng)管之間的物理連接，并將該網(wǎng)元的子網(wǎng)掩碼修改為16 位后，網(wǎng)絡(luò)正常,案例類型-GE 端口工作模式不一致導(dǎo)致網(wǎng)元間通信中斷 故障現(xiàn)象：PTN 網(wǎng)元通過(guò)GE 鏈路互聯(lián)組網(wǎng)，網(wǎng)元屬性及DCN 參數(shù)已經(jīng)正確規(guī)劃與配置，現(xiàn)場(chǎng)安裝設(shè)備時(shí)，發(fā)現(xiàn)多處相鄰網(wǎng)元之間無(wú)法通信，但各網(wǎng)元均無(wú)告警上報(bào) 處理步驟 步驟1 :選擇無(wú)法彼此通信的兩個(gè)相鄰網(wǎng)元，現(xiàn)場(chǎng)分別登錄，

15、可正常登錄，且通信正常。 步驟2 :查看當(dāng)前性能事件，鏈路上無(wú)誤碼，測(cè)試光功率也均在正常范圍內(nèi)。 步驟3 檢查兩端網(wǎng)元上直接對(duì)接的光口，均為GE 光口，網(wǎng)管上檢查兩個(gè)端口的屬性配置，發(fā)現(xiàn)“工作模式”不一致（一端為“1000M 全雙工”，一端為“自協(xié)商”） 步驟5 :將兩端GE 光接口的“工作模式”統(tǒng)一修改為“自協(xié)商”模式，通信也正常,目錄,PTN 故障定位方法 PTN 常見(jiàn)故障處理 DCN故障處理 MPLS Tunnel故障處理 PW 故障處理 CES 業(yè)務(wù)故障處理 以太網(wǎng)業(yè)務(wù)故障處理 時(shí)鐘故障處理,Page 17,MPLS Tunnel 故障處理方法,MPLS Tunnel 故障現(xiàn)象 MPL

16、S Tunnel 創(chuàng)建失敗，業(yè)務(wù)不通 l MPLS Tunnel 故障，業(yè)務(wù)中斷 l 保護(hù)倒換失敗，業(yè)務(wù)中斷或出現(xiàn)丟包、誤碼,故障處理方法 檢查鏈路兩端的IP是否設(shè)置正確 檢查控制鏈路狀態(tài)是否OK 檢查光纖是否連接正確 檢查NNI端口之間的二層屬性設(shè)置是否一致(tag/access/hybrid) 查詢是否有相關(guān)鏈路級(jí)告警，如果有需要清除掉 檢查Tunnel的路由約束是否配置正確 檢查Tunnel是否使能 查詢Tunnel所在的物理端口是否存在FLOW_OVER告警，如果存在，說(shuō)明網(wǎng)絡(luò)側(cè)出現(xiàn)擁塞，此時(shí)部分業(yè)務(wù)回手到影響,Page 18,BTS 1,CES,CES,BTS 2,PTN,PTN,E

17、TH,BTS 3,PTN,MPLS,PTN,PTN,MPLS,PTN,BSC,CoreNetwrok,PTN,BSC,GE/10GE,GE/FE,STM-1,STM-1,GE/10GE,MPLS_TUNNEL_LOCV,MPLS_TUNNEL_FDI,MPLS_TUNNEL_LOCV：Tunnel連通性丟失告警。 物理鏈路故障。 網(wǎng)絡(luò)出現(xiàn)嚴(yán)重的擁塞。 對(duì)端設(shè)備故障。 MPLS_TUNNEL_FDI ：Tunnel前向缺陷指示告警。 上游設(shè)備檢測(cè)到物理層發(fā)生了故障，比如斷纖。,MPLS Tunnel 故障典型告警處理,Page 19,MPLS Tunnel 故障處理案例,案例類型-光纖錯(cuò)連導(dǎo)致動(dòng)

18、態(tài)MPLS Tunnel創(chuàng)建失敗 故障現(xiàn)象：在現(xiàn)網(wǎng)上集成業(yè)務(wù)時(shí)，發(fā)現(xiàn)有這樣兩個(gè)網(wǎng)元，彼此之間的DCN通訊正常，但在二者之間的動(dòng)態(tài)Tunnel卻全部創(chuàng)建失敗。PING對(duì)端端口的IP地址，返回“操作超時(shí)”。 處理步驟 步驟1 ：查詢系統(tǒng)當(dāng)前告警，未發(fā)現(xiàn)ETH_LOS、ETH_LINK_DOWN或HARD_BAD告警，且DCN通訊正常，可以排除鏈路、端口或單板等硬件出現(xiàn)了故障。 步驟2 :查詢兩個(gè)網(wǎng)元端口的IP地址，均配置正確，而且在同一個(gè)網(wǎng)段內(nèi) 。 步驟3 :查詢ARP表項(xiàng)，發(fā)現(xiàn)無(wú)法學(xué)習(xí)到對(duì)端端口的“ARP表項(xiàng)”。 步驟4 :因?yàn)閮啥说腄CN通訊是正常的，從DCN的連通性著手分析。只有在學(xué)習(xí)到對(duì)方端口的MAC地址之后，才能開(kāi)始正常的DCN通訊。查詢后發(fā)現(xiàn)宿網(wǎng)元的端口的MAC地址與網(wǎng)元規(guī)劃表不一致。 步驟5:現(xiàn)場(chǎng)確認(rèn)，是設(shè)備安裝時(shí)連錯(cuò)了光纖，導(dǎo)致ARP等協(xié)議不能正常工作，動(dòng)態(tài)Tunnel創(chuàng)建失敗。 步驟6:按照網(wǎng)元規(guī)劃表重新連接光纖后，問(wèn)題解決。,目錄,PTN 故障定位方法 PTN 常見(jiàn)故障處理 DCN故障處理 MPLS Tunnel故障處理 PW 故障處理 CES 業(yè)務(wù)故障處理 以太網(wǎng)業(yè)務(wù)故障處理 時(shí)鐘故障處理,Page 21,PW 故障處理方法,PW 故障現(xiàn)象 PW 創(chuàng)建失敗，業(yè)務(wù)不通。 PW 故障，業(yè)務(wù)中斷或出現(xiàn)丟包、誤碼,故障處理方法 檢查所在的Tunnel是否UP 檢查兩端的