SCTP偶聯(lián)中斷故障處理案例.doc

SCTP偶聯(lián)中斷故障處理故障現(xiàn)象：諾西端局CSGS45的單塊ESB板故障，造成SCTP偶聯(lián)的主通路中斷，由于現(xiàn)網(wǎng)局間SCTP偶聯(lián)均配置了雙通路，單塊ESB板故障并不會導致局間SCTP偶聯(lián)中斷。而實際情況是，CSGS45至中興局向部分SCTP偶聯(lián)中斷，而到華為局向和其他諾西局向的SCTP偶聯(lián)均正常，也就是說SCTP的雙通路并未起到保護作用，對此，我們進行了分析，并排除了故障。原因分析：分析判斷可能原因：1、備用通路不通2、諾西端局硬件或配置問題3、中興端局硬件或配置問題原因排查：SCTP（STREAM CONTROL TRANSMISSION PROTOCOL 流控制傳輸協(xié)議）能在兩個端點之間提供穩(wěn)定、有序的數(shù)據(jù)傳遞服務，在SIGTRAN協(xié)議的應用中，SCTP上層用戶是SCN 信令的適配模塊（如M2UA、M3UA），下層是IP網(wǎng)。偶聯(lián)實際上是在兩個SCTP端點之間建立的連接關系，任何時刻兩個SCTP端點之間能且僅能建立一個偶聯(lián)。通路則是一個端點將SCTP分組數(shù)據(jù)發(fā)送到對端端點特定傳送地址的路由。在現(xiàn)網(wǎng)中，如下圖1所示，兩個端局之間配置了4個偶聯(lián)，每個偶聯(lián)具有主備兩條通路，并采用了心跳機制，即當某條通路空閑時，本端端點會生成相應的心跳消息并通過該空閑通路發(fā)送到對端端點，而對端端點收到消息后將立即發(fā)回對應的心跳確認消息。該機制被用來隨時監(jiān)視偶聯(lián)通路的可用情況，當某一條通路故障時，數(shù)據(jù)傳送將立即切換到另一條通路上，以此來保持SCTP偶聯(lián)的可靠性和穩(wěn)定性。圖1 局間偶聯(lián)示意圖圖2 諾西端局偶聯(lián)配置示意圖如上圖所示，諾西端局的偶聯(lián)建立在GISU板上，每一塊GISU板對應一個偶聯(lián)。每個偶聯(lián)的兩條通路分別通過兩塊ESB板連接直IP承載網(wǎng)，進而與對端局相連。本次故障起因為ESB1板故障，但單塊ESB板故障只會導致偶聯(lián)2條通路中的1條通路中斷，根據(jù)偶聯(lián)的心跳機制，數(shù)據(jù)傳輸將立即切換到另一條通路上，整個偶聯(lián)將不會受影響。而實際情況是CSGS45至中興局向部分SCTP偶聯(lián)中斷，而到華為局向和其他諾西局向的SCTP偶聯(lián)均正常，也就是說SCTP的雙通路并未起到保護作用，對此，我們進行了如下分析。1、偶聯(lián)備用通路不通當偶聯(lián)的主用通路中斷后，備用通路未起到作用，導致偶聯(lián)中斷。因此，首先排查備用通路是連通。通過ZOYI:A;命令查詢了偶聯(lián)對應的IP地址如下。ASSOCIATION SET NAME ASSOC SET ID SCTP USER ROLE- - - -CSGS9BICC 9 M3UA SERVER ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 0 GISU-2 - MSSBICC SCTP-DOWN SOURCE ADDRESS 1 . . . . . : 8 SOURCE ADDRESS 2 . . . . . : 66 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : 3/27 SECONDARY DEST. ADDRESS . : 4/27 DESTINATION PORT . . . . . : 8071 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 1 GISU-4 - MSSBICC SCTP-DOWN SOURCE ADDRESS 1 . . . . . : 9 SOURCE ADDRESS 2 . . . . . : 67 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : 3/27 SECONDARY DEST. ADDRESS . : 4/27 DESTINATION PORT . . . . . : 8072 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 2 GISU-5 - MSSBICC SCTP-DOWN SOURCE ADDRESS 1 . . . . . : 0 SOURCE ADDRESS 2 . . . . . : 68 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : 3/27 SECONDARY DEST. ADDRESS . : 4/27 DESTINATION PORT . . . . . : 8073 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 3 GISU-8 4 MSSBICC ASP-DOWN SOURCE ADDRESS 1 . . . . . : 1 SOURCE ADDRESS 2 . . . . . : 69 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : 3/27 SECONDARY DEST. ADDRESS . : 4/27 DESTINATION PORT . . . . . : 8074 DATA STREAM COUNT . . . . : 16SPECIFICATION VERSION . . : 1.0 (RFC) TRAFFIC MODE . . . . . . . : LOAD-SHARE ASP MESSAGES . . . . . . . : YES REGISTRATION REQUEST . . . : YES SSNM MESSAGES BROADCAST . : NO NETWORK APPEARANCE . . . . : 4294967295ASP MESSAGES IN IPSP . . . : NO ROUTING CONTEXT . . . . . : - FIRST DATA STREAM NUMBER . : 1 TACK .: 2 SECONDS M3UA HB.INTERVAL.: 15 SECONDS ACTIVATION DELAY.: 0 SECONDS其中SOURCE ADDRESS 1與PRIMARY DEST. ADDRESS對應了主用通路的兩個端點的IP地址，SOURCE ADDRESS 2與SECONDARY DEST. ADDRESS對應了備用通路兩個端點的IP地址。利用ZQRX命令，對每個偶聯(lián)的備用通路IP地址進行了PING測試，結果均能PING通，表明備用通路每個地址都是連通的。 QRX:GISU,3:IP=4,SRC=66,;LOADING PROGRAM VERSION 24.18-0MSCi CSGS45 2013-01-21 17:23:36PING, SENDING UNIT: GISU-2 PING 4 (4) from 66: 56 data bytes64 bytes from 4: icmp_seq=0 ttl=251 time=26.921 ms- 4 ping statistics -1 packets transmitted, 1 packets received, 0% packet lossround-trip min/avg/max/stddev = 26.921/26.921/26.921/0.000 msCOMMAND EXECUTED2、諾西端局硬件或配置問題諾西端局的偶聯(lián)是由GISU板負責的，首先通過ZUSI命令查詢各GISU板工作狀態(tài)均正常，且無任何告警，證明硬件無問題。 ZUSI;LOADING PROGRAM VERSION 27.15-0EXECUTION STARTEDMSCi CSGS45 2013-01-21 17:13:32WORKING STATE OF UNITS UNIT PHYS STATE LOCATION INFOGISU-0 003A SP-EX VMU-2 IDLE GISU-1 003B WO-EX VMU-2 - GISU-2 003C WO-EX VMU-3 - GISU-3 003D WO-EX VMU-3 - GISU-4 003E WO-EX VMU-4 - GISU-5 003F WO-EX VMU-5 - GISU-6 0040 WO-EX VMU-6 - GISU-7 0041 WO-EX VMU-7 - GISU-8 0042 WO-EX VMU-8 - GISU-9 0043 WO-EX VMU-9 - GISU-10 0044 WO-EX VMU-10 - GISU-11 0045 SP-EX VMU-10 IDLE 接下來查詢建立在同一塊GISU板上，但到其它局向的偶聯(lián)狀態(tài)。如下所示，標黃的部分為到華為關口局HYADS2的偶聯(lián)，且開在GISU-2和GISU-4板上，這與到中興CSGS9局的偶聯(lián)開在同一塊板件上。兩者采用相同配置，到華為關口局的偶聯(lián)正常，排除了因諾西端局配置不當導致偶聯(lián)中斷的因素。ASSOCIATION SET NAME ASSOC SET ID SCTP USER ROLE- - - -HYADS2BICC 6 M3UA SERVER ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 0 GISU-1 7 MSSBICC ASP-ACTIVE SOURCE ADDRESS 1 . . . . . : 6 SOURCE ADDRESS 2 . . . . . : 64 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : /27 SECONDARY DEST. ADDRESS . : 30/27 DESTINATION PORT . . . . . : 2906 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 1 GISU-0 7 MSSBICC ASP-ACTIVE SOURCE ADDRESS 1 . . . . . : 7 SOURCE ADDRESS 2 . . . . . : 65 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : /27 SECONDARY DEST. ADDRESS . : 31/27 DESTINATION PORT . . . . . : 2906 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 2 GISU-2 6 MSSBICC ASP-ACTIVE SOURCE ADDRESS 1 . . . . . : 8 SOURCE ADDRESS 2 . . . . . : 66 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : /27 SECONDARY DEST. ADDRESS . : 30/27 DESTINATION PORT . . . . . : 2906 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 3 GISU-4 6 MSSBICC ASP-ACTIVE SOURCE ADDRESS 1 . . . . . : 9 SOURCE ADDRESS 2 . . . . . : 67 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : /27 SECONDARY DEST. ADDRESS . : 31/27 DESTINATION PORT . . . . . : 2906 DATA STREAM COUNT . . . . : 16SPECIFICATION VERSION . . : 1.0 (RFC) TRAFFIC MODE . . . . . . . : LOAD-SHARE ASP MESSAGES . . . . . . . : YES REGISTRATION REQUEST . . . : YES SSNM MESSAGES BROADCAST . : NO NETWORK APPEARANCE . . . . : 8ASP MESSAGES IN IPSP . . . : NO ROUTING CONTEXT . . . . . : - FIRST DATA STREAM NUMBER . : 1 TACK .: 2 SECONDS M3UA HB.INTERVAL.: 15 SECONDS ACTIVATION DELAY.: 0 SECONDS3、中興端局硬件或配置問題1）中興端局的偶聯(lián)是由SIPI板負責的，經(jīng)診斷2塊SIPI單板工作狀態(tài)均正常，且無任何告警，證明硬件無問題。2）查看中興交換機CSGS9 SCTP偶聯(lián)配置，數(shù)據(jù)配置正確，如下：3）、查看BFD（雙向轉發(fā)檢測：Bidirectional Forwarding Detect