IPRAN深度巡檢

1、荊州聯(lián)通IPRAN深度巡檢項目方法及結果記錄烽火通信2014-07-29一、主控平面1、系統(tǒng)文件檢查項目系統(tǒng)文件檢查目的確保當前軟件版本對應的系統(tǒng)文件是相互匹配標準1、 V2.3SP3版本對應的libnaso1.so版本號：2；2、 V2.3SP3版本對應的cpld版本號：0x24.3、 檢查周期：全網版本升級后，完成一次全面檢查即可操作1、 ssh 登陸網元ip2、 命令行：rootRCU-1 libver3、 輸出結果如下：-Software name : libnaso1.so Version : 2 Build time : 2013-06-24-20:00:00- Software

2、name : cpld Version : 0x24 Build time : 2014-07-23-23:53:52檢查結果及整改意見無異常，全網統(tǒng)一，為匹配最新版本。2、lib庫文件檢查項目lib庫文件檢查目的確保當前RCU工作調用lib文件與版本匹配標準1、V2.3SP3對應libnmprotobuf.so、libprotobuf.so.7大小如下輸出結果；2、檢查周期：全網版本升級后，完成一次全面檢查即可。操作1、 ssh 登陸網元ip2、 命令行：rootRCU-1 cd /librootRCU-1 libll libnmprotobuf.so libprotobuf.so.73、

3、輸出結果如下：-rw-r-r- 1 root root 10961005 Jan 1 1970 libnmprotobuf.so-rw-r-r- 1 root root 5504532 Jan 1 1970 libprotobuf.so.7檢查結果及整改意見無異常，全網統(tǒng)一，為匹配最新版本。3、CPU利用率檢查項目CPU利用率檢查目的確保當前RCU的CPU工作在正常范圍內標準1、CPU利用率= 50% ；2、檢查周期：每天一次。操作1、 ssh 登陸網元ip2、 命令行：rootRCU-1 top3、 輸出結果如下：top - 23:59:06 up 22:06, 2 users,

4、load average: 0.00, 0.00, 0.00Tasks: 77 total, 1 running, 76 sleeping, 0 stopped, 0 zombieCpu(s): 5.3%us, 2.6%sy, 0.0%ni, 91.7%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%stMem: 2061596k total, 212580k used, 1849016k free, 12972k buffersSwap: 0k total, 0k used, 0k free, 86864k cached檢查結果及整改意見無異常，全網檢查結果在正常值范圍內。4

5、、磁盤利用率檢查項目磁盤利用率檢查目的確保當前RCU的磁盤剩余空間范圍正常標準1、CPU利用率= 50% ；2、建議每周進行對比是否有增長過快的網元，有異常需要處理；3、檢查周期：每天一次，形成記錄后操作1、 ssh 登陸網元ip2、 命令行：rootRCU-1 libdf -h3、 輸出結果如下：Filesystem Size Used Avail Use% Mounted onrootfs 1.9G 514M 1.3G 29% /tmpfs 1007M 52K 1007M 1% /dev/shm檢查結果及整改意見無異常，全網檢查在合理范圍值內。5、內存利用率檢查項目內存利用率檢查

6、目的確保當前RCU的內存占用正常標準1、剩余內存free=1000，如果異常需要進一步檢查內存占的具體進程。2、檢查周期：每天一次。操作1、 ssh 登陸網元ip2、 命令行：rootRCU-1 free -m3、 輸出結果如下：total used free shared buffers cachedMem: 2013 207 1805 0 12 84-/+ buffers/cache: 109 1903Swap: 0 0 0檢查結果及整改意見無異常，全網檢查在合理范圍值內。6、中間層文件檢查項目中間層文件檢查目的確保當前設備主備RCU內的中間層文件是否一致標準1、檢查需要需要一致，異常需要

7、立即處理；2、檢查周期：每天一次。操作1、 ssh 登陸網元ip并登陸協(xié)議棧2、 命令行：rootRCU-1 telnet 127.0.0.1 2650router#show mas configure-file nmagent check3、 輸出結果如下：nmagent_config Info Size Last Modify Time MD5 CheckSumRCU1 448072 2014-07-23 15:08:50 3176c1695ff190efc31647bfbde62f01 RCU2 447289 014-07-23 15:08:51 a73d43011493b906ec85

8、2df0fbad74e6 Conclusion No Equal (不一致)/ Equal （一致） No Equal/ Equal檢查結果及整改意見檢查結果：全網檢查僅玉橋核心二、公安聯(lián)通二樓、玉橋匯聚三個網元結點不同步；整改方案：已經通過手動方式進行同步，不影響正常業(yè)務運行。7、Zebos文件檢查項目Zebos文件檢查目的確保當前設備的備用RCU的Zebos文件與主用RCU中的Zebos文件是否一致標準1、檢查需要需要一致，異常需要立即處理；2、檢查周期：每天一次。操作1、 ssh 登陸網元ip并登陸協(xié)議棧2、 命令行：rootRCU-1 telnet 127.0.0.1 2650rout

9、er#show mas configure-file zebos check3、 輸出結果如下：ZEBOS.CFG Info Size Last Modify Time MD5 CheckSumRCU1 394475 2014-07-23 15:09:02 5818a18e620049f6575c7ccd10b3729a RCU2 394475 2014-07-23 15:09:02 5818a18e620049f6575c7ccd10b3729a Conclusion No Equal (不一致)/ Equal （一致） No Equal/ Equal檢查結果及整改意見無異常，全網檢查符合標

10、準要求。8、mac文件檢查項目mac文件檢查目的確保當前設備的備用RCU的mac文件與主用RCU中的mac文件是否一致標準1、檢查需要需要一致，異常需要立即處理；2、檢查周期：工程某一版本升級完成后，檢查一次。操作1、 ssh 登陸網元ip并登陸協(xié)議棧命令行：rootRCU-1 hexdump /home/scu/mac.confrootRCU-1 ssh 10.1.1.17root10.1.1.17's password: Last login: Tue Jun 17 02:13:27 2014 from 10.1.1.16rootRCU-2 hexdump /home/scu/ma

11、c.conf2、 輸出結果如下：0000000 ace0 1000 0000 0001 0101 0101 （主備輸出結果一致） 000000c檢查結果及整改意見無異常，全網檢查符合標準要求。9、BFD UPTIME檢查項目BFD UPTIME檢查目的檢查BFD是否有過異常中斷，從而檢查相關層面中斷原因提前發(fā)現(xiàn)標準1、在非已知異常如光纜中斷等原因的前提下，BFD UPTIME時間不要過短；2、檢查周期：工程某一版本升級完成后，檢查一次。操作1、 ssh 登陸網元ip并登陸協(xié)議棧2、 命令行：rootRCU-1 telnet 127.0.0.1 2650router#show bfd sessi

12、on 3、 輸出結果如下：Sess-Idx Remote-Disc Lower-Layer Sess-Type Sess-State UP-Time Remote-Addr7 79 MPLS LSP Single-Hop Up 21:45:51 127.0.0.12/328 80 MPLS LSP Single-Hop Up 21:33:05 127.0.0.12/321 4 MPLS LSP Single-Hop Up 21:45:51 127.0.0.12/322 5 MPLS LSP Single-Hop Up 21:45:51 127.0.0.12/3211 101 MPLS LSP

13、Single-Hop Up 21:45:51 127.0.0.12/3212 102 MPLS LSP Single-Hop Up 21:33:05 127.0.0.12/325 37 MPLS LSP Single-Hop Up 21:45:53 127.0.0.12/326 38 MPLS LSP Single-Hop Up 22:23:59 127.0.0.12/323 3 MPLS LSP Single-Hop Up 22:23:59 127.0.0.12/324 4 MPLS LSP Single-Hop Up 21:45:53 127.0.0.12/329 23 MPLS LSP

14、Single-Hop Up 21:45:54 127.0.0.12/3210 24 MPLS LSP Single-Hop Up 22:24:00 127.0.0.12/32Number of Sessions: 12 檢查結果及整改意見全網檢查結果正常。全網經過多次全面檢查，出現(xiàn)BFDUPTIME時間短的原因有：1、光纖中斷后TUNNEL-BFD時間 2、全網倒換測試后出現(xiàn)的BFD中斷時間刷新，再無異常變化。10、IPFRR狀態(tài)檢查項目IPFRR狀態(tài)檢查目的檢查IPFRR是否有異常倒換標準1、主用下一跳無告警的情況下，IPFRR倒換狀態(tài)正常而非倒換狀態(tài)；2、檢查周期：每天檢查。操作1、 點擊

15、NP單盤-狀態(tài)查詢-l3frr狀態(tài)2、 輸出結果如下：檢查結果及整改意見檢查正常，符合標準。11、LAG成員狀態(tài)檢查項目LAG成員狀態(tài)檢查目的檢查LAG是否有異常標準1、lag成員正常時應該全部協(xié)商成功2、檢查周期：每天檢查。操作1、 ssh網元IP登陸協(xié)議棧中；命令行如下：router#show interface lag12、 輸出結果如下：查找以下成功狀態(tài)顯示塊Member of the lag group: XGE0/4/1 LACP load-balance negotiate success XGE0/4/2 LACP load-balance negotiate success

16、XGE0/13/1 LACP load-balance negotiate success XGE0/13/2 LACP load-balance negotiate success 檢查結果及整改意見檢查正常，符合標準。12、debug功能開啟狀態(tài)檢查項目debug功能開啟狀態(tài)檢查目的是否有debug程序正在運行，如果有需要關閉標準1、非正常調測問題的情況下，debug功能全關2、檢查周期：每天檢查。操作1、 ssh網元IP登陸協(xié)議棧中；2、 命令行如下：router#show running-configure3、 輸出結果如下：檢查結果及整改意見檢查結果：南環(huán)路開啟了debug功能，其它

17、站點正常。整改意見：已經手動關閉，全部正常。二、轉發(fā)平面1、RCU與各單盤通信狀態(tài)檢查項目RCU與各單盤通信狀態(tài)檢查目的檢查RCU與各單盤通信是否正常標準1、非正常調測問題的情況下，debug功能全關2、檢查周期：每天檢查。操作1、 ssh網元IP登陸協(xié)議棧中；2、 命令行如下：router#show tne board3、 輸出結果如下：說明：status 狀態(tài)應該為OK，TNE 狀態(tài)為OPEN。檢查結果及整改意見全網檢查正常。2、單盤溫度檢查項目單盤溫度檢查目的檢查單盤是否工作在正常溫度范圍內，指導全網正確設置溫度告警門限標準1、根據附件溫度范圍要求，單盤工作溫度=調速門限2、如果工作溫度

18、>調整門限，需要檢查風扇轉速以及機房溫度情況3、檢查周期：每天檢查。備注：參考溫度指導文檔操作1、 單盤-狀態(tài)-單盤基本信息狀態(tài)塊-工作溫度2、 輸出結果如下： 檢查結果及整改意見全網檢查正常。3、單盤任務狀態(tài)檢查項目單盤任務狀態(tài)檢查目的單盤內任務進程是否存在異常情況標準1、進程狀態(tài)無stop、suspend；2、檢查周期：每天檢查。操作1、 ssh網元IP登陸網元單盤 命令行如下：rootRCU-1 telnet 10.26.0.11（單盤盤號） 24Trying 10.26.0.11.Connected to 10.26.0.11 (10.26.0.11).Escape charac

19、ter is ''.Fiberhome Telecommunication Technology Co.,Ltd Copyright (C) 2011-2020username:diagpassword:* （密碼和用戶名一樣）FiberHome>enable FiberHome#i 2、 輸出結果如下：檢查結果及整改意見全網檢查正常。4、查看單盤CPU利用率項目查看單盤CPU利用率目的查看單盤CPU利用率是否正常標準1、正常運行下，tLGather進程占用比例最高；2、檢查周期：每星期。操作1、 ssh網元IP登陸網元單盤 命令行如下：rootRCU-1 telnet

20、10.26.0.11（單盤盤號） 24Trying 10.26.0.11.Connected to 10.26.0.11 (10.26.0.11).Escape character is ''.Fiberhome Telecommunication Technology Co.,Ltd Copyright (C) 2011-2020username:diagpassword:* （密碼和用戶名一樣）FiberHome>enable FiberHome#taskperf enable （開啟性能檢查）task performance statistics enable !F

21、iberHome#taskperf display （運行兩次查看下面輸出結果）FiberHome#taskperf disable （檢查完畢后需要關閉性能檢查）2、 輸出結果如下：備注：在沒有配置下發(fā)處理的時候，標記的任務占CPU比較多為正常。3、FiberHome#exit FiberHome>FiberHome>exit You have quitted from system.Please login again.Connection closed by foreign host.檢查結果及整改意見全網檢查正常。5、單盤信號量是否互鎖檢查項目單盤信號量是否互鎖檢查目的避免

22、信號量互鎖標準1、輸入命令后交不顯示任何內容為正常，否則是異常。2、檢查周期：每星期。操作1、 ssh網元IP登陸網元單盤 命令行如下：rootRCU-1 telnet 10.26.0.11（單盤盤號） 24Trying 10.26.0.11.Connected to 10.26.0.11 (10.26.0.11).Escape character is ''.Fiberhome Telecommunication Technology Co.,Ltd Copyright (C) 2011-2020username:diagpassword:* （密碼和用戶名一樣）FiberH

23、ome>enable FiberHome#info semInterlock FiberHome#2、 輸出結果如下：FiberHome#info semInterlock （如果出現(xiàn)信號量互鎖，會顯示） FiberHome#無顯示內容即為正常。3、退出環(huán)境 FiberHome#exit FiberHome>FiberHome>exit You have quitted from system.Please login again.Connection closed by foreign host.檢查結果及整改意見全網檢查正常。6、系統(tǒng)類型配置檢查項目系統(tǒng)類型配置檢查目的嚴

24、格按要求配置系統(tǒng)類型標準1、工程上860系統(tǒng)類型一般為220G，865為640G。2、檢查周期：工程版本升級后檢查一次后以季度為單位檢查。操作1、 ssh網元IP登陸協(xié)議棧 2、 命令行如下：rootRCU-1 telnet 127.0.0.1 2650 FiberHome# show running-configure3、 輸出結果如下：FiberHome# show running-configureglobal-config-mode global-basic-config system-type 640G commit!檢查結果及整改意見全網檢查正常。7、NP單盤SRAM芯片異常包檢查

25、項目NP單盤SRAM芯片異常包檢查目的即時發(fā)現(xiàn)SRAM芯片是否有轉發(fā)異?；蛘咤e誤包存在標準1、不在在錯誤包性能值。2、檢查周期：每星期檢查一次。操作1、 ssh網元IP登陸單盤2、 命令行如下：rootRCU-1 telnet 10.26.0.11Trying 10.26.0.11.Connected to 10.26.0.11 (10.26.0.11).Escape character is ''.VxWorks login: bmu852Password: ->DbgGetNPUCounter(運行兩次或者以上后查看結果)3、輸出結果如下： ->Dbg

26、GetNPUCounter    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     NPU SubSystem + Counter    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     SMS_Inp_SopPP 0x00000000000085BE     SMS_I

27、np_SopTI 0x00000000000085BE     SMS_Inp_SopTM 0x00000000000044B0     SMS_Drop_PPMaskDrop 0x000000000000005C     LBuf_PPSink_Drop 0x000000000000005C     TM_QMgr_FromSMS 0x00000000000044B1 

28、60;   TM_RCB_ToSMS 0x00000000000044B1    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     PP + ERROR    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     PP_EAP11 Chan0     PP

29、_EAP17 Chan1     PP_EAP20 Chan1     PP_EAP11_Ch0 ReqNotCompErr     PP_EAP17_Ch1 ReqNotCompErr     PP_EAP20_Ch1 ReqNotCompErr     PP_DumpUnit EAPReqNotCompErrPP_LAS0 RAMEccUncorErr    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     SMS + ERROR    +-+