省CMnet網(wǎng)絡維護辦法

1、XX省CMNET網(wǎng)絡維護細則XX省CMNET網(wǎng)絡維護總概中國移動數(shù)據(jù)網(wǎng)是中國移動通信網(wǎng)一個重要組成部分，要緊為數(shù)據(jù)業(yè)務GPRS,WAP,移動夢網(wǎng)等提供接入、承載服務。承載網(wǎng)絡質(zhì)量直接決定了這些服務的等級，因此，承載網(wǎng)絡CMNET無故障運行是各種業(yè)務正常運行的關(guān)鍵，數(shù)據(jù)網(wǎng)絡維護也成為網(wǎng)絡維護的重要組成。為了使設備處于最佳的運行狀態(tài)，保證用戶業(yè)務能夠保持在較高水平，特制定該細則，為維護人員提供一個完備的、可行的方法，通過該維護細則實施方法的指導，提高維護人員對數(shù)據(jù)承載網(wǎng)絡維護的認識。XX省CMNET骨干網(wǎng)設備要緊采納CISCO,JUNIPER，EXTREME等廠家設備，網(wǎng)絡拓撲結(jié)構(gòu)劃分為骨干層、匯

2、接層、接入層三部分，因此對處于不同網(wǎng)絡層的設備提出了日檢、定期檢測的要求。不僅幸免重大障礙發(fā)生后故障恢復時刻較長，而且做到故障及時發(fā)覺、及時處理，異常網(wǎng)絡行為實時監(jiān)控。CMNET網(wǎng)設備系統(tǒng)維護工作的差不多任務及要緊工作內(nèi)容： 保證設備的完好，設備的電氣性能、機械性能、維護技術(shù)指標及各項服務指標符合標準。網(wǎng)絡通信通暢，端口、鏈路運行正常，路由高效精簡。迅速準確地排除各種通信故障，保證通信暢通。保證各種業(yè)務接入質(zhì)量，提高承載網(wǎng)絡服務質(zhì)量。負責新設備、擴容設備的入網(wǎng)質(zhì)量把關(guān)，防備新的網(wǎng)絡設備引起網(wǎng)絡異常。一、CMNET維護網(wǎng)元要素1骨干層設備：西北各省市IP數(shù)據(jù)CMNET的匯接點，包括：路由器M16

3、0，CISCO7507；交換機CISCO40032匯接層設備：XX省各地市IP數(shù)據(jù)CMNET接入點，包括：路由器M40I，CISCO3640;交換機BlackDiamond6808；域名解析服務器3接入層設備：XX省各地市數(shù)據(jù)業(yè)務接入，包括：路由器M20 ，AXC-632,470；交換機：SUMMIT48二、CMNET設備日常維護1設備物理環(huán)境檢測為設備的運行提供了較好的物理環(huán)境，符合機房設施工作要求，清潔運行環(huán)境減少了粉塵對系統(tǒng)的阻礙，正常溫度、濕度保證系統(tǒng)正常運行，物理線路標識清晰，有利于維護，故障排除。檢測的內(nèi)容要緊包括：機柜清潔，設備溫度、濕度符合要求，電源正常，線纜的整潔有序，標簽清

4、晰完整，接口牢固無松動2設備狀態(tài)檢測路由器部分：路由引擎物理狀態(tài)是路由器正確計算路由表，數(shù)據(jù)包快速轉(zhuǎn)發(fā)的基礎，最直接的表現(xiàn)為溫度、濕度，LED面板顯示正確。具體要求：溫度小于60攝氏度，LED面板能夠無誤反映當前的系統(tǒng)各個單板的運行狀態(tài)，包括散熱風扇工作狀態(tài)，系統(tǒng)工作溫度，運行狀態(tài)路由引擎運行狀態(tài)：對路由引擎的監(jiān)控要緊針對內(nèi)存、CPU因為其他不正常的網(wǎng)絡行為而導致系統(tǒng)負荷增加，對網(wǎng)絡拓撲的變化協(xié)議不能正確、及時的做出計算，阻礙網(wǎng)絡收斂，導致網(wǎng)絡擁塞，因此DRAM占用率應該小于60%，CPU利用率小于65%（USER,BACKGROUD,KERNEL,INTERRUPT,IDLE等綜合指標反映了

5、CPU占用的要緊緣故，依照這些指標能夠得到排除故障的著手點）,系統(tǒng)運行時刻反映了網(wǎng)絡協(xié)議運行的穩(wěn)定性，同時提供了系統(tǒng)上次重新啟動的時刻，有助于分析整個網(wǎng)絡配置的合理性，平均負荷計算統(tǒng)計值提供了一個量化的指標，假如大于60%就需要分析當前造成系統(tǒng)負荷的緣故交換操縱板物理狀態(tài)：交換操縱板要緊負責對接口板的操縱，對所有轉(zhuǎn)發(fā)數(shù)據(jù)包的存儲，轉(zhuǎn)發(fā)信息條目的維護，正常的溫度，提高該板無故障運行時刻，LED面板狀態(tài)直接顯示的當前運行狀態(tài)，提供相應指標。交換操縱板運行狀態(tài)：TOTAL CPU DRAM占用率反映對轉(zhuǎn)發(fā)條目計算、儲存能力，BUFFER占用率表示存儲數(shù)據(jù)包的能力，關(guān)于不同的數(shù)據(jù)包分不存儲于不同的BU

6、FFER，提高轉(zhuǎn)發(fā)能力，啟動/運行時刻分析用于網(wǎng)絡異常導致操縱板重新啟動時刻接口板物理狀態(tài)：溫度，運行狀態(tài)指示燈接口板運行狀態(tài)：ONLINE信息，邏輯端口顯示，CPU DRAM 占用率，TOTAL SDRAM占用率，I/O治理信息，接口板啟動時刻，接口板運行時刻。依照這些信息能夠直接分析當前局向?qū)ο到y(tǒng)的阻礙，及時調(diào)整用戶的策略，增加帶寬或者分擔用戶流量接口模塊運行狀態(tài)：155MPOS端口鏈路傳輸協(xié)議，GE端口鏈路傳輸協(xié)議，在線狀態(tài)；通過檢測這些協(xié)議，及時發(fā)覺網(wǎng)絡對端的行為，及時通知對端修改配置，目前POS,GE等端口，都為設備的要緊傳輸接口，保證這些端口正常尤為重要，通過分析各端口狀態(tài)，可直接

7、定位傳輸問題，端口問題。散熱風扇工作狀態(tài)電源模塊正常。由于電源不穩(wěn)定，導致系統(tǒng)不斷反轉(zhuǎn)，不僅嚴峻阻礙設備的運行，而且導致應用協(xié)議不能正確計算路由表，無法同步網(wǎng)絡信息庫，假如系統(tǒng)無告警時，這種故障難以發(fā)覺。日志記錄檢查：系統(tǒng)日志、告警日志、異常告警日志；通過檢查日志專門直觀的反映了設備運行當中產(chǎn)生的問題，有助于直接解決問題，對經(jīng)常性的告警進行分析，能夠總結(jié)出優(yōu)化系統(tǒng)的方法，幸免同一問題在其他設備上的發(fā)生交換機部分： 系統(tǒng)主控器物理狀態(tài)：系統(tǒng)負載告警指示燈，主備工作狀態(tài)，溫度指示告警，風扇運行狀態(tài)，電源工作狀態(tài)；系統(tǒng)主控物理狀態(tài)直接反映了系統(tǒng)的運行狀況，通過觀看指示燈，就能夠大體了解系統(tǒng)運行狀態(tài)系

8、統(tǒng)主控器運行狀態(tài)：CPU治理信息，告警記錄方式，MEM內(nèi)存占用率；通過分析數(shù)據(jù)就能夠大致了解系統(tǒng)目前的工作狀態(tài)，反映出當前系統(tǒng)運行穩(wěn)定等級。交換操縱板：工作狀態(tài)指示燈；直觀指示轉(zhuǎn)發(fā)主控器的運行狀態(tài)接口板物理狀態(tài)：告警指示燈，運行指示燈；直觀指示出接口板工作狀態(tài)，單工/雙工模式，10M/100M自適應，數(shù)據(jù)包的轉(zhuǎn)發(fā)繁忙程度接口板運行狀態(tài)：狀態(tài)信息，UTP端口使用信息，端口模塊配置方式，端口配置模式。通過統(tǒng)計狀態(tài)能夠得到準確的數(shù)據(jù)包收發(fā)，及時排除端口故障電源工作狀態(tài)，指示主備電源狀態(tài)散熱風扇工作狀態(tài)日志檢測，日志全面記錄了設備端口物理故障，引起系統(tǒng)進程、端口模塊，重新啟動的緣故，受到外部攻擊的記錄

9、，依照日志記錄及時調(diào)整各種策略減少CPU負載VLAN功能正常工作，減少整個設備遭受廣播包阻礙的范圍，幸免廣播風暴，減少所有設備CPU負荷處理壓力，對網(wǎng)絡正常運行有深遠的意義DNS域名解析服務器：DNS網(wǎng)絡接口工作正常,可排除網(wǎng)絡軟件應用協(xié)議層問題DNS進程運行狀態(tài)：進程的啟動表明服務可用，能夠為網(wǎng)絡提供可用的服務DNS配置文件：確認配置文件正確性服務器CPU負載：DNS服務正常工作CPU負荷小于65%系統(tǒng)日志：察看系統(tǒng)進程故障及其他安全方面記錄網(wǎng)絡質(zhì)量測試： 監(jiān)控省網(wǎng)各節(jié)點到匯接節(jié)點時延、鏈路完好性：通過端到端測試直接反映各地市至匯接節(jié)點的鏈路狀態(tài)，丟包率應小于5%，延時應小于200ms，帶寬

10、占用率小于60%監(jiān)控省網(wǎng)各節(jié)點到骨干節(jié)點時延、鏈路完好性：省網(wǎng)匯接節(jié)點到骨干完好率保證省內(nèi)數(shù)據(jù)業(yè)務正常，要求丟包率應小于5%，延時應小于200ms，帶寬占用率小于60% 監(jiān)控省網(wǎng)各節(jié)點到GRE路由器時延、鏈路完好性：WAP業(yè)務是通過各地市的M20的GRE端口與西安CISCO3640建立隧道而實現(xiàn)的，運行OSPF協(xié)議形成WAP域，鏈路完好保證業(yè)務正常工作。要求丟包率應小于5%，延時應小于200ms，帶寬占用率小于60% 測試域名解析功能完好，解析時延 三、CMNET定期檢測1、分析骨干接口流量統(tǒng)計值：INPUT BYTE,OUTPUT BYTE,造成輸入錯誤類型統(tǒng)計（FRAMING封幀錯誤線路問

11、題,RUNT數(shù)據(jù)包小于64字節(jié)廣播風暴引起,GIANT巨大幀需要調(diào)整MTU,CRC網(wǎng)絡質(zhì)量問題），造成輸出錯誤緣故類型統(tǒng)計(CARRIER轉(zhuǎn)換由載波丟失引起,DROP網(wǎng)絡丟棄數(shù)據(jù)包，可能由于端口處理能力不足引起)，每百萬數(shù)據(jù)包壞包率應小于5%2、分析匯接接口流量統(tǒng)計值：INPUT BYTE,OUTPUT BYTE,造成輸入錯誤統(tǒng)計（FRAMING,RUNT,GIANT,CRC），造成輸出錯誤緣故類型統(tǒng)計(CARRIER轉(zhuǎn)換,DROP)，每百萬數(shù)據(jù)包小于5%3、檢查骨干接口鏈路狀態(tài)：鏈路協(xié)議啟動、鏈路類型，鏈路協(xié)議狀態(tài)：確定鏈路運行所必備條件，檢測SDH傳輸SECTION,LINE,PATH完好

12、率，PPP協(xié)議的LCP,IPCP狀態(tài)4、檢查匯接接口鏈路狀態(tài)：鏈路協(xié)議啟動、鏈路類型，鏈路協(xié)議狀態(tài)：確定鏈路正常運行必備條件，檢測SDH傳輸SECTION,LINE,PATH完好率，PPP協(xié)議的LCP,NCP狀態(tài)5、分析省內(nèi)路由狀態(tài)： SUMMIT48與M20的OSPF協(xié)議狀態(tài)，網(wǎng)絡信息數(shù)據(jù)庫正常，OSPF協(xié)議接口啟動狀態(tài)，OSPF協(xié)議鄰居狀態(tài)，OSPF協(xié)議運算統(tǒng)計，OSPF路由表ENTRY正確性M20與M40之間IS-IS協(xié)議狀態(tài)，鏈路狀態(tài)數(shù)據(jù)庫，ISIS鄰居啟動狀態(tài)，ISIS協(xié)議接口啟動狀態(tài)，ISIS協(xié)議SPF算法統(tǒng)計,ISIS協(xié)議統(tǒng)計M40,CISCO 7507與M160之間BGP協(xié)議狀

13、態(tài)，BGP鄰居的狀態(tài)，BGP協(xié)議SESSION建立狀態(tài)，OPEN，UPDATE,WITHDROW，KEEPALIVE等協(xié)議維護數(shù)據(jù)包發(fā)送狀態(tài)路由循環(huán)，鏈路負載均衡，北京國際出口、上海、廣東出口鏈路狀態(tài),時延，檢測XX省網(wǎng)到出口鏈路狀態(tài)，使用PING,TRACEROUTE等網(wǎng)絡測試工具發(fā)覺出現(xiàn)問題路由，對出口流量統(tǒng)計6、分析省內(nèi)交換機VLAN劃分，端口分配，SPANNING TREE 啟動狀態(tài)，調(diào)整SPANNING TREE 根狀態(tài)，三層路由啟動狀態(tài)，網(wǎng)絡信息描述數(shù)據(jù)庫，OSPF協(xié)議接口啟動狀態(tài)，OSPF協(xié)議鄰居狀態(tài)，OSPF協(xié)議統(tǒng)計，OSPF路由表ENTRY正確性7、檢查各地市私有、公有IP地

14、址使用情況，異常流量分析；WAP、GRPS分配網(wǎng)段更改情況，GRE端口狀態(tài)及隧道啟動狀態(tài)，私網(wǎng)內(nèi)部OSPF協(xié)議的運行狀態(tài)，網(wǎng)絡信息描述數(shù)據(jù)庫，OSPF協(xié)議接口啟動狀態(tài)，OSPF協(xié)議鄰居狀態(tài)，OSPF協(xié)議運算統(tǒng)計，OSPF路由表ENTRY正確性8、路由器、交換機軟件版本情況，檢查數(shù)據(jù)配置有效性，刪除不必要數(shù)據(jù)配置，及時清理磁盤文件，刪除過時或沒用的局數(shù)據(jù)文件和進程，保證磁盤空閑空間大于磁盤空間20%四、系統(tǒng)備份1、路由器備份：配置文件備份：確保當前備份文件及時更新，不慎修改運行文件引起系統(tǒng)故障要求恢復及時快速，通過對比當前運行文件和備份配置文件優(yōu)化路由系統(tǒng)文件備份：確保啟動BOOT盤壞，可及時利

15、用備份文件制作系統(tǒng)啟動盤鏡像盤同步：保證雙路由引擎系統(tǒng)配置文件一致2、交換機備份：配置文件備份：確保當前備份文件及時更新，不慎修改運行文件引起系統(tǒng)故障要求恢復及時快速，通過對比當前運行文件和備份配置文件優(yōu)化路由系統(tǒng)文件：確保啟動BOOT盤壞，可及時制作系統(tǒng)啟動文件，同時倒回系統(tǒng)啟動文件3、DNS備份：要緊配置文件，確保及時恢復域名解析功能五、業(yè)務測試目前承載網(wǎng)絡業(yè)務較少，因此能夠集中精力加大對WLAN,GPRS，專線用戶等數(shù)據(jù)業(yè)務測試，通過測試保證業(yè)務可用性，及時發(fā)覺網(wǎng)絡問題，業(yè)務測試有：GPRS業(yè)務互聯(lián)端口狀態(tài)，鏈路協(xié)議啟動，端口出錯率的統(tǒng)計分析、延時、丟包率，路由備份切換：依照網(wǎng)絡流量及時

16、調(diào)整路由狀態(tài)，互聯(lián)鏈路故障及時發(fā)覺、解決，確保業(yè)務正常使用，WLAN業(yè)務互聯(lián)端口狀態(tài)，鏈路協(xié)議啟動，端口RESET緣故，統(tǒng)計分析延時、丟包率專線業(yè)務互聯(lián)端口狀態(tài)、延時、丟包率六、告警及故障處理網(wǎng)絡故障發(fā)生是不可幸免的，引起故障緣故呈現(xiàn)多樣性，要緊為設備硬件故障、軟件內(nèi)部BUG、用戶行為、外部人為破壞，治理，操作錯誤等，通過制定告警及故障級不定義，處理方法，能夠提高故障排除效率，另外在發(fā)覺潛在制造故障因素，幸免故障發(fā)生都有一定的意義。故障級不定義：1、嚴峻故障：各地市SUMMIT48與M20路由器鏈路阻斷，將會導致專線業(yè)務，WAP業(yè)務全部阻斷；各地市M20與匯接路由器M40鏈路阻斷，各地市數(shù)據(jù)業(yè)

17、務全部阻斷；XX省M40與M160骨干端口阻斷，XX省數(shù)據(jù)業(yè)務全部阻斷2、一般故障：各地市SUMMIT48個端口鏈路阻斷，只阻礙端口業(yè)務；各地市 M20鏈路阻斷；端口鏈路非正?；謴蛦?由于端口處理板處理能力下降，導致端口重新啟動3、其他故障，如由于疏忽錯誤配置數(shù)據(jù)阻礙其他業(yè)務正常使用，新增業(yè)務部分實現(xiàn)；數(shù)據(jù)設備一般告警，業(yè)務尚可使用，部分用戶使用受到阻礙故障處理：1、嚴峻故障發(fā)生后當?shù)剡\行維護部門與班組必須立即采取必要措施，保證系統(tǒng)運行和通信電路及早回復，幸免事故擴大2、嚴峻故障發(fā)生后必須立即逐級上報，直至集團公司網(wǎng)絡部，嚴峻故障解決后向上級主管部門書面匯報。3、嚴峻故障發(fā)生后，當?shù)剡\行維護

18、部門應立即查清故障緣故，落實防范措施，確定故障性質(zhì)和責任嚴峻故障當事班組應填寫故障報告，由主管領(lǐng)導填寫意見，故障發(fā)生后三天內(nèi)報上級主管部門一般故障發(fā)生后，當?shù)鼐S護部門應按照故障處理流程立即采取措施及時處理，處理結(jié)束后做好相關(guān)記錄其它故障發(fā)生后，及時分析問題所在，盡快解決防止故障升級，必要時恢復到原來配置故障的記錄故障的記錄有助于以后類似故障發(fā)生，借鑒原來方法及時處理問題，同時也能夠在故障恢復后依照故障現(xiàn)象，導致故障的因素分析致因，排除相關(guān)設備隱患，故障的記錄關(guān)于細致維護工作，提高維護人員水平，具有重要意義。設備故障記錄內(nèi)容應包括故障現(xiàn)象、故障類型、故障起始時刻、故障修復時刻、故障歷時、故障緣故

19、分析及解決情況、故障處理情況及責任分析、故障處理人及聯(lián)系電話等。匯總統(tǒng)計時應依照故障類型，對各類問題進行匯總。對涉及設備質(zhì)量方面的問題，應及時向有關(guān)部門報告。 定期對故障現(xiàn)象和處理情況進行匯總統(tǒng)計，分類各種統(tǒng)計信息，解決方法。表一 cmnet日常檢測表 檢測日期: 檢測人員:檢測項目 檢測內(nèi)容 檢測結(jié)果 備注路由器檢測（核心路由器520， 節(jié)點路由器520，專線路由器630）硬件系統(tǒng)檢查告警面板狀態(tài)設備端口和模塊運行狀態(tài)設備CPU負荷，MEM占用監(jiān)測路由器端口流量是否擁塞與網(wǎng)絡連通性局數(shù)據(jù)的維護治理磁盤空間的維護治理檢查系統(tǒng)資源可用性交換機檢測 （核心交換機6808， 節(jié)點交換機40）硬件系統(tǒng)檢查、面板狀態(tài)檢查端口狀態(tài)vlan功能檢測檢查網(wǎng)絡連通性域名解析服務器系統(tǒng)CPU,MEM占用率檢查檢查端口狀態(tài)系統(tǒng)LOG檢測NAMED進程運行狀態(tài)表二 備份登記表備 份 登 記 表 編號 備份日期開始時刻結(jié)束時刻設備名稱CMnet 軟件版本操作人備份文件名稱*juniper.conf （*為地市名）備份情況記錄分不進入西安及各地市的路由器及交換機進行系統(tǒng)備份blackdiamond I: upload config 8blackdiamond II:upload config 8summit48 :upload