保險業(yè)務(wù)緩慢故障處理

XX保險業(yè)務(wù)遲緩故障處理文檔類型:文檔密級:主送對象: 抄送對象:文檔編號:審核人:保險業(yè)務(wù)緩慢故障處理第1頁學(xué)習(xí)目標(biāo)掌握XX保險分企業(yè)網(wǎng)絡(luò)架構(gòu)掌握故障處理基本標(biāo)準(zhǔn)及方法2保險業(yè)務(wù)緩慢故障處理第2頁課程內(nèi)容第一章XX保險地市分企業(yè)網(wǎng)絡(luò)結(jié)構(gòu)概述第二章XX保險故障處理過程第三章經(jīng)驗總結(jié)3保險業(yè)務(wù)緩慢故障處理第3頁OSPFareaNOSPFarea0XX保險網(wǎng)絡(luò)拓?fù)浣榻B4省企業(yè)網(wǎng)絡(luò)網(wǎng)點1網(wǎng)點2網(wǎng)點n2*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分企業(yè)省企業(yè)XX保險組網(wǎng)概述1、省企業(yè)兩臺RSR08E匯聚全省17個分企業(yè)上聯(lián)路由器。2、省企業(yè)申請2條155MCPOS線路，每個分企業(yè)申請4條E1，每2條E1做MP捆綁與省企業(yè)下聯(lián)路由RSR08E相連。3、客戶生產(chǎn)業(yè)務(wù)與辦公業(yè)務(wù)實現(xiàn)分流并相互冗余，4、RSR50-40、RSR08E-1正常轉(zhuǎn)發(fā)生產(chǎn)業(yè)務(wù)，RSR20-18、RSR08E-2轉(zhuǎn)發(fā)辦公業(yè)務(wù)，當(dāng)其中廣域網(wǎng)線路斷時，業(yè)務(wù)將切換一條線路組網(wǎng)概述保險業(yè)務(wù)緩慢故障處理第4頁OSPFareaNOSPFarea0XX保險網(wǎng)絡(luò)拓?fù)浣榻B5省企業(yè)網(wǎng)絡(luò)網(wǎng)點1網(wǎng)點2網(wǎng)點n2*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分企業(yè)省企業(yè)OSPF協(xié)議規(guī)劃RSR50-40,RSR20-18路由器上行口、互聯(lián)以太網(wǎng)口劃入area0。每個分企業(yè)一個area，areaid為電話區(qū)號。在RSR50-40、RSR20-18做區(qū)域間路由聚合，向省網(wǎng)公布分企業(yè)聚合路由。COST值全省統(tǒng)一規(guī)劃，確保業(yè)務(wù)分流。OSPF協(xié)議規(guī)劃保險業(yè)務(wù)緩慢故障處理第5頁OSPFareaNOSPFarea0MP協(xié)議介紹6省企業(yè)網(wǎng)絡(luò)網(wǎng)點1網(wǎng)點2網(wǎng)點n2*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分企業(yè)省企業(yè)客戶處于增加帶寬考慮，將兩條E1線路做了MP捆綁。鏈路層協(xié)議為PPP。客戶采取MP原因：1、增加帶寬，2、鏈路負(fù)載均衡，任何一條E1線路故障，不影響業(yè)務(wù)轉(zhuǎn)發(fā)。接口配置以下：interfacemultilink1pppmultilinkfragmentmaximum2ipospfcost40ipaddress852!interfaceSerial1/0:0encapsulationPPPpppmultilinkpppmultilinkgroup1interfaceSerial1/1:0encapsulationPPPpppmultilinkpppmultilinkgroup1保險業(yè)務(wù)緩慢故障處理第6頁OSPFareaNOSPFarea0XX保險網(wǎng)絡(luò)拓?fù)浣榻B7省企業(yè)網(wǎng)絡(luò)網(wǎng)點1網(wǎng)點2網(wǎng)點n2*E12*E1RSR50-40RSR20-18H3C-S7506生產(chǎn)下行流RSR08E-1分企業(yè)省企業(yè)生產(chǎn)上行流辦公上行流辦公下行流1、正常情況，生產(chǎn)、辦公業(yè)務(wù)分流。2、當(dāng)生產(chǎn)線路故障時，OSPF收斂，生產(chǎn)業(yè)務(wù)經(jīng)過RSR50-40與RSR20-18互聯(lián)線路切換至辦公線路。辦公線路故障，與這類似。RSR08E-2XX保險生產(chǎn)、辦公業(yè)務(wù)流量分流及冗余模型保險業(yè)務(wù)緩慢故障處理第7頁課程內(nèi)容第一章XX保險地市分企業(yè)網(wǎng)絡(luò)結(jié)構(gòu)概述第二章XX保險故障處理過程第三章經(jīng)驗總結(jié)8保險業(yè)務(wù)緩慢故障處理第8頁XX保險故障現(xiàn)象XX保險XX分企業(yè)申報故障，稱：客戶業(yè)務(wù)辦理非常遲緩，電信已檢驗，稱線路沒有問題，請設(shè)備廠商處理。XX保險是本企業(yè)重點客戶，本企業(yè)設(shè)備占很大比重，這么故障，怎樣著手處理，快速恢復(fù)客戶業(yè)務(wù)？9保險業(yè)務(wù)緩慢故障處理第9頁網(wǎng)絡(luò)不會有沒有緣無故故障網(wǎng)絡(luò)不會有處理不了問題保險業(yè)務(wù)緩慢故障處理第10頁網(wǎng)絡(luò)故障處理基本步驟1、故障處理系統(tǒng)化是合理地一步一步找出故障原因，并處理故障總體標(biāo)準(zhǔn)2、網(wǎng)絡(luò)故障處理處理流程是能夠改變，但故障處理有序化思維模式是不可改變。保險業(yè)務(wù)緩慢故障處理第11頁故障現(xiàn)象觀察對網(wǎng)絡(luò)故障做出完整、清楚描述是必須！“業(yè)務(wù)慢”是一個不完整、不清楚描述故障描述，追加客戶問題：1、辦公業(yè)務(wù)慢嗎?2、全局問題還是局部問題？即分企業(yè)全部慢，還是個別網(wǎng)點慢?其它分企業(yè)業(yè)務(wù)情況？3、最近是否進(jìn)行網(wǎng)絡(luò)調(diào)整？客戶信息反饋：1、分企業(yè)生產(chǎn)、辦公全部業(yè)務(wù)都比較慢，業(yè)務(wù)高峰期顯著2、其它分企業(yè)業(yè)務(wù)正常3、用戶網(wǎng)絡(luò)近期無調(diào)整所以，能夠推斷：是分企業(yè)局部故障，全省地市分企業(yè)正常。保險業(yè)務(wù)緩慢故障處理第12頁故障信息搜集依據(jù)對客戶網(wǎng)絡(luò)組網(wǎng)結(jié)構(gòu)及網(wǎng)絡(luò)運行原理掌握，搜集以下信息：1、分企業(yè)訪問省企業(yè)、總企業(yè)路由是否正確？2、分企業(yè)RSR50-40及RSR20-18設(shè)備狀態(tài)信息，重點查看：1、設(shè)備日志2、路由器各接口是否正常。帶寬占用情況。3、OSPF鄰居建立是否正常。3、廣域網(wǎng)電路是否正常？保險業(yè)務(wù)緩慢故障處理第13頁OSPFareaNOSPFarea0故障信息搜集14省企業(yè)網(wǎng)絡(luò)網(wǎng)點1網(wǎng)點2網(wǎng)點n2*E12*E1RSR50-40RSR20-18H3C-S7506生產(chǎn)上行流RSR08E-1分企業(yè)省企業(yè)RSR08E-2生產(chǎn)下行流辦公上行流辦公下行流第一、查看辦公、生產(chǎn)業(yè)務(wù)路徑信息。1、模擬分企業(yè)一臺主機(jī)，tracert省企業(yè)生產(chǎn)及辦公服務(wù)器，發(fā)覺生產(chǎn)業(yè)務(wù)路徑繞行RSR20-18，如圖所表示，全部業(yè)務(wù)都走辦公線路，業(yè)務(wù)未分流2、查看RSR20-18上行鏈路，發(fā)覺鏈路帶寬靠近4M，鏈路出現(xiàn)擁塞業(yè)務(wù)慢原因已找到：全部業(yè)務(wù)走辦公線路，造成辦公線路擁塞所致。測試機(jī)保險業(yè)務(wù)緩慢故障處理第14頁OSPFareaNOSPFarea0故障信息搜集15省企業(yè)網(wǎng)絡(luò)網(wǎng)點1網(wǎng)點2網(wǎng)點n2*E12*E1RSR50-40RSR20-18H3C-S7506生產(chǎn)上行流RSR08E-1分企業(yè)省企業(yè)RSR08E-2生產(chǎn)下行流辦公上行流辦公下行流第二步、搜集RSR50-40設(shè)備信息：1、路由表信息，發(fā)覺去往省企業(yè)、總企業(yè)路由全部指向RSR20-18。2、查看RSR50-40上行接口信息，發(fā)覺帶寬占用很小。3、查看RSR50-40OSPF鄰居，發(fā)覺與省企業(yè)鄰居未建立起來。4、查看RSR50-40日志，發(fā)覺日志從昨天開始，鄰居頻繁UP及DOWN。*Jan2101:37:37:%OSPF-5-ADJCHG:Process1,Nbr-multilink1fromFulltoDown,InactivityTimer.

*Jan2101:37:40:%OSPF-5-ADJCHG:Process1,Nbr-multilink1fromDowntoInit,HelloReceived.

*Jan2101:37:45:%OSPF-5-ADJCHG:Process1,Nbr-multilink1fromExchangetoFull,ExchangeDone.

保險業(yè)務(wù)緩慢故障處理第15頁經(jīng)驗判斷及理論分析業(yè)務(wù)慢原因：業(yè)務(wù)未分流，造成全部業(yè)務(wù)走辦公線路，造成線路擁塞所致原因分析：因RSR50-40與省企業(yè)RSR08E-1OSPF鄰居建立不穩(wěn)定，造成RSR50-40去往省企業(yè)、總企業(yè)路由表下一跳錯誤指向RSR20-18。什么原因能夠造成RSR50-40與RSR08E-1OSPF鄰居無法正常建立？保險業(yè)務(wù)緩慢故障處理第16頁可能原因列表OSPF鄰居頻繁UP、DOWN原因1、設(shè)備配置錯誤2、OSPF運行故障3、設(shè)備產(chǎn)品本身缺點保險業(yè)務(wù)緩慢故障處理第17頁對每一個原因?qū)嵤┡挪榉桨?、配置錯誤與省企業(yè)、分企業(yè)網(wǎng)絡(luò)維護(hù)人員確認(rèn)，配置無人改動，該原因排除。2、OSPF運行故障可能原因列表：生產(chǎn)線路故障，廣域網(wǎng)線路故障，會造成OSPF報文交互異常，鄰居建立失敗。設(shè)備BUG，因全省路由器、型號、版本都一樣，這個可能性很小。保險業(yè)務(wù)緩慢故障處理第18頁OSPFareaNOSPFarea0故障原因初步查明19省企業(yè)網(wǎng)絡(luò)網(wǎng)點1網(wǎng)點2網(wǎng)點n2*E12*E1RSR50-40RSR20-18H3C-S7506生產(chǎn)下行流RSR08E-1分企業(yè)省企業(yè)生產(chǎn)上行流辦公上行流辦公下行流RSR08E-2生產(chǎn)線路丟包是造成OSPF鄰居不穩(wěn)定原因！RSR50-40與RSR08E-1之間OSPF鄰居頻繁up、down,造成RSR50-40路由重新選路，生產(chǎn)業(yè)務(wù)流迂回至RSR20-18，經(jīng)辦公線路上行至省企業(yè)生產(chǎn)業(yè)務(wù)流及辦公業(yè)務(wù)流都經(jīng)過辦公線路，在業(yè)務(wù)高峰期時，2*E1線路出現(xiàn)擁塞，業(yè)務(wù)辦理遲緩。登陸RSR50-40，ping與RSR08E-1互聯(lián)接口IP，發(fā)覺丟包率在50%以上。E1線路故障造成OSPF鄰居頻繁up及down保險業(yè)務(wù)緩慢故障處理第19頁問題最終定位是廣域網(wǎng)線路丟包，而廣域網(wǎng)電路故障已超出我們范圍，且運行商稱：其電路沒有問題，怎樣有效排查呢?保險業(yè)務(wù)緩慢故障處理第20頁廣域網(wǎng)電路排查21此次RSR50-40互聯(lián)接口相互ping丟包是哪條E1線路故障？最直接方法是檢驗接口狀態(tài).showinterSerial1/0:0時，發(fā)覺了問題==========================Serial1/0:0========================Index(dec):7(hex):7Serial3/0:0isUP,lineprotocolisUPHardwareisSerialDescription:to-[HN-DLR-RSR08E-1]-[e1-0/0/0:21]-SDH-DianXinInterfaceaddressis:noipaddressMTU1500bytes,BWKbitEncapsulationprotocolisPPP,loopbacknotsetKeepaliveintervalis10sec,setCarrierdelayis2secRXloadis218,Txloadis8LCPOpen,MultilinkOpenClosed:ipcpQueueingstrategy:FIFOOutputqueue0/4096,0drops;Inputqueue0/75,0dropsTimeslot(s)Used:0-31,Transmitterdelayis0flags30secondsinputrate75314bits/sec,156packets/sec30secondsoutputrate69373bits/sec,145packets/sec172967270packetsinput,82503848443bytes,0nobuffer,0droppedReceived0broadcasts,0runts,0giants43045inputerrors,0CRC,6frame,0overrun,0abort233022603packetsoutput,38531458697bytes,0underruns,0dropped0outputerrors,0collisions,6interfaceresets0outputerrors,0collisions,6interfaceresets入方向有錯誤包，且一直增加！保險業(yè)務(wù)緩慢故障處理第21頁廣域網(wǎng)電路故障排查接口有錯誤包，造成線路丟包發(fā)生，可能原因列表：1、E1線纜接口故障。路由器接口-----E1非平衡線纜------運行商廣域網(wǎng)線路，任何一個節(jié)點出現(xiàn)問題，都有可能產(chǎn)生錯誤包。2、運行商SDH設(shè)備故障運行商SDH設(shè)備故障也會引發(fā)故障，這類故障需運行商配合。保險業(yè)務(wù)緩慢故障處理第22頁廣域網(wǎng)電路故障排查故障排錯過程：1、shutdown該接口Serial1/0:0故障線路，查看OSPF鄰居是否正常，ping包是否正常，依據(jù)MP協(xié)議運行機(jī)理，單條E1線路故障，不會引發(fā)業(yè)務(wù)中止。Shutdown故障線路后，ping包正常，OSPF鄰居建立穩(wěn)定。業(yè)務(wù)正常。所以確定該線路Serial1/0:0線路故障，另外一條E1線路正常。2、更換該Serial1/0:0線路路由器接口線纜，故障依舊。3、聯(lián)絡(luò)運行商E1電路運維人員，重新制作該E1BNC接頭后，錯誤包不在增加。OPSF鄰居正常建立，業(yè)務(wù)恢復(fù)！保險業(yè)務(wù)緩慢故障處理第23頁廣域網(wǎng)電路故障排查兩條E1做了MP捆綁，其中一條E1故障，為何另外一條E1也無法工作？MP是將兩條PPP鏈路捆綁起來，擴(kuò)容帶寬技術(shù)，數(shù)據(jù)流負(fù)載均衡，平均分配到兩條E1線路上。兩條E1虛擬成一個multilink接口當(dāng)數(shù)據(jù)流分配到有故障E1線路時，數(shù)據(jù)包丟失，造成互聯(lián)接口相互ping丟包。相當(dāng)于multilink接口故障！MP捆綁只有檢測到E1線路down時，才將業(yè)務(wù)全部切換到另外一條E1線路上，而此次故障，不會引發(fā)E1線路down，MP協(xié)議負(fù)載均衡反而成了故障幫兇！保險業(yè)務(wù)緩慢故障處理第24頁故障原因E1線纜接頭故障生產(chǎn)線路丟包OSPF鄰居UP/DOWNRSR50-40路由收斂生產(chǎn)線路擁塞，全部業(yè)務(wù)變慢生產(chǎn)業(yè)務(wù)切換至辦公線路保險業(yè)務(wù)緩慢故障處理第25頁

26運行商稱：廣域網(wǎng)線路正常。該結(jié)論直接將故障原因推給了銳捷網(wǎng)絡(luò)。事后與運行商維護(hù)人員溝通：他們只是經(jīng)過打環(huán)路來測試線路通斷，并沒有采取誤碼測試儀來測試電路質(zhì)量。該信息一定程度誤導(dǎo)了故障處理進(jìn)程。故障處理過程干擾保險業(yè)務(wù)緩慢故障處理第26頁課程內(nèi)容第一章XX保險故障現(xiàn)象第二章故障處理過程第三章經(jīng)驗總結(jié)27保險業(yè)務(wù)緩慢故障處理第27頁

28故障處理技能培養(yǎng)包含以下方面：加強(qiáng)技術(shù)了解對協(xié)議準(zhǔn)確而