保險業(yè)務緩慢故障處理

XX保險業(yè)務遲緩故障處理文檔類型:文檔密級:主送對象: 抄送對象:文檔編號:審核人:保險業(yè)務緩慢故障處理第1頁學習目標掌握XX保險分企業(yè)網絡架構掌握故障處理基本標準及方法2保險業(yè)務緩慢故障處理第2頁課程內容第一章XX保險地市分企業(yè)網絡結構概述第二章XX保險故障處理過程第三章經驗總結3保險業(yè)務緩慢故障處理第3頁OSPFareaNOSPFarea0XX保險網絡拓撲介紹4省企業(yè)網絡網點1網點2網點n2*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分企業(yè)省企業(yè)XX保險組網概述1、省企業(yè)兩臺RSR08E匯聚全省17個分企業(yè)上聯(lián)路由器。2、省企業(yè)申請2條155MCPOS線路，每個分企業(yè)申請4條E1，每2條E1做MP捆綁與省企業(yè)下聯(lián)路由RSR08E相連。3、客戶生產業(yè)務與辦公業(yè)務實現(xiàn)分流并相互冗余，4、RSR50-40、RSR08E-1正常轉發(fā)生產業(yè)務，RSR20-18、RSR08E-2轉發(fā)辦公業(yè)務，當其中廣域網線路斷時，業(yè)務將切換一條線路組網概述保險業(yè)務緩慢故障處理第4頁OSPFareaNOSPFarea0XX保險網絡拓撲介紹5省企業(yè)網絡網點1網點2網點n2*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分企業(yè)省企業(yè)OSPF協(xié)議規(guī)劃RSR50-40,RSR20-18路由器上行口、互聯(lián)以太網口劃入area0。每個分企業(yè)一個area，areaid為電話區(qū)號。在RSR50-40、RSR20-18做區(qū)域間路由聚合，向省網公布分企業(yè)聚合路由。COST值全省統(tǒng)一規(guī)劃，確保業(yè)務分流。OSPF協(xié)議規(guī)劃保險業(yè)務緩慢故障處理第5頁OSPFareaNOSPFarea0MP協(xié)議介紹6省企業(yè)網絡網點1網點2網點n2*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分企業(yè)省企業(yè)客戶處于增加帶寬考慮，將兩條E1線路做了MP捆綁。鏈路層協(xié)議為PPP?？蛻舨扇P原因：1、增加帶寬，2、鏈路負載均衡，任何一條E1線路故障，不影響業(yè)務轉發(fā)。接口配置以下：interfacemultilink1pppmultilinkfragmentmaximum2ipospfcost40ipaddress852!interfaceSerial1/0:0encapsulationPPPpppmultilinkpppmultilinkgroup1interfaceSerial1/1:0encapsulationPPPpppmultilinkpppmultilinkgroup1保險業(yè)務緩慢故障處理第6頁OSPFareaNOSPFarea0XX保險網絡拓撲介紹7省企業(yè)網絡網點1網點2網點n2*E12*E1RSR50-40RSR20-18H3C-S7506生產下行流RSR08E-1分企業(yè)省企業(yè)生產上行流辦公上行流辦公下行流1、正常情況，生產、辦公業(yè)務分流。2、當生產線路故障時，OSPF收斂，生產業(yè)務經過RSR50-40與RSR20-18互聯(lián)線路切換至辦公線路。辦公線路故障，與這類似。RSR08E-2XX保險生產、辦公業(yè)務流量分流及冗余模型保險業(yè)務緩慢故障處理第7頁課程內容第一章XX保險地市分企業(yè)網絡結構概述第二章XX保險故障處理過程第三章經驗總結8保險業(yè)務緩慢故障處理第8頁XX保險故障現(xiàn)象XX保險XX分企業(yè)申報故障，稱：客戶業(yè)務辦理非常遲緩，電信已檢驗，稱線路沒有問題，請設備廠商處理。XX保險是本企業(yè)重點客戶，本企業(yè)設備占很大比重，這么故障，怎樣著手處理，快速恢復客戶業(yè)務？9保險業(yè)務緩慢故障處理第9頁網絡不會有沒有緣無故故障網絡不會有處理不了問題保險業(yè)務緩慢故障處理第10頁網絡故障處理基本步驟1、故障處理系統(tǒng)化是合理地一步一步找出故障原因，并處理故障總體標準2、網絡故障處理處理流程是能夠改變，但故障處理有序化思維模式是不可改變。保險業(yè)務緩慢故障處理第11頁故障現(xiàn)象觀察對網絡故障做出完整、清楚描述是必須！“業(yè)務慢”是一個不完整、不清楚描述故障描述，追加客戶問題：1、辦公業(yè)務慢嗎?2、全局問題還是局部問題？即分企業(yè)全部慢，還是個別網點慢?其它分企業(yè)業(yè)務情況？3、最近是否進行網絡調整？客戶信息反饋：1、分企業(yè)生產、辦公全部業(yè)務都比較慢，業(yè)務高峰期顯著2、其它分企業(yè)業(yè)務正常3、用戶網絡近期無調整所以，能夠推斷：是分企業(yè)局部故障，全省地市分企業(yè)正常。保險業(yè)務緩慢故障處理第12頁故障信息搜集依據對客戶網絡組網結構及網絡運行原理掌握，搜集以下信息：1、分企業(yè)訪問省企業(yè)、總企業(yè)路由是否正確？2、分企業(yè)RSR50-40及RSR20-18設備狀態(tài)信息，重點查看：1、設備日志2、路由器各接口是否正常。帶寬占用情況。3、OSPF鄰居建立是否正常。3、廣域網電路是否正常？保險業(yè)務緩慢故障處理第13頁OSPFareaNOSPFarea0故障信息搜集14省企業(yè)網絡網點1網點2網點n2*E12*E1RSR50-40RSR20-18H3C-S7506生產上行流RSR08E-1分企業(yè)省企業(yè)RSR08E-2生產下行流辦公上行流辦公下行流第一、查看辦公、生產業(yè)務路徑信息。1、模擬分企業(yè)一臺主機，tracert省企業(yè)生產及辦公服務器，發(fā)覺生產業(yè)務路徑繞行RSR20-18，如圖所表示，全部業(yè)務都走辦公線路，業(yè)務未分流2、查看RSR20-18上行鏈路，發(fā)覺鏈路帶寬靠近4M，鏈路出現(xiàn)擁塞業(yè)務慢原因已找到：全部業(yè)務走辦公線路，造成辦公線路擁塞所致。測試機保險業(yè)務緩慢故障處理第14頁OSPFareaNOSPFarea0故障信息搜集15省企業(yè)網絡網點1網點2網點n2*E12*E1RSR50-40RSR20-18H3C-S7506生產上行流RSR08E-1分企業(yè)省企業(yè)RSR08E-2生產下行流辦公上行流辦公下行流第二步、搜集RSR50-40設備信息：1、路由表信息，發(fā)覺去往省企業(yè)、總企業(yè)路由全部指向RSR20-18。2、查看RSR50-40上行接口信息，發(fā)覺帶寬占用很小。3、查看RSR50-40OSPF鄰居，發(fā)覺與省企業(yè)鄰居未建立起來。4、查看RSR50-40日志，發(fā)覺日志從昨天開始，鄰居頻繁UP及DOWN。*Jan2101:37:37:%OSPF-5-ADJCHG:Process1,Nbr-multilink1fromFulltoDown,InactivityTimer.

*Jan2101:37:40:%OSPF-5-ADJCHG:Process1,Nbr-multilink1fromDowntoInit,HelloReceived.

*Jan2101:37:45:%OSPF-5-ADJCHG:Process1,Nbr-multilink1fromExchangetoFull,ExchangeDone.

保險業(yè)務緩慢故障處理第15頁經驗判斷及理論分析業(yè)務慢原因：業(yè)務未分流，造成全部業(yè)務走辦公線路，造成線路擁塞所致原因分析：因RSR50-40與省企業(yè)RSR08E-1OSPF鄰居建立不穩(wěn)定，造成RSR50-40去往省企業(yè)、總企業(yè)路由表下一跳錯誤指向RSR20-18。什么原因能夠造成RSR50-40與RSR08E-1OSPF鄰居無法正常建立？保險業(yè)務緩慢故障處理第16頁可能原因列表OSPF鄰居頻繁UP、DOWN原因1、設備配置錯誤2、OSPF運行故障3、設備產品本身缺點保險業(yè)務緩慢故障處理第17頁對每一個原因實施排查方案1、配置錯誤與省企業(yè)、分企業(yè)網絡維護人員確認，配置無人改動，該原因排除。2、OSPF運行故障可能原因列表：生產線路故障，廣域網線路故障，會造成OSPF報文交互異常，鄰居建立失敗。設備BUG，因全省路由器、型號、版本都一樣，這個可能性很小。保險業(yè)務緩慢故障處理第18頁OSPFareaNOSPFarea0故障原因初步查明19省企業(yè)網絡網點1網點2網點n2*E12*E1RSR50-40RSR20-18H3C-S7506生產下行流RSR08E-1分企業(yè)省企業(yè)生產上行流辦公上行流辦公下行流RSR08E-2生產線路丟包是造成OSPF鄰居不穩(wěn)定原因！RSR50-40與RSR08E-1之間OSPF鄰居頻繁up、down,造成RSR50-40路由重新選路，生產業(yè)務流迂回至RSR20-18，經辦公線路上行至省企業(yè)生產業(yè)務流及辦公業(yè)務流都經過辦公線路，在業(yè)務高峰期時，2*E1線路出現(xiàn)擁塞，業(yè)務辦理遲緩。登陸RSR50-40，ping與RSR08E-1互聯(lián)接口IP，發(fā)覺丟包率在50%以上。E1線路故障造成OSPF鄰居頻繁up及down保險業(yè)務緩慢故障處理第19頁問題最終定位是廣域網線路丟包，而廣域網電路故障已超出我們范圍，且運行商稱：其電路沒有問題，怎樣有效排查呢?保險業(yè)務緩慢故障處理第20頁廣域網電路排查21此次RSR50-40互聯(lián)接口相互ping丟包是哪條E1線路故障？最直接方法是檢驗接口狀態(tài).showinterSerial1/0:0時，發(fā)覺了問題==========================Serial1/0:0========================Index(dec):7(hex):7Serial3/0:0isUP,lineprotocolisUPHardwareisSerialDescription:to-[HN-DLR-RSR08E-1]-[e1-0/0/0:21]-SDH-DianXinInterfaceaddressis:noipaddressMTU1500bytes,BWKbitEncapsulationprotocolisPPP,loopbacknotsetKeepaliveintervalis10sec,setCarrierdelayis2secRXloadis218,Txloadis8LCPOpen,MultilinkOpenClosed:ipcpQueueingstrategy:FIFOOutputqueue0/4096,0drops;Inputqueue0/75,0dropsTimeslot(s)Used:0-31,Transmitterdelayis0flags30secondsinputrate75314bits/sec,156packets/sec30secondsoutputrate69373bits/sec,145packets/sec172967270packetsinput,82503848443bytes,0nobuffer,0droppedReceived0broadcasts,0runts,0giants43045inputerrors,0CRC,6frame,0overrun,0abort233022603packetsoutput,38531458697bytes,0underruns,0dropped0outputerrors,0collisions,6interfaceresets0outputerrors,0collisions,6interfaceresets入方向有錯誤包，且一直增加！保險業(yè)務緩慢故障處理第21頁廣域網電路故障排查接口有錯誤包，造成線路丟包發(fā)生，可能原因列表：1、E1線纜接口故障。路由器接口-----E1非平衡線纜------運行商廣域網線路，任何一個節(jié)點出現(xiàn)問題，都有可能產生錯誤包。2、運行商SDH設備故障運行商SDH設備故障也會引發(fā)故障，這類故障需運行商配合。保險業(yè)務緩慢故障處理第22頁廣域網電路故障排查故障排錯過程：1、shutdown該接口Serial1/0:0故障線路，查看OSPF鄰居是否正常，ping包是否正常，依據MP協(xié)議運行機理，單條E1線路故障，不會引發(fā)業(yè)務中止。Shutdown故障線路后，ping包正常，OSPF鄰居建立穩(wěn)定。業(yè)務正常。所以確定該線路Serial1/0:0線路故障，另外一條E1線路正常。2、更換該Serial1/0:0線路路由器接口線纜，故障依舊。3、聯(lián)絡運行商E1電路運維人員，重新制作該E1BNC接頭后，錯誤包不在增加。OPSF鄰居正常建立，業(yè)務恢復！保險業(yè)務緩慢故障處理第23頁廣域網電路故障排查兩條E1做了MP捆綁，其中一條E1故障，為何另外一條E1也無法工作？MP是將兩條PPP鏈路捆綁起來，擴容帶寬技術，數據流負載均衡，平均分配到兩條E1線路上。兩條E1虛擬成一個multilink接口當數據流分配到有故障E1線路時，數據包丟失，造成互聯(lián)接口相互ping丟包。相當于multilink接口故障！MP捆綁只有檢測到E1線路down時，才將業(yè)務全部切換到另外一條E1線路上，而此次故障，不會引發(fā)E1線路down，MP協(xié)議負載均衡反而成了故障幫兇！保險業(yè)務緩慢故障處理第24頁故障原因E1線纜接頭故障生產線路丟包OSPF鄰居UP/DOWNRSR50-40路由收斂生產線路擁塞，全部業(yè)務變慢生產業(yè)務切換至辦公線路保險業(yè)務緩慢故障處理第25頁

26運行商稱：廣域網線路正常。該結論直接將故障原因推給了銳捷網絡。事后與運行商維護人員溝通：他們只是經過打環(huán)路來測試線路通斷，并沒有采取誤碼測試儀來測試電路質量。該信息一定程度誤導了故障處理進程。故障處理過程干擾保險業(yè)務緩慢故障處理第26頁課程內容第一章XX保險故障現(xiàn)象第二章故障處理過程第三章經驗總結27保險業(yè)務緩慢故障處理第27頁

28故障處理技能培養(yǎng)包含以下方面：加強技術了解對協(xié)議準確而