網(wǎng)絡(luò)故障案例手冊Ver1.0

網(wǎng)絡(luò)故障案例手冊Ver1.0目錄案例編號 201302084交換機(jī)硬件故障引起網(wǎng)絡(luò)中斷4典型癥狀4其它現(xiàn)象4處置方法4案例具體原因4擴(kuò)展6案例編號 201306046癥狀6處置方法6處置結(jié)果8擴(kuò)展8案例編號 201306149癥狀9處置方法9處置結(jié)果9擴(kuò)展9案例編號 2013101611癥狀11處置方法11處置結(jié)果11擴(kuò)展11案例編號 20130208 交換機(jī)硬件故障引起網(wǎng)絡(luò)中斷典型癥狀A(yù).在交換機(jī)log中出現(xiàn)如下信息%SW_MATM-4-MACFLAP_NOTIF: Host 68b5.99cd.d276 in vlan 8 is flapping between port Gi0/33 and port Po2；B.交換機(jī)在線檢查各項參數(shù)未見異常，交換機(jī)重啟后報錯，無法加載IOS;其它現(xiàn)象交機(jī)機(jī)載高，網(wǎng)絡(luò)延遲大，網(wǎng)絡(luò)丟包。處置方法交換機(jī)離線與網(wǎng)絡(luò)隔離，與故障交換機(jī)連接的服務(wù)器切換到備用交換機(jī)中。如不確認(rèn)引起此故障的具體交換機(jī)，可將交換機(jī)與主網(wǎng)絡(luò)逐一隔離。案例具體原因管理網(wǎng)絡(luò)端口Port-ASIC芯片自檢Fail。以下為故障交換機(jī)啟動自檢全過程Logfront_end/ (directory)extracting front_end/fe_type_1 (34760 bytes)extracting front_end/fe_type_2 (78400 bytes)extracting front_end/front_end_ucode_info (86 bytes)extracting ucode_info (76 bytes)POST: PortASIC CAM Subsystem Tests : BeginHTD POST: Basic Test FailedPOST: POST FailedPOST: PortASIC CAM Subsystem Tests : End, Status FailedPOST: CAM test failedPOST Failed: disabling stack links and shutting down SDPdriver class subsystem initialization failed*Mar 1 00:00:35.668: %SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.*Mar 1 00:00:35.668: %SYS-2-ASSERTION_FAILED: Assertion failed: reg_used_xdr_portid_to_lc_logical_slot() -Process= Init, ipl= 0, pid= 3-Traceback= 1DDA7F8 1DDAF44 1D46E6C 11EC2B0 11EC4A0 286CC78 286CD10 1DE64B8 1DE66F4 1A2F5C8 1A26098%Software-forced reload擴(kuò)展引起Host Flapping不只上述情況，大家可參考下面的文檔鏈接：/en/US/products/hw/switches/ps4324/products_tech_note09186a008063c36f.shtml案例編號 20130604互聯(lián)網(wǎng)用戶訪問交易網(wǎng)關(guān)延遲大癥狀有客戶反映通過互聯(lián)網(wǎng)連接CTP電信網(wǎng)關(guān)交易延遲大。處置方法檢查網(wǎng)絡(luò)線路的連通性及模擬客戶發(fā)起Ping值測試，并與其它期貨公司的網(wǎng)絡(luò)延遲做對比。主要做了兩種比較一是測試同一線路的不同網(wǎng)關(guān)的延遲情況，發(fā)現(xiàn)CTP電信網(wǎng)關(guān)相對其它網(wǎng)關(guān)延遲略大些，但在可接受范圍內(nèi)。通過與其它家期貨公司的交易網(wǎng)關(guān)做比較，發(fā)現(xiàn)我司的互聯(lián)網(wǎng)延遲確實偏大。通過檢查，確認(rèn)我方網(wǎng)絡(luò)設(shè)備負(fù)載和帶寬流量并沒有超出基準(zhǔn)值。根據(jù)客戶的網(wǎng)絡(luò)追蹤情況發(fā)現(xiàn)有幾跳延遲大，初步判斷問題可能發(fā)現(xiàn)在互聯(lián)網(wǎng)的傳輸節(jié)點(diǎn)上。為進(jìn)一步明確問題，我們聯(lián)絡(luò)了線路供應(yīng)商數(shù)訊。要求其分析數(shù)據(jù)，并給出意見。數(shù)據(jù)通過分析認(rèn)為未見明顯問題，提出建議解決方案。為升級用戶側(cè)（即我端）接入光端機(jī)的固件，并給出了升級計劃。我們同意了其意見。并在升級前后做了數(shù)據(jù)包的追蹤對比，結(jié)果如下：升級前：升級后：處置結(jié)果可以看到從11跳開始，12跳之后延遲有了較明顯的減小。通過進(jìn)一步確認(rèn)，從11跳開始數(shù)據(jù)包才進(jìn)入數(shù)訊網(wǎng)絡(luò)，得到了網(wǎng)絡(luò)優(yōu)化。擴(kuò)展網(wǎng)絡(luò)調(diào)優(yōu)是需多方介入和合作的具有挑戰(zhàn)性的技術(shù)難題，因為網(wǎng)絡(luò)延遲和不合乎客戶預(yù)期是最為直接的反映，也是客戶最直接的感受。因此遇到問題應(yīng)多角度分析問題，不再局限于本公司的網(wǎng)絡(luò)以至，從總體上把握，配合好服務(wù)商，協(xié)作處理。案例編號 20130614仿真交易軟件登錄一會就報超時癥狀有客戶反映通過互聯(lián)網(wǎng)連接仿真交易網(wǎng)關(guān)沒過幾分鐘就報超時錯誤，需要重新登陸。處置方法在自己電腦上登陸，確有相同現(xiàn)象，客戶反映無誤。檢查網(wǎng)絡(luò)線路的連通性及模擬客戶發(fā)起Ping包測試，發(fā)現(xiàn)時有丟包現(xiàn)象。于是檢查防火墻，CPU，內(nèi)存使用率都正常，線路也無中斷，連接此防火墻的其他應(yīng)用都正常，懷疑是該服務(wù)器本身受到攻擊或者網(wǎng)卡故障。登陸該服務(wù)器檢查，發(fā)現(xiàn)該服務(wù)器啟用了兩塊網(wǎng)卡，且都配置了網(wǎng)關(guān)，導(dǎo)致網(wǎng)絡(luò)故障。處置結(jié)果刪除新增的網(wǎng)關(guān)后故障解決。擴(kuò)展對于雙網(wǎng)卡的服務(wù)器，不能配置兩個網(wǎng)關(guān)，建議一個網(wǎng)卡配置網(wǎng)關(guān)，令一個配置靜態(tài)路由。例如要添加去往/24網(wǎng)段，網(wǎng)關(guān)是，Windows中添加靜態(tài)路由的命令是：route add mask p注意最后要加p參數(shù)，確保重啟后路由依舊有效。案例編號 20131016第二套CTP交換機(jī)硬件故障癥狀OP網(wǎng)管軟件報警顯示SWX-B-DIR這臺交換機(jī)輪詢?nèi)螣o應(yīng)答，連接該交換機(jī)的服務(wù)器ip無法ping通。處置方法在自己電腦上telnet和ping該交換機(jī)均無反應(yīng)，于是拿好筆記本和相關(guān)工具進(jìn)機(jī)房現(xiàn)場查看。發(fā)現(xiàn)該交換機(jī)為加電狀態(tài)，但是除電源指示燈外，網(wǎng)絡(luò)指示燈和狀態(tài)指示燈都為滅，用console線連接后也無任何反應(yīng)。于是重啟該交換機(jī)，重啟多次后設(shè)備仍然工作異常，于是在機(jī)房里找到一個備用的交