網(wǎng)絡(luò)應(yīng)急預(yù)案.doc

黑龍江移動(dòng)-鐵通網(wǎng)絡(luò)應(yīng)急預(yù)案雞西應(yīng)急日常準(zhǔn)備1.1 網(wǎng)絡(luò)基本信息準(zhǔn)備：1.2 工具和儀表準(zhǔn)備：工具名稱用途光功率計(jì)用于測(cè)量光功率。光纖跳線用于替換故障尾纖。光纖綁扎帶用于捆扎替換后的故障尾纖。網(wǎng)線用于連接網(wǎng)元或局域網(wǎng)的網(wǎng)線。光譜分析儀用于查看光線路的光譜。萬(wàn)用表用于測(cè)量各種電氣參數(shù)。防靜電腕帶防止人體靜電損壞敏感元器件。防靜電包裝袋保護(hù)需要防靜電的部件。防靜電服防止人體靜電損壞敏感元器件。十字螺絲刀用于拆裝設(shè)備螺絲。標(biāo)簽紙用于標(biāo)示設(shè)備或者線纜。SDH、ETH業(yè)務(wù)分析儀用于測(cè)量業(yè)務(wù)信號(hào)。2 應(yīng)急恢復(fù)總體原則：以業(yè)務(wù)快速恢復(fù)為目標(biāo)，優(yōu)先搶通業(yè)務(wù)，做好分工和解決方案的溝通，爭(zhēng)取搶通和搶修并行。當(dāng)故障業(yè)務(wù)條數(shù)小于等于2條時(shí),如初步判斷不能短期解決,優(yōu)先將重要業(yè)務(wù)倒換到保護(hù)波道。2.1 事故信息收集（10分鐘） 第一時(shí)間關(guān)鍵信息收集操作人員操作步驟具體動(dòng)作備注網(wǎng)管人員故障基本信息收集1、 故障發(fā)生時(shí)間：年/月/日 時(shí):分:秒2、 影響業(yè)務(wù)信息：波數(shù)，業(yè)務(wù)級(jí)別（2.5G，10G，40G，100G)和承載的業(yè)務(wù)類型(大客戶專線，移動(dòng)回傳)及對(duì)接設(shè)備類型（可選）。3、 故障前外部操作或環(huán)境變化：如掉電，機(jī)房溫度變化，光纜割接，網(wǎng)絡(luò)拓?fù)湔{(diào)整（增刪節(jié)點(diǎn)，網(wǎng)絡(luò)改造），客戶側(cè)業(yè)務(wù)割接調(diào)整等；4、 故障后已做操作及結(jié)果：網(wǎng)管側(cè)操作：業(yè)務(wù)配置，人工保護(hù)倒換，復(fù)位單板，環(huán)回等；現(xiàn)場(chǎng)操作：拔插光纖/電纜，物理環(huán)回，拔插單板，更換單板，網(wǎng)元上下電；處理結(jié)果：中斷業(yè)務(wù)部分恢復(fù)，中斷業(yè)務(wù)更多，網(wǎng)元返回失敗，單板不開(kāi)工；等等網(wǎng)管人員網(wǎng)絡(luò)基本信息收集5、 網(wǎng)絡(luò)拓?fù)洌汗?jié)點(diǎn)數(shù)、保護(hù)類型(ODUk SNCP，OLP光線路1+1，客戶側(cè)1+1，ODUk Spring，ERPS，板內(nèi)1+1，無(wú)保護(hù))、網(wǎng)絡(luò)層次(骨干，匯聚，接入)、拓?fù)漕愋?鏈，環(huán)，環(huán)相切，環(huán)相交，環(huán)帶鏈)6、 設(shè)備信息及運(yùn)行情況: 設(shè)備類型，網(wǎng)元版本、網(wǎng)元狀態(tài)網(wǎng)管人員查詢告警和性能信息根據(jù)承載業(yè)務(wù)中斷的具體時(shí)間，查詢對(duì)應(yīng)時(shí)間段是否存在關(guān)鍵告警或異常狀態(tài) (如:光纖中斷RLOS、單板復(fù)位、網(wǎng)元脫管、保護(hù)倒換告警、環(huán)回告警、安裝態(tài)告警)7、 在網(wǎng)管上先同步告警，然后查詢當(dāng)前和歷史告警以及當(dāng)前及歷史15m性能。8、 把設(shè)備、單板、線路的告警與業(yè)務(wù)中斷的時(shí)間進(jìn)行一致性確認(rèn)。9、 建議檢查告警屏蔽狀態(tài)和通道非介入監(jiān)視狀態(tài)，確保告警正常上報(bào)。10、 故障前后主通道光功率值(光放大板/OSC板)；（通過(guò)24H歷史性能查詢歷史值）網(wǎng)管人員查詢操作日志11、 根據(jù)承載業(yè)務(wù)中斷的具體時(shí)間,查詢?cè)摃r(shí)間段的關(guān)鍵操作日志。（關(guān)鍵步驟為：配置業(yè)務(wù)、復(fù)位、環(huán)回、優(yōu)化、倒換等操作）網(wǎng)管人員初步判斷12、 根據(jù)告警和操作日志是否能初步準(zhǔn)確定位到關(guān)鍵設(shè)備和保護(hù)子網(wǎng)。采取相應(yīng)預(yù)案。網(wǎng)管人員求助烽火工程師13、 請(qǐng)第一時(shí)間電話烽火工程師。有條件的可以取得客戶授權(quán)的情況下遠(yuǎn)程接入；網(wǎng)管人員查詢業(yè)務(wù)中斷共同路由14、 如果是多波中斷，查詢所有中斷波長(zhǎng)所經(jīng)過(guò)的路徑，確認(rèn)波長(zhǎng)經(jīng)過(guò)的共同網(wǎng)元節(jié)點(diǎn)。網(wǎng)管人員通過(guò)環(huán)回功能定位到單站15、 選取一條中斷的路徑，點(diǎn)擊維護(hù)-環(huán)回，進(jìn)入環(huán)回界面。采用二分法，從源端到宿端逐步環(huán)回。確認(rèn)影響業(yè)務(wù)中斷具體設(shè)備，再根據(jù)該設(shè)備的具體異常，采取預(yù)案。避免在情況不明的情況下盲目操作, 導(dǎo)致問(wèn)題擴(kuò)大化。處理過(guò)程中一定要作好故障記錄，保存好故障的原始數(shù)據(jù)。2.2 分析定界：（5分鐘）根據(jù)上述采集的信息，判斷是否波分網(wǎng)絡(luò)的問(wèn)題：信息分析定界步驟操作人員判斷和定位時(shí)間花費(fèi)1網(wǎng)管人員中斷的業(yè)務(wù)只在波分系統(tǒng)上有共同的故障路由，則需要先排除波分側(cè)故障；5分鐘2網(wǎng)管人員波分設(shè)備OTU單板的波分側(cè)存在OTN_LOF/OTN_LOS/OTUk_SM_BIP8_SD/OTUk_SM_BDI/OTUk_SM_BEIODUk_PM_AIS /ODUk_PM_BDI等告警，確認(rèn)為波分側(cè)問(wèn)題；3網(wǎng)管人員中斷業(yè)務(wù)經(jīng)過(guò)的共同路由有明確的設(shè)備、單板等硬件故障告警（如：COMMUN_FAIL /TEMP_OVER等），判斷為波分設(shè)備問(wèn)題，并馬上啟動(dòng)硬件備件響應(yīng)；4網(wǎng)管人員波分設(shè)備OTU單板客戶側(cè)端口存在R_LOS、R_LOF等告警，則需要先排查客戶側(cè)光口和對(duì)接設(shè)備之間的故障。2.3 定位恢復(fù)：（50分鐘）場(chǎng)景一：?jiǎn)尾I(yè)務(wù)中斷此處指無(wú)保護(hù)場(chǎng)景定位恢復(fù)步驟場(chǎng)景介紹A/B/C/D/E五個(gè)站點(diǎn)組成一個(gè)96波波分環(huán)（左上圖），各站信號(hào)流圖見(jiàn)右圖。每個(gè)波道在中間站點(diǎn)均OMU48-ODU48尾纖直接穿通?，F(xiàn)發(fā)現(xiàn)AD之間的192.1THZ單波道中斷。有相關(guān)告警（OTN_LOS/OTN_LOF/ODUk_SM_BIP8_SD/ ODUk_PM_AIS等）上報(bào)。假設(shè)告警上報(bào)在D站點(diǎn)，A站有對(duì)應(yīng)的BDI回告。步驟操作人員排除故障原因操作動(dòng)作時(shí)間花費(fèi)1網(wǎng)管&現(xiàn)場(chǎng)人員快速恢復(fù)動(dòng)作在資源允許的情況下：將客戶業(yè)務(wù)調(diào)至其它可用的波道或者備用波道；或者客戶對(duì)接設(shè)備存在保護(hù)則可以通過(guò)關(guān)閉OTU單板激光器觸發(fā)倒換，或者聯(lián)系對(duì)接設(shè)備維護(hù)人員手動(dòng)倒換。30分鐘故障綜述：?jiǎn)尾ü收辖^大部份可以歸為兩類，一類為由于光功率異常導(dǎo)致（以下統(tǒng)一描述為光功率子場(chǎng)景），另一類為由于板件、尾纖等異常導(dǎo)致（以下統(tǒng)一描述為非光功率子場(chǎng)景），關(guān)鍵在于定位到具體的故障點(diǎn)，采取相應(yīng)措施解決。光功率問(wèn)題子場(chǎng)景（D站點(diǎn)波分側(cè)直接報(bào)R_LOS的情況）處理步驟1網(wǎng)管&現(xiàn)場(chǎng)人員排除收端先掃描收端站點(diǎn)192.1THZ波長(zhǎng)是否丟失，如果沒(méi)有丟失且光功率正常，則進(jìn)一步排查站點(diǎn)下波尾纖、光衰，嘗試遠(yuǎn)程硬復(fù)位單板，同時(shí)安排人現(xiàn)場(chǎng)使用光纖環(huán)回OTU單板的波分側(cè)，確定是否單板故障，如故障，則更換單板；10分鐘2網(wǎng)管&現(xiàn)場(chǎng)人員排除發(fā)端然后再掃描發(fā)端站點(diǎn)192.1THZ波長(zhǎng)是否丟失，如果丟失，則排查上波尾纖和光衰、嘗試遠(yuǎn)程硬復(fù)位單板，同時(shí)安排人現(xiàn)場(chǎng)使用光纖環(huán)回確定是否單板故障，如故障，則更換單板；5分鐘3網(wǎng)管&現(xiàn)場(chǎng)人員定位中間站點(diǎn)如果發(fā)端192.1THZ波長(zhǎng)沒(méi)有丟失，從發(fā)端A站點(diǎn)開(kāi)始，按信號(hào)流方向逐站掃描192.1THZ波長(zhǎng)是否丟失，確認(rèn)波長(zhǎng)丟失站點(diǎn)，（通過(guò)光功率計(jì)測(cè)試方法：發(fā)端站點(diǎn)：OTU-OMU48，收端站點(diǎn)：ODU48-OTU，中間穿通站點(diǎn)： ODU48-OMU48）查找故障點(diǎn)，并通過(guò)清潔光口、更換尾纖、更換單板的方式解決。15分鐘備注：如果現(xiàn)場(chǎng)沒(méi)有配置OPM單板，又無(wú)法調(diào)波，業(yè)務(wù)恢復(fù)時(shí)長(zhǎng)很難控制，同時(shí)網(wǎng)管中心通過(guò)總光功率變化來(lái)粗略判斷故障點(diǎn)（波數(shù)很少的情況比較有效，波數(shù)多則無(wú)法判斷），需要維護(hù)人員帶上光功率計(jì)、光譜分析儀、備件、尾纖等物料逐站排查。光功率問(wèn)題子場(chǎng)景（非報(bào)R_LOS）處理步驟1網(wǎng)管人員檢查光功率是否下降、是否有誤碼分別查詢A、D兩站OTU單板的收發(fā)光功率，并對(duì)比歷史24H性能值，確認(rèn)是否是光功率問(wèn)題導(dǎo)致的故障（可通過(guò)與故障前的光功率數(shù)據(jù)（如歷史光功率性能數(shù)據(jù)或定期刷新過(guò)的文檔）進(jìn)行比較，以確定當(dāng)前光功率值是否異常。）此場(chǎng)景通常會(huì)伴隨存在誤碼、FEC糾錯(cuò)等異常性能事件。3分鐘2網(wǎng)管&現(xiàn)場(chǎng)人員排除硬件故障分別對(duì)A、D站OTU單板使用光纖進(jìn)行環(huán)回，確認(rèn)是否單板故障，若單板故障直接更換；（單光口板可以直接嘗試硬復(fù)位單板）10分鐘3網(wǎng)管人員排除波長(zhǎng)漂移問(wèn)題對(duì)發(fā)端OTU單板（本例中為A站點(diǎn)）掃描波長(zhǎng)，確認(rèn)是否波長(zhǎng)漂移，若漂移則硬復(fù)位單板臨時(shí)恢復(fù)；5分鐘4網(wǎng)管人員快速恢復(fù)動(dòng)作嘗試提高該單波的收光功率（不能超過(guò)過(guò)載點(diǎn)）并觀察性能變化。方法：從發(fā)端開(kāi)始減少各站OMU48對(duì)應(yīng)通道的衰減值。3分鐘5網(wǎng)管人員快速恢復(fù)動(dòng)作嘗試調(diào)整發(fā)端線路總光功率：注意觀察其他波長(zhǎng)性能變化，在不影響其他波長(zhǎng)性能的前提下小量多次，調(diào)整幅度不超過(guò)3dB。5分鐘6網(wǎng)管人員從發(fā)端A站點(diǎn)開(kāi)始，按信號(hào)流方向逐站掃描192.1THZ波長(zhǎng)，確認(rèn)波長(zhǎng)突變量較大的點(diǎn)，（通過(guò)光功率計(jì)測(cè)試方法：發(fā)端站點(diǎn)：OTU-OMU48，收端站點(diǎn)：ODU48-OTU，中間穿通站點(diǎn)：ODU48-OMU48）查找故障點(diǎn)，并通過(guò)清潔光口、更換尾纖、減小M40V衰減、更換單板的方式解決。15分鐘非光功率問(wèn)題子場(chǎng)景處理步驟1網(wǎng)管人員確認(rèn)為非光功率問(wèn)題分別查詢A、D兩站OTU單板的收發(fā)光功率，并對(duì)比歷史24H性能值，確認(rèn)是非光功率問(wèn)題導(dǎo)致的故障（可通過(guò)與故障前的光功率數(shù)據(jù)（如歷史光功率性能數(shù)據(jù)或定期刷新過(guò)的文檔）進(jìn)行比較，以確定當(dāng)前光功率值是否異常。）3分鐘2網(wǎng)管人員排除硬件故障1、 先硬復(fù)位發(fā)端單板，再硬復(fù)位收端單板；2、 如果硬復(fù)位完成后，業(yè)務(wù)未恢復(fù)，分別對(duì)A、D站OTU單板進(jìn)行軟件內(nèi)環(huán)回、外環(huán)回，確認(rèn)是否單板故障；5分鐘3現(xiàn)場(chǎng)人員排除硬件故障1、對(duì)收發(fā)端單板進(jìn)行硬環(huán)回，確認(rèn)故障單板。2、對(duì)故障單板進(jìn)行更換。10分鐘場(chǎng)景二：多波業(yè)務(wù)中斷 此處指無(wú)保護(hù)場(chǎng)景定位恢復(fù)步驟場(chǎng)景介紹A/B/C/D/E五個(gè)站點(diǎn)組成一個(gè)80波波分環(huán)（左上圖），每個(gè)站點(diǎn)均為背靠背的OTM站，各站信號(hào)流圖見(jiàn)左下圖。每個(gè)波道在中間站點(diǎn)均為M40-D40尾纖直接穿通?，F(xiàn)發(fā)現(xiàn)環(huán)上大量波道出現(xiàn)異常告警。多波中斷。步驟操作人員操作動(dòng)作排除故障原因時(shí)間花費(fèi)故障綜述：環(huán)路多波故障絕大部份都是由于主光路異?；蛘吆戏植ò?、光放板故障導(dǎo)致，在沒(méi)有光纖中斷的情況下，關(guān)鍵在于定位出故障出現(xiàn)的站點(diǎn)。1網(wǎng)管人員排除光纜故障查詢環(huán)路上所有站點(diǎn)OSC單板的輸入、輸出光功率（對(duì)比單板當(dāng)前和歷史性能值），對(duì)比歷史記錄值，確認(rèn)主光路是否存在光功率跌落，如果有跌落：1、 減少鏈路上可調(diào)衰減器件的衰減值（比如VOA等）；2、 適當(dāng)增大光放板增益；通知客戶修復(fù)主光路；5分鐘2網(wǎng)管&現(xiàn)場(chǎng)人員排除光放板故障查詢環(huán)路上所有段落光放板的輸入、輸出光功率，對(duì)比歷史記錄值（對(duì)比單板當(dāng)前和歷史性能值），確認(rèn)是否存在異常的光放板，如果異常：1、 首先確認(rèn)增益設(shè)置是否正確，不正確則修復(fù)并確認(rèn)故障是否恢復(fù)；2、 通過(guò)光功率確認(rèn)光放板（如果是OA系列單板）內(nèi)部口衰耗是否正常，不正常則更換尾纖（DCM模塊不動(dòng)）；3、 嘗試修改光放增益，無(wú)效則硬復(fù)位光放，4、 上述三步無(wú)法解決則更換光放大板；5分鐘3網(wǎng)管&現(xiàn)場(chǎng)人員排除OMU48/OD U48故障查詢環(huán)路上所有站點(diǎn)OMU48/ODU48的輸入、輸出光功率，對(duì)比歷史記錄值（對(duì)比單板當(dāng)前和歷史性能值），如果有異常，則通過(guò)清潔光口、更換相關(guān)尾纖，調(diào)整光衰的方法排除故障，如無(wú)法排除，則更換單板。20分鐘4網(wǎng)管&現(xiàn)場(chǎng)人員排除操作異常上述主光功率問(wèn)題均排除的情況下，應(yīng)重點(diǎn)了解現(xiàn)場(chǎng)人員故障前的操作情況，是否存在DCM和光纜變化的情況，同時(shí)核查各站DCM配置，分析路由，嘗試性增減、替換DCM來(lái)解決。25分鐘場(chǎng)景三：常見(jiàn)保護(hù)業(yè)務(wù)中斷此處常見(jiàn)保護(hù)包括：光線路保護(hù)、客戶側(cè)1+1保護(hù)、板內(nèi)1+1保護(hù)、ODUk SNCP保護(hù)、SW SNCP保護(hù)定位恢復(fù)步驟步驟操作人員操作動(dòng)作快速恢復(fù)步驟時(shí)間花費(fèi)1網(wǎng)管人員檢查保護(hù)組狀態(tài)，確認(rèn)是否存在保護(hù)組被強(qiáng)制/鎖定在非NORMAL的通道上。如果是，解除強(qiáng)制/鎖定倒換查看業(yè)務(wù)是否恢復(fù)，如業(yè)務(wù)未恢復(fù)，將保護(hù)組強(qiáng)制倒換到另一通道上，查看業(yè)務(wù)是否恢復(fù)。強(qiáng)制倒換恢復(fù)32網(wǎng)管人員針對(duì)SNCP保護(hù)，可以嘗試去激活、激活保護(hù)組，業(yè)務(wù)無(wú)法恢復(fù)則再嘗試進(jìn)行強(qiáng)制倒換，看業(yè)務(wù)是否恢復(fù)。去激活/激活恢復(fù)33網(wǎng)管人員刪除保護(hù)組重新配置，查看業(yè)務(wù)是否恢復(fù)；如果不恢復(fù)，再進(jìn)行強(qiáng)制倒換，看業(yè)務(wù)是否恢復(fù)。重新配置保護(hù)組恢復(fù)54網(wǎng)管人員如果采取以上操作后都不恢復(fù)，將保護(hù)組兩端強(qiáng)制到主通道，參照波分側(cè)單波故障、多波故障的方式恢