上海通信段MSC設(shè)備應(yīng)急預(yù)案

1、應(yīng)急預(yù)案編號：上鐵電專-共用-04-001-2015數(shù)字移動通信系統(tǒng)MSC設(shè)備應(yīng)急預(yù)案上海通信段上海高鐵通信車間2016年2月一、 編制依據(jù)1.上海通信段應(yīng)急處置管理實施細則（上通信調(diào)2015230號）；2.上海鐵路局關(guān)于進一步規(guī)范路局應(yīng)急處置指揮體系建設(shè)的通知（上鐵運2014283號）；3.上海通信段鐵路通信障礙（故障）管理實施細則（上通信調(diào)發(fā)201389號）二、 系統(tǒng)整體介紹上海GSM-R機房MSC基于西門子EWSD平臺。所有寄存器功能，都是由軟件來實現(xiàn)的。在硬件設(shè)計方面，許多重要部件都設(shè)置了冗余備份，主要體現(xiàn)在0側(cè)與1側(cè)互為備份。目前MSC網(wǎng)絡(luò)應(yīng)用情況：與北京核心網(wǎng)、武漢核心網(wǎng)的MSC/

2、VLR、HLRi、SCP相連，與虹橋BSC、京滬高BSC、南京BSC、溫州BSC、阜陽BSC、合肥BSC、杭州BSC各局向 、FAS等相連，實現(xiàn)了上海局下所有GSM-R客專線的GSM-R核心交換、網(wǎng)內(nèi)移動號碼的鑒權(quán)、鐵路專用的位置尋址、功能尋址、調(diào)度臺與GSM-R移動終端的通信等功能。三、 應(yīng)急預(yù)案內(nèi)容1. 故障等級（一、二、三級）1)一級：設(shè)備宕機、與一個或多個TMSC局向中斷、與某STP的信令能力中斷、突發(fā)話務(wù)量造成上海MSC負荷過高的設(shè)備過載控制、智能業(yè)務(wù)中斷、與專網(wǎng)（PSTN）的互聯(lián)互通故障、與FAS系統(tǒng)局向全部中斷、HLRi系統(tǒng)故障、與BSC系統(tǒng)局向全部中斷、與RBC機房互聯(lián)全部中斷

3、、與北京武漢互聯(lián)電路全部中斷。2)二級：MSC個別進程或數(shù)據(jù)吊死、對某局向中繼部分中斷。3)三級：單板故障（影響業(yè)務(wù)）2. 關(guān)鍵項：匯報、登銷記1)當虹橋GSM-R工區(qū)發(fā)現(xiàn)局管內(nèi)GSM-R系統(tǒng)MSC設(shè)備發(fā)生障礙（故障）時，應(yīng)在五分鐘之內(nèi)匯報段調(diào)度、車間主任、網(wǎng)調(diào)工區(qū)，并通知相關(guān)設(shè)備維護車間網(wǎng)調(diào)工區(qū)。2)車間主任在接到匯報后，立即組織人員趕赴虹橋GSM-R工區(qū)，負責組織指揮處理、信息匯報、障礙（故障）分析等。3)虹橋GSM-R工區(qū)負責障礙（故障）的指揮處理、過程信息匯報、處理報告的撰寫等。4)網(wǎng)調(diào)工區(qū)根據(jù)虹橋GSM-R工區(qū)的處理要求，組織做好車間管內(nèi)相關(guān)配合工作。3. 針對不同設(shè)備及故障等級編制

4、處理措施1)上海MSC宕機的應(yīng)急技術(shù)預(yù)案（一級）(1)啟動前提交換設(shè)備癱瘓、全部能力喪失時啟動MSC宕機應(yīng)急技術(shù)預(yù)案。啟動前提可歸結(jié)為以下三種情況：交換機系統(tǒng)掉電；交換機CP側(cè)癱瘓；交換機MP側(cè)癱瘓；(2)制定方案的原則現(xiàn)場操作維護人員一定要馬上通知諾西公司相關(guān)技術(shù)支持人員，并且清楚地描述宕機狀態(tài)的發(fā)生時間以及問題的具體詳細情況，不能擅自單獨處理。在機房備有緊急故障處理的Emergency手冊，以備現(xiàn)場處理參照。日常維護中嚴格執(zhí)行計表中系統(tǒng)備份制度，備份帶務(wù)必做好詳細標簽。系統(tǒng)在重大操作前都必須做好系統(tǒng)備份帶。下表是各恢復(fù)等級的描述：恢復(fù)等級 重啟影響由MML啟動由SW啟動正在建立的呼叫丟失與

5、否已經(jīng)建立的呼叫丟失與否預(yù)計恢復(fù)時間NSTART0所有與呼叫處理不相關(guān)的進程的重新啟動XXNSTART1所有進程重新啟動XXX<5sNSTART1B呼叫處理基本模式，不從硬盤裝載XX>50sNSTART2所有進程重新啟動，重新裝載程序代碼和所有半永久數(shù)據(jù)XXX>50sNSTART3所有進程重新啟動，重新裝載程序代碼和所有半永久數(shù)據(jù)以及特定的瞬態(tài)數(shù)據(jù)XXX>60sISTART1初始啟動SSP：不對外圍SW(LTG/DLU)做無條件重新裝載XXXX>120SISTART1B呼叫處理基本模式XXX>120SISTART2初始啟動SSP；無條件重新裝 載外圍數(shù)據(jù)至所

6、有應(yīng)處于工作狀態(tài)的LTGXXXX>6MISTART2R(在修改LTG軟件后使用)帶重新裝載的SSP初始啟動；僅通過人工操作，無條件裝載不處于MBL或PLA的LTGX不相關(guān)不相關(guān).>15MISTART2F(在安裝APS后使用)強制初始啟動SSP，僅通過人工操作，裝載處于MBL狀態(tài)外 所有已安裝的LTGX不相關(guān)不相關(guān).>15MISTART2G初始啟動SSP，倒回至舊的APS GEN; 無條件重新裝載所有應(yīng)處于工作狀態(tài)的LYG/DLU的外圍程序 代碼和數(shù)據(jù)XXXX>15MISTART1/2的后處理恢復(fù)嘗試重新裝載并激活所有處于UNA的LTG/DLU。NSTART1B和ISTA

7、RT1B不用于D900/1800移動業(yè)務(wù)交換中心MSC。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。宕機應(yīng)急技術(shù)預(yù)案啟動后，搶修組應(yīng)馬上聯(lián)系諾西相關(guān)技術(shù)支持。在諾西人員無法馬上趕到現(xiàn)場的情況下，現(xiàn)場維護人員應(yīng)在諾西技術(shù)支持的指導(dǎo)下，嚴格參照Emergency手冊中相應(yīng)的緊急流程進行分析處理。a.交換機掉電時，影響所有GSM-R業(yè)務(wù)，系統(tǒng)需重新啟機，啟機最長用時40分鐘。D900交換機在斷電后再通電會自動選擇GEN重新啟動至MANUAL狀態(tài)，設(shè)備自動重啟之后如果有不正常的狀態(tài)，需盡快的將交換機恢復(fù)至ACTGEN并保證硬件設(shè)備正常，以下為具體操作流程

8、： 需人工重啟交換機，重新LOAD LTG，在CP側(cè)執(zhí)行指令<RECOVSYSTEM:LEVEL=ISTART2F;然后做常規(guī)檢查。在CP側(cè)執(zhí)行<DISPGEN;檢查當前GEN是否重啟前在使用的ACTGEN，若是GEN列表里第一行的GEN，則為ACTGEN，否則為BACKUP/GOLDEN GEN檢查重啟時是否進行了ISTART2G，可通過CP側(cè)指令<DISPALARM;看種類為ISTART的告警的詳細信息或交換機重啟時的LOG來得知。系統(tǒng)已倒回原來的備份GEN，需立即通知TAC，現(xiàn)場應(yīng)嘗試人工重啟系統(tǒng)恢復(fù)至ACTGEN，在CP側(cè)執(zhí)行令<RECOVSYSTEM:LEVE

9、L=ISTART2G，GEN=“ACT GEN”;后續(xù)檢查必須在TAC指導(dǎo)下進行。系統(tǒng)工作在正常的ACTGEN下，由于已做過ISTART2G，LTG應(yīng)該極少有SEZ的，詳細檢查應(yīng)通知TAC完成，此文檔不涉及，現(xiàn)場需做常規(guī)檢查。系統(tǒng)工作在正常的ACTGEN下，且大部分LTG工作正常，可通過人工指令激活不正常的LTG，流程見附一。然后做常規(guī)檢查。YNNYYN至交換機的連接應(yīng)已建立，在CP側(cè)執(zhí)行：<STATLTG:LTG=X-X;檢查是否有很多LTG在SEZ狀態(tài).若設(shè)備自動重啟無法正常啟動，需要用人工進行重啟，詳見CP側(cè)癱瘓、MP側(cè)癱瘓應(yīng)急預(yù)案。b.交換機CP側(cè)啟機，影響所有GSM-R業(yè)務(wù)，需

10、立即對CP側(cè)進行啟機：準備工作：將IOP-UNI后背板的03C295P1或04C295P1連出線為串口線連接到電腦終端COM1口；將CP側(cè)1側(cè)的BAP（010101柜07框257）關(guān)電，用于必要時的備用。在電腦終端打開BMML操作框（必須有BMML軟件）。 硬盤狀態(tài)正常，在正常（MANU）模式下重啟：按0側(cè)CMY的boot鍵，在BMML中輸入命令“FORMAT；”出現(xiàn)顯示（如果無顯示，需要重新按boot鍵）-“；”-“MANU”-“IOC-0”（如果啟機用1側(cè)，則用IOC-1）-選擇一個GEN的名字（一般用前期所用的GEN，本次用的為ODAGEN-FORCED-需要一段時間大約40分鐘，之后查

11、STATSSP確認啟機是否完成。硬盤狀態(tài)不正常，使用最近備份的光盤啟機，在UTI模式下重啟：按0側(cè)CMY的boot鍵，在BMML中輸入命令“FORMAT；”出現(xiàn)顯示（如果無顯示，需要重新按boot鍵）-“；”-“UTI”-“MOD”-“010C23”（為MOD0啟機）-“SY.INSTALL”輸入命令：INITMD:DEVOUT=010C01（如為MDD1則輸入030C01）;初始化硬盤；LABELMD: DEVOUT=010C23;做成系統(tǒng)盤；TRANSFILE:DEVIN=010C23，DEVOUT=010C01（如為MDD1則輸入030C01）; FILECAT=*，OLDGEN=*，N

12、EWGEN=*；將光盤下所有文件傳送到硬盤下。使用硬盤在 MANU模式下再啟機。啟機之后，使用Switch Commander 進行查看DISPGENCPMP，確認GCS一致。查看相應(yīng)的CP、MP側(cè)狀態(tài)。確認一切正常，并修改時間（ENTRTIME）。c.交換機MP側(cè)癱瘓，影響所有GSM-R業(yè)務(wù)，需立即對MP側(cè)進行啟機（硬盤、光盤啟機均適用）：準備工作：準備一臺筆記本電腦，一條9針串口線，到設(shè)備前，將串口線連到0側(cè)MP：OAM（010102柜09框251槽）；l將1側(cè)MP：OAM（010102柜09框271槽）拔出；l將電腦服務(wù)中的BCT COM口release掉，打開超級終端操作步驟：按0側(cè)M

13、P：OAM（010102柜09框251槽）RES鍵，超級終端出命令，CTRL-X進入選項（1，2，9）-進入1確定IP地址、ASN等無誤，確認使用MDD（MOD）；-進入2選擇GEN-進入9選擇reboot。啟機大約20分鐘。啟機之后，使用Switch Com 進行查看DISPGENCPMP，確認GCS一致。查看相應(yīng)的CP、MP側(cè)狀態(tài)。確認一切正常，并修改時間（ENTRTIME）。(4)全業(yè)務(wù)驗證宕機恢復(fù)后必須對全業(yè)務(wù)進行驗證，包括開關(guān)機、通話（MTC/MIC/MOC/MMC）、組呼/廣播、短信、短號碼、列控業(yè)務(wù)（RBC）、FOLLOW ME等等。(1)啟動前提：SGSN宕機，主備的功能單元模

14、塊均不能正常工作，同時已有平時的SGSN數(shù)據(jù)備份帶。(2)應(yīng)急措施：日常維護中應(yīng)該嚴格執(zhí)行計表中的系統(tǒng)備份制度，做好備份帶及詳細標簽。系統(tǒng)在重大操作前都必須做好備份帶。宕機預(yù)案啟動后，機房操作維護人員應(yīng)該馬上聯(lián)系諾西相關(guān)技術(shù)支持，在諾西技術(shù)人員無法馬上趕到現(xiàn)場情況下，現(xiàn)場維護人員應(yīng)該嚴格按照諾西廠家提供的相應(yīng)緊急故障處理流程進行分析處理。緊急情況下可能需要對設(shè)備進行重啟、切換操作，在進行類似操作前，應(yīng)運行命令收集信息，便于故障的跟蹤處理。(3)實施步驟：SGSN：登錄進SGSN的管理界面，按照下列步驟進行操作。a.系統(tǒng)重啟：確認系統(tǒng)有可用的備包;WQO:CR;同步數(shù)據(jù)庫文件；DBC:GPDAT

15、A,0;DBC:OEDATA,0;DBC:EQUIPM,0;檢查數(shù)據(jù)庫的一致性DBS:GPDATA,0DBS:OEDATA,0;DBS:EQUIPM,0;DBD:OMU;確認磁盤同步任務(wù)已經(jīng)全部完成DUQ;關(guān)閉并上傳所有話單 GHA;重啟系統(tǒng): USS:SYM:C=DSK;b.系統(tǒng)還原：從光盤復(fù)制備包到硬盤：IWL:,OMU:WSB,NODEF:FB061214,FFF0,XY:;IWY:S:UNIT=OMU,PATH=/SG04-061214,DRIVE=FDU-N0,;IWY:D:UNIT=OMU,PATH=/FB061214,DRIVE=WDU-SB,;IBC:,%,DIR:;IWX:,

16、OMU:WS,NODEF:FB061214,:%,%,;WQC:NAME=FB061214,DIRE=FB061214,:CW=ALL,:;當default BU包出錯時用FB包還原:將FB包狀態(tài)改為defaultWSD:NAME=FB010712修改狀態(tài), WSR;WKS:MODE,NAME=FALLBACK1,DIRE=FALLBACK1,MODE=FULL;WQD:NAME=BENSON1:DIRE;必要時確認包的內(nèi)容WQB:NAME=FALLBACK1:FORM=FAILED;c.收集軟件故障數(shù)據(jù)：ZDDS:<unit>,<index>/進入需采集日志的單元ZG

17、SC;/顯示日志Computer logZE;/退出d.重啟單元：USU：PAPU,0;2)與一個或多個TMSC局向中斷（一級）(1)啟動前提上海MSC與一個或多個TMSC局向中斷，仍有可正常通信的TMSC局向。(2)預(yù)案原則按照局數(shù)據(jù)設(shè)置原則應(yīng)當增加到各個局向的備份話務(wù)路由。到歸屬匯接區(qū)的MSC備選話務(wù)路由是本匯接區(qū)的TMSC。到非歸屬匯接區(qū)的MSC的備選話務(wù)路由是第二匯接區(qū)的TMSC。用戶撥號方式不變；以保證接通為主，主叫號碼規(guī)范、計費等僅盡量兼顧，在緊急情況下不做嚴格要求。目前上海MSC只有與武漢TMSC和北京TMSC相連，根據(jù)實際情況武漢TMSC是歸屬匯接區(qū)的TMSC，北京TMSC是上

18、海的第二匯接區(qū)核心節(jié)點。預(yù)案的執(zhí)行與恢復(fù)都必須進行撥測確認。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。搶修組根據(jù)實際情況請求與中斷MSC可正常通信的TMSC執(zhí)行應(yīng)急預(yù)案疏通話務(wù)，當疏通TMSC放通數(shù)據(jù)后，搶修組在上海MSC執(zhí)行操作定義故障TMSC的號段指向疏通TMSC疏通話務(wù)。當故障恢復(fù)時，需要將數(shù)據(jù)恢復(fù)原狀。a.倒代方案示意（以到武漢TMSC話務(wù)通道阻斷為例）861490851歸屬匯接區(qū)第二匯接區(qū)武漢TMSC上海MSC上海MSC武漢TMSC方向的業(yè)務(wù)倒代示意圖北京TMSC861490851861490851b.技術(shù)臺賬MSC局名歸屬號段武漢8

19、61490851北京861490821南昌861490818濟南861490843c.操作命令行倒代命令（執(zhí)行完后進行撥測確認）：DISPCPT：CPT=861490851；（結(jié)果顯示DEST=WHMSC）CRROUTE：DEST=WHMSC，TGNO=BJMSC，ROUTE=2；由于現(xiàn)網(wǎng)與北京MSC無話路，但已經(jīng)創(chuàng)建并保留路由ROUTE和中繼群TGRP數(shù)據(jù)，如果需創(chuàng)話路數(shù)據(jù)，可使用以下命令創(chuàng)建：ENTRC7TGREL、CRC7USER、CRTRUNK 當搶修組確認修復(fù)好中斷MSC的通信故障后，搶修組組長匯報實時情況于領(lǐng)導(dǎo)小組，請求執(zhí)行恢復(fù)，得到領(lǐng)導(dǎo)小組同意后開始執(zhí)行倒代恢復(fù)?；謴?fù)命令（執(zhí)行完

20、后進行撥測確認）：CANROUTE：DEST=WHMSC，ROUTE=2；DISPROUTE:：DEST=WHMSC；（確認已恢復(fù)路由中繼群指向武漢），刪除到北京的話路數(shù)據(jù)。3)與某STP的信令能力中斷（一級）(1)啟動前提上海MSC與某STP信令能力中斷，而到其他STP之間通信正常。(2)預(yù)案原則可查詢在MTP層是否有備份路由，按照局數(shù)據(jù)設(shè)置原則應(yīng)當增加到各個局向的備份信令路由。到LSTP的備選信令路由是本信令區(qū)的另一個LSTP。到HSTP的備選信令路由是另一個HSTP。目前上海MSC只有與武漢、北京HSTP相連，并已根據(jù)實際情況定義信令路由，當?shù)狡渲兄坏腍STP方向信令路由全阻時，MSC

21、會自動將信令全部轉(zhuǎn)移到另一個HSTP上疏通。預(yù)案的執(zhí)行與恢復(fù)都必須進行全業(yè)務(wù)驗證，包括開關(guān)機、通話（MTC/MIC/MOC/MMC）、組呼/廣播、短信、短號碼、列控業(yè)務(wù)（RBC）、FOLLOW ME等等。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。a倒代方案示意備選信令路由武漢HSTP上海MSC上海MSC武漢HSTP方向的業(yè)務(wù)倒代示意圖北京HSTP首選信令路由b.技術(shù)臺帳HSTP名信令點武漢42-255-22北京42-255-21c.操作命令行倒代命令（執(zhí)行完后進行撥測確認）：MODSIGDP: NETID=4，DPC=42-255-22，Adm

22、in state=LOCKED;當搶修組確認修復(fù)好中斷STP的通信故障后，搶修組組長匯報實時情況于領(lǐng)導(dǎo)小組，請求執(zhí)行恢復(fù)，得到領(lǐng)導(dǎo)小組同意后開始執(zhí)行倒代恢復(fù)?；謴?fù)命令（執(zhí)行完后進行撥測確認）：MODSIGDP: NETID=4，DPC=42-255-22，Admin state=UNLOCKED;注：以上命令是在武漢HSTP無法處理信令但信令點未失效時用。4)突發(fā)話務(wù)量造成上海MSC負荷過高的設(shè)備過載控制(一級)(1)啟動前提由于突發(fā)話務(wù)量等原因?qū)е履承┓较虻暮艚须y以接續(xù)；從而引起CPU負荷過高并有可能引起MSC重啟。(2)預(yù)案原則以保證MSC通信安全為主，并最大限度保證優(yōu)先級高的用戶通信。當

23、MSC恢復(fù)正常后，條件成熟時，可以逐漸地解閉先前關(guān)閉的設(shè)備。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。并按照實際情況采取以下相應(yīng)措施降低MSC負荷。（注：以下措施執(zhí)行必須獲得領(lǐng)導(dǎo)組的同意）a.關(guān)閉鑒權(quán)當CP負荷過高時，可以首先考慮在MSC完全關(guān)閉鑒權(quán)以大幅度降低鑒權(quán)的次數(shù)，降低A接口的負荷，也可以降低BSC的負荷及SDCCH的占用時長，減少SDCCH的擁塞，同時也會降低MSC到HLR的信令負荷。應(yīng)急命令：MODSERVOPT：FEAT=AUTHENT，STAT=BLK；恢復(fù)命令：MODSERVOPT：FEAT=AUTHENT，STAT=ACT；

24、注意：關(guān)閉鑒權(quán)可以降低CP負荷，但在完全關(guān)閉鑒權(quán)后，某些非法SIM卡就可能呼叫成功，所以應(yīng)注意在話務(wù)高峰過去后及時恢復(fù)數(shù)據(jù)。還需要注意的是，關(guān)閉鑒權(quán)后，是使用IMSI尋呼，CP負荷是降低了，但是基站的尋呼負荷可能會增加。建議按實際情況操作。b.閉塞部分電路對于因某條或某幾條路由負荷過高引起交換機負荷劇增，可考慮實際情況閉塞路由或閉塞部分電路以保證交換機的安全和其它路由話務(wù)不受影響。應(yīng)急命令：ENTRTGDAT：TGNOWHMSC，CIC=2-1，BLK=Admin；恢復(fù)命令：CANTGDAT：TGNOWHMSC，CIC=2-1，BLK=Admin；c.考慮限制某種業(yè)務(wù)類型比如限制用戶收發(fā)短信，

25、通過在MSC作限制手段，限制用戶接收短信。應(yīng)急命令：MODMSERVOPT：TSERV=TS21，STAT=BLK；（收信息）MODMSERVOPT：TSERV=TS22，STAT=BLK；（發(fā)信息）恢復(fù)命令：MODMSERVOPT：TSERV=TS21，STAT=ACT；（收信息）MODMSERVOPT：TSERV=TS22，STAT=ACT；（發(fā)信息）d.停止話務(wù)統(tǒng)計通過停止收集話務(wù)統(tǒng)計，可以相應(yīng)地降低CP負荷。應(yīng)急命令：DISPJOB；（查找話務(wù)統(tǒng)計任務(wù)號，例：80）STOPJOB：JN=80；恢復(fù)命令：CONTJOB:JN=80；注釋：雖然可降低負荷，但是缺乏分析系統(tǒng)在超負荷時運行狀態(tài)

26、的信息，影響到以后對故障的分析處理。5)智能業(yè)務(wù)中斷（一級）(1)啟動前提與北京和武漢SCP局向全部中斷業(yè)務(wù)，影響位置尋址及功能尋址。(2)預(yù)案原則為保證通信，用戶放棄原有智能業(yè)務(wù)的撥號方式，直接撥打短號碼、功能號、機車所對應(yīng)的MSISDN號。故障排除后，恢復(fù)原有撥打方式。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。 搶修組立即通知溫福和甬臺溫及武廣線調(diào)度員啟動備用應(yīng)急通信，將短號碼及功能號對應(yīng)的MSISDN通知列車調(diào)度員，列車調(diào)度員把所對應(yīng)的MSISDN號通知火車司機。短號碼對應(yīng)MSISDN號碼表：溫福和甬臺溫及武廣線短號碼對應(yīng)的MSISDN號

27、以開通業(yè)務(wù)為準。功能號對應(yīng)MSISDN號碼表：溫福和甬臺溫及武廣線機車對應(yīng)的MSISDN號以開通業(yè)務(wù)為準。當搶修組通過對智能網(wǎng)全業(yè)務(wù)進行驗證，包括短號碼、功能號、FOLLOW ME等等確認已修復(fù)好智能業(yè)務(wù)通信后，搶修組組長匯報實時情況于領(lǐng)導(dǎo)小組，請求執(zhí)行恢復(fù)，得到領(lǐng)導(dǎo)小組同意后開始執(zhí)行倒代恢復(fù)。搶修組立即通知溫福和甬臺溫及武廣線調(diào)度員故障已解決，停止備用應(yīng)急通信。6)與專網(wǎng)（PSTN）的互聯(lián)互通故障（一級）(1)啟動前提上海MSC與上海專網(wǎng)局向中斷，有可正常通信的MSC局向，且該局向與專網(wǎng)（PSTN）有連接。(2)預(yù)案原則用戶撥號方式不變；以保證接通為主，主叫號碼規(guī)范、計費等僅盡量兼顧，在緊急

28、情況下不做嚴格要求。目前上海MSC只有與武漢TMSC和北京TMSC相連，武漢、北京MSC都有與PSTN相連。預(yù)案的執(zhí)行與恢復(fù)都必須進行撥測確認。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。搶修組根據(jù)實際情況請求與武漢/北京MSC執(zhí)行應(yīng)急預(yù)案疏通話務(wù)，當疏通MSC放通數(shù)據(jù)后，搶修組在上海MSC執(zhí)行操作定義PSTN號段指向疏通MSC疏通話務(wù)。當故障恢復(fù)時，需要將數(shù)據(jù)恢復(fù)原狀。a.倒代方案示意（以武漢MSC疏通話務(wù)為例）901XXXXX專網(wǎng)（PSTN）上海MSC上海MSCPSTN的業(yè)務(wù)倒代示意圖武漢TMSC901XXXXX901XXXXXb.操作命令行

29、倒代命令（執(zhí)行后進行撥測確認）：DISPCPT：CPT=901；（結(jié)果顯示DEST=PSTN）DISPROUTE：DEST=WHMSC；（結(jié)果顯示中繼群指向WHMSC）MODCPT：CPT=901， DEST=WHMSC； 當搶修組確認修復(fù)好中斷STP的通信故障后，搶修組組長匯報實時情況于領(lǐng)導(dǎo)小組，請求執(zhí)行恢復(fù)，得到領(lǐng)導(dǎo)小組同意后開始執(zhí)行倒代恢復(fù)。恢復(fù)命令（執(zhí)行后進行撥測確認）：MODCPT：CPT=901， DEST=PSTN；DISPCPT：CPT=901；（確認已恢復(fù)DEST=PSTN）7)與FAS系統(tǒng)局向全部中斷（一級）(1)啟動前提上海MSC與上海/南昌/上海FAS系統(tǒng)全部中斷，影響

30、上海/溫福/甬臺溫調(diào)度臺與GSM-R移動終端通信，上海MSC與專網(wǎng)（PSTN）通信正常。(2)預(yù)案原則為保證通信，臨時啟用調(diào)度臺所在地的專網(wǎng)電話號碼行駛調(diào)度功能。故障排除后，恢復(fù)原撥打方式。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。倒代方案示意（以到上海FAS系統(tǒng)全部中斷為例）上海調(diào)度901041XXXXX上海FAS上海MSC上海MSC武漢TMSC方向的業(yè)務(wù)倒代示意圖上海專網(wǎng)741XXXX搶修組在故障發(fā)生后立即排查故障原因，并聯(lián)系西門子廠家技術(shù)支持8008208202； 8)HLRi系統(tǒng)故障（一級）(1)啟動前提HLRi系統(tǒng)故障，總部統(tǒng)一指揮倒

31、代。(2)預(yù)案原則北京MSC具有HLR的功能，北京MSC將做成HLRi系統(tǒng)的冷備份，在HLRi主備用系統(tǒng)都宕機時，在北京MSC上進行數(shù)據(jù)修改，由北京MSC承擔HLR的功能。由于涉及全網(wǎng)數(shù)據(jù)，預(yù)案各步驟的執(zhí)行由總部統(tǒng)一指揮。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。北京MSC進行數(shù)據(jù)修改，由北京MSC承擔HLR的功能。武漢STP修改HLR指向到北京MSC。搶修組在總部指揮下開始執(zhí)行倒代。a.倒代方案示意HLRi武漢STP上海MSC上海MSCHLRi系統(tǒng)故障業(yè)務(wù)倒代示意圖北京STPb.技術(shù)臺帳網(wǎng)元名信令點武漢STP42-255-22北京MSC42-

32、255-21c.操作命令行倒代命令（執(zhí)行完后進行撥測確認）：MODSIGDP: NETID=4，DPC=42-255-21，Admin state=LOCKED; 當HLRi故障修復(fù)后，由總部統(tǒng)一指揮執(zhí)行恢復(fù)?；謴?fù)命令（執(zhí)行完后進行撥測確認）：MODSIGDP: NETID=4，DPC=42-255-21，Admin state=UNLOCKED;9)與BSC系統(tǒng)局向全部中斷（一級）(1)啟動前提MSC與BSC（TRAU）局向全部中斷，影響該BSC范圍的GSM-R終端無法使用。(2)預(yù)案原則盡快恢復(fù)通信，若原因為物理連接引起，用臨時通道恢復(fù)業(yè)務(wù)；若為硬件故障，立即更換損壞硬件；若為軟件故障，立

33、即由廠家現(xiàn)場技術(shù)支持進行解決。(3)應(yīng)急措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。搶修組組長匯報實時情況于領(lǐng)導(dǎo)小組，搶修組對故障進行原因排查。如果確認原因為物理連接引起，查找BSC的臺帳，確定鏈路2M所在，要求傳輸室先代通帶鏈路的通道，再最大限度恢復(fù)該BSC最低通信容量要求，當原有物理連接修復(fù)后恢復(fù)原狀。若為硬件故障，立即更換損壞硬件。若為軟件故障，立即由廠家現(xiàn)場技術(shù)支持進行解決。10)與RBC機房互聯(lián)電路全部中斷（一級）(1)啟動前提對RBC機房互聯(lián)電路全部中斷。(2)預(yù)案原則不能影響原有正常業(yè)務(wù)，如有影響，處理須在天窗時間進行。(3)處理措施目前，我

34、們在虹橋RBC通信機房上了兩套ONS3500：RBC01和RBC02。共布放2條光纜一條32芯、一條30芯，32芯中的1-4芯與RBC機房相連的RBC01傳輸設(shè)備上，30芯中的1-4芯與RBC機房相連的RBC02傳輸設(shè)備上。再由傳輸設(shè)備RBC01、RBC02下2M電路與RBC通信設(shè)備相連。日常維護中觀察MSC網(wǎng)管告警信息：1.是光纖故障，由虹橋核心網(wǎng)機房值班人員倒換GSM-R機房到RBC機房的兩端光纖，調(diào)至備用光纖。2.是電路故障，立即聯(lián)系虹橋RBC機房值班人員，根據(jù)備用電路命名進行倒代，再對故障電路進行端對端的誤碼測試。3.兩條光纜同時都斷，虹橋RBC傳輸中斷，虹橋RBC業(yè)務(wù)全中斷，此時影響

35、滬寧滬杭京滬3條高鐵線，滬寧RBC有5個共25個2M、滬杭RBC有3個共15個2M、京滬RBC有6個共30個2M，虹橋核心網(wǎng)機房值班人員立即布放臨時光纖到虹橋RBC機房大約200米，通過兩頭接PDH臨時接通2M,按最低接通標準每個RBC一條2M鏈路，共需接通14條2M，按8路PDH連接，需2對PDH。GSM-R工區(qū)光纜、電路及端口如下表：纖芯號123456南輔-RBC32芯B纜(外圈)業(yè)務(wù)名稱RBC1-南一622MRBC1-南一622MRBC1-南一622MRBC1-南一622M備用備用跳纖去向1553南輔13-SLQ4-3-R1553南輔13-SLQ4-3-T1553南輔13-SLQ4-4-

36、R1553南輔13-SLQ4-4-T備用備用纖芯號123456南輔-RBC20芯A纜(內(nèi)圈)業(yè)務(wù)名稱RBC2-南二622MRBC2-南二622MRBC2-南二622MRBC2-南二622M備用備用跳纖去向1554南輔6-SLQ4-3-T1554南輔6-SLQ4-3-R1554南輔6-SLQ4-4-T1554南輔6-SLQ4-4-R備用備用1566新RBC11567新RBC2傳輸端口業(yè)務(wù)名稱傳輸端口業(yè)務(wù)名稱傳輸端口業(yè)務(wù)名稱傳輸端口業(yè)務(wù)名稱4PQ1-1滬寧RBC1-34PQ1-21京滬RBC7-14PQ1-1滬寧RBC1-14PQ1-21京滬RBC7-24PQ1-2滬寧RBC2-34PQ1-22京

37、滬RBC7-54PQ1-2滬寧RBC2-14PQ1-22京滬RBC8-24PQ1-3滬寧RBC3-34PQ1-23京滬RBC8-14PQ1-3滬寧RBC3-14PQ1-23京滬RBC9-24PQ1-4滬寧RBC4-34PQ1-24京滬RBC8-54PQ1-4滬寧RBC4-14PQ1-24京滬RBC10-24PQ1-5滬寧RBC5-34PQ1-25京滬RBC9-14PQ1-5滬寧RBC5-14PQ1-25京滬RBC11-24PQ1-6滬寧RBC3-54PQ1-26京滬RBC9-54PQ1-6滬寧RBC1-54PQ1-26京滬RBC12-24PQ1-8滬杭RBC1-14PQ1-27京滬RBC10-

38、14PQ1-7滬寧RBC5-55PQ1-21京滬RBC7-44PQ1-9滬杭RBC2-14PQ1-28京滬RBC10-54PQ1-10滬杭RBC1-35PQ1-22京滬RBC8-44PQ1-10滬杭RBC3-14PQ1-29京滬RBC11-14PQ1-11滬杭RBC2-35PQ1-23京滬RBC9-44PQ1-11滬杭RBC1-54PQ1-30京滬RBC11-54PQ1-12滬杭RBC3-35PQ1-24京滬RBC10-45PQ1-1滬寧RBC1-44PQ1-31京滬RBC12-14PQ1-13滬杭RBC3-55PQ1-25京滬RBC11-45PQ1-2滬寧RBC2-44PQ1-32京滬RBC

39、12-55PQ1-1滬寧RBC1-25PQ1-26京滬RBC12-45PQ1-3滬寧RBC3-45PQ1-21京滬RBC7-35PQ1-2滬寧RBC2-25PQ1-4滬寧RBC4-45PQ1-22京滬RBC8-35PQ1-3滬寧RBC3-25PQ1-5滬寧RBC5-45PQ1-23京滬RBC9-35PQ1-4滬寧RBC4-25PQ1-6滬寧RBC4-55PQ1-24京滬RBC10-35PQ1-5滬寧RBC5-25PQ1-9滬杭RBC1-25PQ1-25京滬RBC11-35PQ1-6滬寧RBC2-55PQ1-10滬杭RBC2-25PQ1-26京滬RBC12-35PQ1-10滬杭RBC1-45PQ

40、1-11滬杭RBC3-25PQ1-11滬杭RBC2-45PQ1-12滬杭RBC2-55PQ1-12滬杭RBC3-411) 與北京武漢互聯(lián)電路全部中斷（一級）(1)啟動前提與北京武漢互聯(lián)電路全部中斷。(2)預(yù)案原則不能影響原有正常業(yè)務(wù)，如有影響，處理須在天窗時間進行。(3)處理措施a.目前，虹橋GSMR設(shè)備與北京核心網(wǎng)間共4個2M電路互聯(lián)，上海MSC和北京TMSC互聯(lián)兩條E1，一主用一備用，上海SGSN和北京TMSC互聯(lián)兩條E1，一主用一備用。其對應(yīng)關(guān)系按附表一內(nèi)容所列。其中任一電路中斷都不影響業(yè)務(wù)，若全部電路中斷，會倒換到武漢MSC，也不影響業(yè)務(wù)。電路名稱 DDF位置設(shè)備端口轉(zhuǎn)接設(shè)備京滬2DL

41、（滬寧城際北京TMSC/STP-上海MSC鐵01）DDF1-1-152PQ1-1LTG 0-8-0京滬2DL（滬寧城際北京TMSC/STP-上海MSC鐵02DDF2-1-152PQ1-1LTG 4-51-0京滬2DL（滬寧城際北京STP-上海SGSN鐵01）DDF1-1-252PQ1-2SGSN ET768京滬2DL（滬寧城際北京STP-上海SGSN鐵02 DDF2-1-252PQ1-2SGSN ET896b.目前，上海GSMR設(shè)備與武漢核心網(wǎng)間共12個2M電路互聯(lián)，其對應(yīng)關(guān)系按附表一內(nèi)容所列。如發(fā)現(xiàn)原電路運用故障，由GSM-R核心機房值班人員立即聯(lián)系武漢GSM-R核心機房值班人員，根據(jù)備用電

42、路命名進行倒代，即采用人工倒接方式進行，具體倒接方案按附表所列進行。電路名稱 DDF位置設(shè)備端口轉(zhuǎn)接設(shè)備滬漢2DL（滬寧城際上海MSC-武漢TMSC/STP鐵01）DDF1-1-352PQ1-3LTG 0-40-0滬漢2DL（滬寧城際上海MSC-武漢TMSC鐵01）DDF1-1-452PQ1-4LTG 0-21-0滬漢2DL備用02DDF1-1-552PQ1-5滬漢2DL（滬寧城際上海SGSN-武漢STP鐵01）DDF1-1-652PQ1-2SGSN ET769滬漢2DL（滬寧城際上海MSC-武漢TMSC鐵03）DDF1-2-552PQ1-15LTG 0-25-0滬漢2DL備用01DDF2-1

43、-352PQ1-3滬漢2DL（滬寧城際上海MSC-武漢TMSC鐵02）DDF2-1-452PQ1-4LTG 5-7-0滬漢2DL備用03DDF2-1-552PQ1-5滬漢2DL備用04DDF2-1-652PQ1-6滬漢2DL（滬寧城際上海MSC-武漢TMSC/STP鐵02）DDF2-2-452PQ1-14LTG 4-54-0滬漢2DL（滬寧城際上海MSC-武漢TMSC鐵04）DDF2-2-652PQ1-16LTG 6-1-0滬漢2DL（滬寧城際上海SGSN-武漢STP鐵02）DDF2-2-652PQ1-17SGSN ET89712）MSC個別進程或數(shù)據(jù)吊死（二級）(1)啟動前提交換機命令無法正

44、常輸出或者交換機系統(tǒng)無法正常工作但外圍設(shè)備運行正常，通信業(yè)務(wù)無影響。(2)預(yù)案原則保證通信業(yè)務(wù)不受無影響，處理時間須在天窗時間進行。處理后須進行業(yè)務(wù)驗證。(3)響應(yīng)措施搶修組確認預(yù)案啟動前提成立，參照應(yīng)急通信故障的報告和通報流程制度啟動應(yīng)急預(yù)案。搶修組請示上級調(diào)度與鐵路局協(xié)商在天窗時間，聯(lián)系設(shè)備廠家說明具體的故障現(xiàn)象，由廠家現(xiàn)場或遠程支持對設(shè)備進行低級別啟機。低級別啟機會短時間（不超過5分鐘）影響設(shè)備運用。處理后須進行人機命令操作驗證，并確認交換機系統(tǒng)工作正常。以下分別是CP側(cè)和MP側(cè)個別進程或數(shù)據(jù)吊死的一般解決方法，具體按廠家技術(shù)指導(dǎo)執(zhí)行。 a.交換機CP側(cè)個別進程或數(shù)據(jù)吊死CP側(cè)操作命令：

45、RECOVSSP: LEVEL=NSTART0; 只對非呼叫處理的程序進行重啟，硬件只針對BAPM，對呼叫處理沒有影響。當BAPM損壞時，BAPM/BAPS進行倒換，系統(tǒng)自動對BAPM進行重啟。RECOVSSP: LEVEL=NSTART1; 對所有程序進行重啟，影響正在進行的呼叫，已建立的呼叫不受影響。RECOVSSP: LEVEL=NSTART2; 對CP的PRO加載DATA（數(shù)據(jù)），所有程序進行重啟，影響正在進行的呼叫，已建立的呼叫不受影響。RECOVSSP: LEVEL=NSTART3; 對CP的PRO加載DATA和CODE，對所有程序進行重啟，影響正在進行的呼叫，已建立的呼叫不受影響。b.交換機MP側(cè)個別進程或數(shù)據(jù)吊死RECOVLIC: LIC=1（2）; 由于LIC為1、2互為備份，操作時需逐個進行，以免影響業(yè)務(wù)使用。主要針對在IWPSS7時隙無法正常占用或創(chuàng)建LINK時不能正常激活時，需對LIC板進行重啟。RECOVAMX: SIDE=0（1），ACCG=1（3）; 由于ACCG為01側(cè)備份，操作時是逐側(cè)進行，不影響業(yè)務(wù)使用。主要針對在ATM交換網(wǎng)中包括基本框（擴展框）ACCG或其他一些設(shè)備降級或故障時對AMX進行重啟。RECOVASN: SIDE=0（1），ACCG=1; 由于ACCG為01側(cè)備份，操作時是