重大節(jié)假日網(wǎng)絡保障應急預案.doc

重大節(jié)假日網(wǎng)絡保障應急預案二九年十二月節(jié)假日網(wǎng)絡保障應急預案1 總則 1.1編制目的 為保證重要活動節(jié)假日召開期間通信網(wǎng)絡的安全可靠運行，全面提高通信維護隊伍應對突發(fā)情況的綜合管理水平和應急處置能力，最大限度地保證重大節(jié)假日期間通信網(wǎng)絡穩(wěn)定安全運行和可靠暢通。 1.2編制依據(jù)依據(jù)工信部等有關文件及應急預案，結合我公司網(wǎng)絡實際情況制定本預案。 1.3工作原則1. 實行統(tǒng)一管理、統(tǒng)一指揮、各級負責的原則；2. 快速反應原則：當突發(fā)事件發(fā)生時，維護部各中心要立即按應急通信預案，投入通信應急工作；3. 主動報告原則：當突發(fā)事件發(fā)生后，要及時報告應急通信實施情況。 1.4適用范圍 本預案適用于重要節(jié)假日期間，可能對網(wǎng)絡安全穩(wěn)定可靠運行的一切突發(fā)事件或緊急情況。2 組織機構及職責 2.1應急機構組成 重要活動節(jié)假日通信保障應急通信保障工作實行各級維護部負責制。由分公司的網(wǎng)絡與信息安全領導小組組織調(diào)度指揮，各有關部門統(tǒng)一遵照執(zhí)行。 突發(fā)事件或者緊急情況發(fā)生后，公司應急應急通信辦公室可以根據(jù)需要，在事發(fā)地設立現(xiàn)場應急指揮部，統(tǒng)一進行指揮調(diào)度；應急通信辦公室成員：總指揮：運行維護部主任副總指揮：運維部副主任成員：運維部副主任、各專業(yè)主管 2.2應急通信辦公室主要職責 負責對本公司重要會議應急通信保障工作的統(tǒng)一領導、指揮和協(xié)調(diào)。負責傳達省公司和地市分公司應急工作指令；負責節(jié)日期間發(fā)生的突發(fā)事件或者緊急情況的收集、分析和評估工作；協(xié)調(diào)處理在實施重要會議應急工作中的有關問題；對損失及影響進行評估；制定重要節(jié)假日應急方案并負責修訂和完善；負責執(zhí)行通信保障指令；負責修復故障設備；負責應急通信工作中的后勤保障等配合工作。3 應急準備工作3.1通訊手段保障3.1.1重要節(jié)假日期間重要崗位的領導及維護人員保證多種通訊方式的暢通。各級應急組織成員在節(jié)假日要保證G網(wǎng)、C網(wǎng)、移動和固定電話24小時處于待機狀態(tài)，應急搶修隊成員要確保通訊手段有效。3.1.2通信機房要保證G網(wǎng)、C網(wǎng)、移動、固定、企業(yè)網(wǎng)和延伸公務電話暢通。機房通訊錄要保證準確、無誤，擺放顯著位置，節(jié)日當晚要進行測試。3.1.3各級公司要及時更新通訊錄，要求應急通信辦公室人員每人一份。各級分公司機房內(nèi)的通訊錄要擺放明顯位置。3.2應急資源、人員準備3.2.1重要的節(jié)假日前夕，應急機構要提前做好發(fā)電機、油料、車輛、工具以及服裝等應急物資的準備及儲備工作。3.2.2要根據(jù)預案設置，提前做好資源的分配工作。3.2.3機房應急搶修人員在節(jié)日期間24小時待命，提前做好備用單板測試、主備單板、主備機倒換測試，做好完整系統(tǒng)數(shù)據(jù)備份并異地存放，要保證搶修工具齊全完好。3.2.4線路搶修人員要加強日常巡線工作，備好搶修物資及搶修工具，24小時待命。3.2.5基站維護員對重要節(jié)點站進行檢查，加大巡檢次數(shù)。3.3加強監(jiān)控和巡視制定節(jié)假日值班制度，安排骨干人員加強值班。對于春節(jié)、中秋等話務高峰期大話務沖擊嚴重的節(jié)日，機房值班要求每個專業(yè)要有兩名以上技術骨干，其他節(jié)假日值班要求至少要有一名技術骨干。在節(jié)假日對局內(nèi)設備的維護，要求每隔固定時間進行一次系統(tǒng)監(jiān)控和巡視，除夕夜要求每30分鐘進行一次系統(tǒng)監(jiān)控。監(jiān)控對象主要包括：1、 各專業(yè)日常維護設備的各項指標，包括網(wǎng)絡資源是 否超出設備正常運行的設計門限。2、 網(wǎng)元狀態(tài)：是否有高級別的告警產(chǎn)生，是否有引發(fā)重大故障的特定告警產(chǎn)生，是否有負荷告警產(chǎn)生等。3.4加強網(wǎng)絡主動測試在節(jié)假日對網(wǎng)絡和設備的主動測試有助于問題的發(fā)現(xiàn)，建議每1個小時進行一次業(yè)務測試，除夕夜話務高峰到來（20：00）前進行一次全面的業(yè)務測試。測試內(nèi)容主要包括：1、話務方面：局內(nèi)、局間、省際、省內(nèi)、網(wǎng)間主叫和被叫的通話測試。2、短信方面：局內(nèi)、局間、省際、省內(nèi)、網(wǎng)間點對點短信測試，觀察短消息發(fā)送、接收及時延情況。3.4應急預案準備工作3.3.1分公司要做好重點通信設備和干線、本地網(wǎng)的故障分級調(diào)度、保障方案。3.3.2對于重要會議召開期間可能啟動的高負荷話務應急預案和各類網(wǎng)絡故障應急預案要進行完善。4應急處理1值班人員發(fā)現(xiàn)災情或收到氣象部門的預警時，應立即按照重大故障上報流程的管理規(guī)定，及時向相關單位發(fā)布預警信息。2 維護部各中心對運行設備進行一次安全檢查，排除隱患，形成安全檢查總結報告?zhèn)浒浮?應急通信辦公室應根據(jù)預警信息實施響應方案，根據(jù)響應方案將油機、備板備件等應急物資提前調(diào)度至重點保障的地區(qū)，調(diào)度原則應遵循地區(qū)的分級管理規(guī)定，重點機房、大客戶電路等重要部分優(yōu)先保障。3網(wǎng)絡故障或者突發(fā)事件、緊急情況發(fā)生后，各級應急機構立即進入應急狀態(tài)，并通過預警機構傳報應急人員的聯(lián)系方式。4網(wǎng)絡故障或者突發(fā)事件、緊急情況發(fā)生后，及時調(diào)度車輛和人員至網(wǎng)絡故障或者突發(fā)事件、緊急情況地點進行通信保障。5網(wǎng)絡故障或者突發(fā)事件、緊急情況發(fā)生后，應立即加強對設備的運行監(jiān)控，對于由網(wǎng)絡故障或者突發(fā)事件、緊急情況引發(fā)的交換機高負荷情況和故障情況，要及時上報本地應急通信辦公室，申請啟動應急預案。6各支持、配合機構要根據(jù)網(wǎng)絡與信息安全領導小組和應急通信辦公室的要求開展工作。7對于網(wǎng)絡故障或者突發(fā)事件、緊急情況過程中涉及分公司間應急資源調(diào)度的情況，由省公司應急通信辦公室負責協(xié)調(diào)。8在資源調(diào)度時，遵循重點地區(qū)優(yōu)先保障的原則。9對于網(wǎng)絡故障或者突發(fā)事件、緊急情況持續(xù)過程中造成的部分網(wǎng)絡設備不能正常運行的情況，維護部要根據(jù)網(wǎng)絡預故障通報機制，將信息及時傳報給各受影響的部門。附件1：移動網(wǎng)交換專業(yè)節(jié)假日及重大社會活動應急預案（一）、系統(tǒng)運行主動監(jiān)控在節(jié)假日及重大社會活動尤其是春節(jié)期間，移動網(wǎng)及綜合關口局設備負荷一般都會比平時運行有較大幅度的激增，所以在這期間，定期對系統(tǒng)進行檢查，可以及早發(fā)現(xiàn)系統(tǒng)是否出現(xiàn)擁塞等問題。在節(jié)假日對交換系統(tǒng)維護，建議每1個小時左右就對各種設備進行一次系統(tǒng)的監(jiān)控，春節(jié)除夕晚上建議每半小時或?qū)崟r進行系統(tǒng)監(jiān)控。監(jiān)控的對象主要是： 1、在維護臺實時監(jiān)測交換機CPU負荷情況，注意是否已經(jīng)接近系統(tǒng)的最大容量；2、根據(jù)各局向的網(wǎng)絡配置情況，監(jiān)測各局向話務負荷是否已經(jīng)接近網(wǎng)絡的最大處理能力；3、檢查端局TUP、MAP等普通呼叫信令之間的呼叫關系是否有異?，F(xiàn)象；4、檢查VLR所在機器的系統(tǒng)資源，跟蹤系統(tǒng)占用資源是否已經(jīng)接近系統(tǒng)設計的最大容量；5、檢查綜合關口局各局向TUP、ISUP等網(wǎng)間呼叫信令之間的呼叫關系及網(wǎng)間運行業(yè)務是否有異?，F(xiàn)象；6、檢查數(shù)據(jù)庫/話單文件等是否還有足夠空間和資源。（二）、系統(tǒng)運行主動測試 在節(jié)假日對交換系統(tǒng)的維護，建議每1個小時左右就進行一次系統(tǒng)的呼叫測試，春節(jié)除夕晚上建議每半小時進行一次系統(tǒng)的呼叫測試。測試的方法主要是：1、進行移動網(wǎng)本局內(nèi)移動至移動的話務呼叫，注意觀察呼叫是否能能夠成功的接續(xù)、以及整個呼叫過程的時延情況。2、進行本省內(nèi)移動至移動的話務呼叫，注意觀察呼叫是否能能夠成功的接續(xù)、以及整個呼叫過程的時延情況。3、進行省間移動至移動的話務呼叫，注意觀察呼叫是否能能夠成功的接續(xù)、以及整個呼叫過程的時延情況。4、對各個局向的互聯(lián)及話務情況，進行相應的網(wǎng)間呼叫測試，注意觀察呼叫是否能能夠成功的接續(xù)、以及整個呼叫過程的時延情況。 5、進行C網(wǎng)手機至移動的話務呼叫，注意觀察呼叫是否能能夠成功的接續(xù)、以及整個呼叫過程的時延情況。6、進行C網(wǎng)手機至網(wǎng)通的話務呼叫，注意觀察呼叫是否能能夠成功的接續(xù)、以及整個呼叫過程的時延情況。7、進行C網(wǎng)至鐵通、電信固網(wǎng)的話務呼叫，注意觀察呼叫是否能能夠成功的接續(xù)、以及整個呼叫過程的時延情況。 8、聯(lián)系進行聯(lián)通、鐵通市話使用193及IP業(yè)務的話務呼叫測試，機房人員配合跟蹤測試信令并注意觀察呼叫是否能能夠成功的接續(xù)、以及整個呼叫過程的時延情況。（三）、交換系統(tǒng)擁塞及CPU負荷過高應急預案在監(jiān)控的過程中如果發(fā)現(xiàn)已經(jīng)出現(xiàn)系統(tǒng)擁塞、資源CPU及資源占用率高的情況，維護人員應該采取一定的應急措施，以確保系統(tǒng)的安全運行：1、 如果發(fā)現(xiàn)數(shù)據(jù)庫、話單文件等的資源不夠，譬如分配的硬盤空間已經(jīng)耗盡的情況，可以將系統(tǒng)中早期的數(shù)據(jù)庫歷史表、話單文件等備份到其他的機器上，騰出硬盤空間。2、如果發(fā)現(xiàn)交換系統(tǒng)資源不夠，譬如發(fā)生呼叫流控、處理能力不足等情況，在上級主管部門同意后，即可按照事先確定好的順序閉塞綜合關口局至各主要局向的部分中繼電路，以達到降低系統(tǒng)負荷的效果。3、可以在維測臺上監(jiān)視基站運行情況，會同基站專業(yè)查看基站話務分布情況，在交換機處理能力不足等情況發(fā)生時，在上級主管部門同意后，即可會同基站專業(yè)按照事先確定好的順序閉塞相應基站，以達到降低系統(tǒng)負荷的效果。附件2：BSC節(jié)假日網(wǎng)絡保障應急預案一、BSC節(jié)假日大話務量應急處理的組織結構和聯(lián)系方式職責：組長、副組長負責了解現(xiàn)場情況并與省分公司相關領導溝通，申請啟動應急方案，接受省分命令，并向組員傳達上級命令，啟動應急方案，跟蹤現(xiàn)場進展，隨時準備與省分公司領導匯報。在應急結束后，接受命令，下達倒回命令，最終向省分公司匯報。技術協(xié)調(diào)人員負責向組長、副組長匯報現(xiàn)場情況并與組長、副組長溝通，根據(jù)現(xiàn)場情況，申請啟動應急方案，同時接受命令，與成員共同配合實施方案，根據(jù)現(xiàn)場進展，隨時與組長、副組長匯報，在應急情況結束后，向組長、副組長申請倒回命令，接到命令后，與成員共同配合實施。成員負責配合技術協(xié)調(diào)人進行具體工作實施。二、C網(wǎng)BSC節(jié)假日大話務量應急預案在節(jié)假日尤其是春節(jié)期間，話務量一般會比平時成倍的增長，所以在這期間，定期對系統(tǒng)進行檢查，可以及早發(fā)現(xiàn)系統(tǒng)是否出現(xiàn)擁塞等問題。在節(jié)假日對BSC系統(tǒng)維護，建議每1個小時左右就進行一次系統(tǒng)的監(jiān)控，春節(jié)除夕晚上建議半小時進行一次系統(tǒng)的監(jiān)控。監(jiān)控的對象主要是： 1、BSC主處理器CPU的負荷，注意是否已接近設定門限值；2、BSC的A接口的話務負荷和A接口的信令負荷是否已接近告警門限；3、當前的告警有無任何負荷告警等。 系統(tǒng)運行主動測試 在節(jié)假日對BSC系統(tǒng)維護，建議每1個小時左右就進行一次系統(tǒng)的測試，春節(jié)除夕晚上建議每半小時進行一次系統(tǒng)的檢查和測試。測試的方法主要是：1、每個小時取一次小區(qū)性能測量的話統(tǒng)，注意小區(qū)的擁塞程度。2、進行本局之內(nèi)的C網(wǎng)對C網(wǎng)手機的呼叫測試和點對點的短消息的發(fā)送，注意呼叫的成功率和短信的延遲程度。3、進行本局C網(wǎng)手機1X數(shù)據(jù)業(yè)務的測試，注意上傳和下載的速度。 BSC擁塞或故障的應急維護在節(jié)假日話務量增大的情況下，我們BSC系統(tǒng)有一套限制流量、自我保護的機制。這主要是通過對BSC系統(tǒng)CPU占用率門限值的設置實現(xiàn)。當業(yè)務量增大并超過某個門限值時，系統(tǒng)將會產(chǎn)生不同級別（14級）的告警，同時系統(tǒng)將按不同級別告警對當前呼叫業(yè)務和數(shù)據(jù)業(yè)務進行不同級別的丟包限制處理，以保證系統(tǒng)能正常運行。如果再加上適當?shù)娜斯ふ{(diào)節(jié)，將使BSC運行更加穩(wěn)定可靠，使有限的業(yè)務處理能力得到更加合理的利用。同時在監(jiān)控的過程中如果發(fā)現(xiàn)已經(jīng)出現(xiàn)業(yè)務量不斷增大、話務開始擁塞、BSC主處理器的負荷接近門限值時，維護人員應該采取一定的應急措施，以確保BSC系統(tǒng)的安全： 1、掛起或刪除一些不常用或不重要的話統(tǒng)。2、不要使用性能統(tǒng)計中的實時觀察、信令跟蹤、系統(tǒng)監(jiān)測、業(yè)務觀察等。3、在業(yè)務量非常大出現(xiàn)高級別的告警時，可以根據(jù)當前告警級別對BSC系統(tǒng)的部分基站做閉鎖處理：具體方案如下：1）當BSC1的CPU負荷達到80或MSC側需要配合時。依次閉鎖注意：以上操作嚴格按照閉鎖載頻的先后順序進行依次閉鎖，每閉鎖一塊載頻后觀察一下CPU占用率，如果CPU占用率降下來，就停止下面的操作，以便盡量減少