機房環(huán)境安全事件應(yīng)急處置專項預(yù)案

1、機房環(huán)境安全事件專項應(yīng)急預(yù)案預(yù)案編號110000-01-01-002-v1.0預(yù)案名稱機房環(huán)境安全事件專項應(yīng)急預(yù)案版木v1.0適用等級i、ii、iii、iv涉及部門信息屮心、機關(guān)服務(wù)中心應(yīng)急處置基本原則：機房環(huán)境安全爭件應(yīng)急處置基本原則是：保障關(guān)鍵系統(tǒng)運行及業(yè)務(wù)系統(tǒng)數(shù)據(jù)安全、采取應(yīng) 急措施、及時恢復(fù)、預(yù)防為主。機房壞境主要由電力系統(tǒng)、制冷系統(tǒng)、監(jiān)控系統(tǒng)組成，在日常 工作中，常遇到的狀況主要是以上系統(tǒng)出現(xiàn)故障或發(fā)生緊急情況（例如大范圍停電、設(shè)備故障 等）。為保證在出現(xiàn)緊急悄況時，能夠及時有效等排除故障，保障系統(tǒng)正常運轉(zhuǎn)或?qū)I(yè)務(wù)數(shù)據(jù) 安全保存，特制定以下基本原則：1、保障關(guān)鍵系統(tǒng)運行及業(yè)務(wù)系統(tǒng)數(shù)據(jù)

2、安全機房環(huán)境在出現(xiàn)市電故障的情況下，應(yīng)保證線路能及時切換到備用電路，并自動報警給機 房管理人員、安全管理人員及相關(guān)主管領(lǐng)導(dǎo)，確保業(yè)務(wù)不被中斷，如杲主備用電路均出現(xiàn)故障, 確保能自動川用備用電源，備用電源（ups）的供電時間不少于市電一般恢復(fù)時間的兩倍，在 備用電源無法滿足全部業(yè)務(wù)供電需求時，根據(jù)情況停用菲關(guān)鍵系統(tǒng)，保障關(guān)鍵系統(tǒng)運行。具體 措施見減壓降溫方案。機房環(huán)境在出現(xiàn)制冷系統(tǒng)故障的情況下，應(yīng)保證制冷系統(tǒng)的冗余設(shè)備止常運轉(zhuǎn)，并自動將 故障情況自動報警給機房管理人員、安全管理人員，確保業(yè)務(wù)系統(tǒng)不受故障影響。如果機房內(nèi) 制冷系統(tǒng)的兀余設(shè)備無法保證機房內(nèi)溫濕度在止常范闌（22-24度）內(nèi)，自動通過

3、環(huán)境監(jiān)控系 統(tǒng)報警給機房管理人員、安全管理人員及相關(guān)主管領(lǐng)導(dǎo)，提示機房環(huán)境處于非止常狀態(tài)。機房 管理人員及時采取應(yīng)急措施。2、采取應(yīng)急措施機房環(huán)境在出現(xiàn)市電故障的情況下，將不間斷電源最短供電時間（機房內(nèi)有多臺不間斷電 源，以供電最短時間為依據(jù)）和故障恢復(fù)時間上報主管領(lǐng)導(dǎo)，提供決策依據(jù)。同時，為延t不 間斷電源供電時間，能夠及時將重要數(shù)擁進(jìn)行備份，平穩(wěn)關(guān)閉業(yè)務(wù)系統(tǒng)，應(yīng)采取減壓降溫處理 措施，按主機設(shè)備重要性優(yōu)先級由低到高的順序，依次進(jìn)行關(guān)閉。具體措施見減壓降溫方案機房環(huán)境在出現(xiàn)制冷系統(tǒng)故障的情況下，冗余設(shè)備無法保證溫濕度在止常范i羽內(nèi)吋，應(yīng)采 取減壓降溫處理措施，按主機設(shè)備重要性優(yōu)先級由低到高的

4、順序，依次進(jìn)行關(guān)閉，同時，確保 機房通風(fēng)，采用輔助降溫措施，如電風(fēng)扇等，對機房進(jìn)行降溫。具體措施見減壓降溫方案。3、及時恢復(fù)在出現(xiàn)山電故障的情況卜，及時與供電部門聯(lián)系，隨時了解供電恢復(fù)的預(yù)期時間，并要求 電力部門提供必要的臨時供電支持。在出現(xiàn)制冷系統(tǒng)故障的悄況下，兀余設(shè)備無法保證溫濕度在正常范圍內(nèi)時，應(yīng)關(guān)閉菲關(guān)鍵 系統(tǒng)，確保通風(fēng)，并采取輔助措施和設(shè)備對機房進(jìn)行降溫，并要求空調(diào)維修廠商或和關(guān)部門及 時通報故障修復(fù)預(yù)期時間。4、預(yù)防為主應(yīng)要求供電單-位和ups電源供應(yīng)商等定期進(jìn)行主備電力線路和ups設(shè)備檢杳，及時發(fā)現(xiàn) 線路故障或備用電源故障隱患，要求空調(diào)維護廠商每月對制冷系統(tǒng)進(jìn)行巡檢，及時排除故障

5、隱 患，確保緊急聯(lián)系部門和人員信息真實可用；保證機房內(nèi)有輔助降溫設(shè)備儲備；適時進(jìn)行電力 故障應(yīng)急演練。事件類型及危害程度分析：機房環(huán)境安全爭件屬于綜合類安全爭件，涉及ups可用性以及機房溫度等指標(biāo)，該類爭 件造成的危害主要有以卜兒方而：ups可用性：1、當(dāng)市電供應(yīng)故障時間較短，需要切換到備份電路或ups ibj,可能造成電壓不穩(wěn)，將影 響部分設(shè)備性能，甚至可能造成部分設(shè)備故障；2、當(dāng)市電供應(yīng)故障時間較長，超過ups可供電時間和范圍時，將造成大血積斷網(wǎng)，導(dǎo)致 業(yè)務(wù)屮斷，造成更人影響和損失。機房溫度過髙：1、由于電力或其他因素導(dǎo)致機房空調(diào)不町用后，由于設(shè)備持續(xù)散熱導(dǎo)致機房溫度持續(xù)升 高，戰(zhàn)后可能導(dǎo)

6、致機柜溫度過高和設(shè)備異常宕機。事件級別判定從影響時間和范圍而呂： 業(yè)務(wù)吋間預(yù)計或?qū)嶋H恢復(fù)時間低于1小時超過30分鐘、非業(yè)務(wù)吋間低于24小時 超過8小時的，并h僅對市局業(yè)務(wù)造成影響的，屬于iv級事件； 業(yè)務(wù)吋間預(yù)計或?qū)嶋H恢復(fù)時間低于4小時超過1小吋、非業(yè)務(wù)時間低于48小吋 超過24小時的，且僅對市局業(yè)務(wù)造成影響的；或者業(yè)務(wù)時間預(yù)計或?qū)嶋H恢復(fù)時 間低于1小時超過30分鐘、非業(yè)務(wù)時間低于24小時超過8小時的，且對市局 及下屬區(qū)縣局業(yè)務(wù)造成影響的，iii級事件； 業(yè)務(wù)時間預(yù)計或?qū)嶋H恢復(fù)時間低于8小時超過4小時、非業(yè)務(wù)時間低于72小時 超過48小時的，且僅對市局業(yè)務(wù)造成影響的；或者業(yè)務(wù)時間預(yù)計或?qū)嶋H恢復(fù)

7、時 間低于4小時超過1小時、非業(yè)務(wù)時間低于48小時超過24小時的，且對市局 及下屈區(qū)縣局業(yè)務(wù)造成影響的，屈丁7i級事件。 業(yè)務(wù)時間預(yù)計或?qū)嶋H恢復(fù)時間超過8小時、非業(yè)務(wù)時間超過72小時的，且對市 局業(yè)務(wù)造成影響的；或者業(yè)務(wù)時間預(yù)計或?qū)嶋H恢復(fù)時間超過4小時、非業(yè)務(wù)時間 超過48小時的，冃対市局及下屈區(qū)縣局稅收業(yè)務(wù)造成影響的，屈丁丨級事件。 從影響重要系統(tǒng)嚴(yán)重程度而言： 故障造成部分業(yè)務(wù)的服務(wù)性能受到短暫影響，且影響范圍在北京市局范闌內(nèi)，屬 于iv級事件； 故障造成部分菲實時業(yè)務(wù)屮斷，影響范圍在市局及部分區(qū)縣局，屬于iii級事件; 故障造成部分實時業(yè)務(wù)屮斷，影響范圍在市局及部分區(qū)縣局，屈tii級事件

8、。 故障造成大面積業(yè)務(wù)中斷，影響全市稅收業(yè)務(wù)正常秩序，屬于i級事件。預(yù)防與預(yù)警采用雙路供屯、ups,部署機房環(huán)境安全監(jiān)控系統(tǒng)，部署機房輔助降溫設(shè)施；識別關(guān)鍵系統(tǒng)，備份關(guān)鍵數(shù)據(jù)，確定系統(tǒng)關(guān)開機順序和方法，制定減壓降溫方案，并機房斷電和空調(diào)停tll應(yīng)急開始詢問電力未恢復(fù)i核心數(shù)據(jù)庫備份，緊急關(guān)機上報審批單，關(guān)閉非關(guān)鍵系i 統(tǒng)，布置機房降溫輔助設(shè)施.電力未恢復(fù)i3z 關(guān)閉網(wǎng)絡(luò)設(shè)備、存儲設(shè)備赳力恢復(fù)相關(guān)人員到場聯(lián)系機關(guān)服務(wù)中心 銅問故障原因及恢復(fù)時間；i 答復(fù)/告知保持聯(lián)絡(luò),直到供電恢復(fù)后為止向領(lǐng)導(dǎo)匯報悄況iilce1j十丄vj伏是；*成功不成功r聯(lián)系廠商處理力恢復(fù)時間及機房溫度決定v 是否啟動機房減

9、壓降溫措施是.向領(lǐng)導(dǎo)匯報故障排除過程y應(yīng)急結(jié)朿預(yù)案流程說明（此流程主要用于市電故障）1、由于市屯故障，導(dǎo)致機房斷電和空調(diào)停機，應(yīng)急處置開始并通知相關(guān)人員到現(xiàn)場；2、聯(lián)系機關(guān)服務(wù)中心詢問停電原因，并在后續(xù)的應(yīng)急處理過程中保持與服務(wù)中心的聯(lián)系, 獲取最新信息；3、向領(lǐng)導(dǎo)匯報機房斷電、空調(diào)停機以及服務(wù)中心反饋信息；4、自動切換到ups供電，如果出現(xiàn)部分ups不能切換的情況，手工切換到ups供電， 并聯(lián)系ups廠商排除不能自動切換或部分無法正常運行ups的故障；5、根據(jù)ups支持時間、預(yù)計電力恢復(fù)時問及機房溫度決定是否啟動機房減壓降溫措施， 如果由于空調(diào)停機導(dǎo)致機房溫度快速上升、且無法預(yù)計電力恢復(fù)時間

10、時，由領(lǐng)導(dǎo)決策，及時執(zhí) 行減壓降溫方案；如果和服務(wù)中心確認(rèn)電力能在機房溫度沒有快速上升前（經(jīng)驗值為10 分鐘）恢復(fù)供應(yīng)，可不進(jìn)行后續(xù)應(yīng)急處置；6、上交機房減壓降溫處置審批單，情況緊急吋，可先口頭匯報確認(rèn)（事后補文檔）， 確認(rèn)可執(zhí)行后，關(guān)閉菲關(guān)鍵系統(tǒng)，開啟通風(fēng)口，布置并開啟機房降溫輔助設(shè)施（如電風(fēng)扇）， 若在此過程中電力恢復(fù)，按照原關(guān)機順序進(jìn)行開機操作；7、在電力未恢復(fù)、供電局還處在事件調(diào)杳階段且ups支持時間不足情況下，需要提前對 核心數(shù)據(jù)進(jìn)行備份并進(jìn)行緊急關(guān)機處置操作，最后關(guān)閉小型機、相關(guān)存儲設(shè)備和網(wǎng)絡(luò)設(shè)備，若 在此過程中電力恢復(fù)，按照原關(guān)機順序進(jìn)行開機操作；&在等待供電恢復(fù)期間，需

11、要協(xié)調(diào)相關(guān)廠商工程師到場，做好供電恢復(fù)后開機準(zhǔn)備工作;9、供電恢復(fù)后，執(zhí)行開機流程，確保全部主機、網(wǎng)絡(luò)設(shè)備順利開啟后，結(jié)束應(yīng)急響應(yīng)， 向領(lǐng)導(dǎo)匯報處置過程，形成事故分析報告并歸檔。應(yīng)急處置過程需要的時間1、機房斷電和自動切換ups供電設(shè)備需要的時間忽略不計；2、機房值班人員和女全責(zé)任人員接到報警，緊急到達(dá)現(xiàn)場需要3分鐘；3、與服務(wù)中心聯(lián)系，詢問停電原因并向領(lǐng)導(dǎo)匯報需要5分鐘；4、發(fā)現(xiàn)ups無法完成自動切換后，手工切換需要花費1分鐘；5、關(guān)閉非關(guān)鍵系統(tǒng)，開啟通風(fēng)口，布置機房降溫設(shè)施需要10分鐘；6、進(jìn)行核心數(shù)據(jù)備份和緊急關(guān)機操作需要34分鐘；7、關(guān)閉網(wǎng)絡(luò)設(shè)備、存儲設(shè)備需要40分鐘；8、協(xié)調(diào)廠商工程

12、師到場需要40分鐘；9、全部應(yīng)用系統(tǒng)和設(shè)備開機需要至少2小時。整個應(yīng)急處置時間預(yù)計至少需要4小時。應(yīng)急處置結(jié)果1、在市電供應(yīng)恢復(fù)前，ups支持時間范圉內(nèi)，確保機房溫度保持在合理范闌內(nèi)，保證在 ups電力耗盡前備份核心數(shù)據(jù)并安全關(guān)閉所有系統(tǒng)。2、執(zhí)行緊急停開機順序，確保全部應(yīng)用系統(tǒng)和設(shè)備安全有序地關(guān)閉和開啟。演練要求1、熟悉服務(wù)中心的聯(lián)系方式；2、熟悉ups狀態(tài)檢查，能預(yù)估ups支撐時間；3、熟悉空調(diào)狀態(tài)檢查，以及機房降溫輔助措施方法；4、制定機房減壓降溫方案，確定合理停開機順序，熟悉核心數(shù)據(jù)庫備份方法;5、演練結(jié)束形成演練總結(jié)報告。應(yīng)急物資儲備清單1、電風(fēng)扇等降溫輔助設(shè)施；2、協(xié)調(diào)相關(guān)廠商工程

13、師和總部技術(shù)支持。相關(guān)文檔：減壓降溫方案機眉減壓降溫處置審批單 備注：無編制人審批人分發(fā)范圍內(nèi)部機房減壓降溫處置審批單申請日期申請部門聯(lián)系人聯(lián)系電話處置類型關(guān)閉開發(fā)測試環(huán)境緊急手動關(guān)閉服務(wù)器保留最小環(huán)境全部關(guān)閉處 置 內(nèi) 容（說明需求背景、具體操作，以及希望達(dá)到的目的）擬訂 計 劃（進(jìn)行處置的時間段、處置人，及需要進(jìn)行處置的設(shè)備列表）主管審批意見備注減壓降溫方案本方案適用于市電中斷及機房內(nèi)空調(diào)出現(xiàn)故障時，機房內(nèi)溫度升高 或不間斷電源轉(zhuǎn)入后備電池供電狀態(tài)，為保證機房內(nèi)設(shè)備可在預(yù)計時間 內(nèi)止常關(guān)閉，并完成必要的數(shù)據(jù)備份，特制定此方案。我局不間斷電源共有4臺，總?cè)萘?60k,市電屮斷后，后備電池最 短可支持55分鐘?？照{(diào)8臺，南北機房各四臺。為核心設(shè)備延長供電 時間，保證關(guān)鍵業(yè)務(wù)可在預(yù)計時間內(nèi)運轉(zhuǎn)正常，進(jìn)行必要的數(shù)據(jù)備份后 正常關(guān)閉，特采取降溫措施，按照主機設(shè)備重要性優(yōu)先級由低到高的順 序，依次關(guān)閉設(shè)備，減小電力負(fù)載，并將機房溫度保持在合理范圍內(nèi)。減壓降溫方案分為三個步驟，當(dāng)故障發(fā)生后，向領(lǐng)導(dǎo)提交機房減 壓降溫處置審批單，按照關(guān)閉開發(fā)測試設(shè)備清單關(guān)閉設(shè)備，并將 預(yù)先準(zhǔn)備的風(fēng)扇放置在指尢位置為核心設(shè)備降溫（使用不間斷電源為風(fēng) 扇供電）。當(dāng)?shù)弥收蠠o法在不間斷電源可支持最短時限內(nèi)修復(fù)時，立即向領(lǐng) 導(dǎo)匯報，啟動第二個步驟，按照緊急關(guān)閉設(shè)備清單關(guān)閉相關(guān)設(shè)備。 進(jìn)行緊急關(guān)閉設(shè)備操作時，采用直