IDC機房維護應急預案

1、數據中心服務應急預案手冊二00年三月目錄一、市民卡機房部分應急預案31機房系統故障處理通則31.1故障等級31. 2故障處理與通報制度32機房動力應急預案42.1機房停電故障： 42. 1. 1準備工作：42. 1.2停電情況下處理方式: 42. 1.3市電恢復后的操作: 52. 2 ups故障處理52.3開關電源整流模塊故障的緊急處理方案62.4機房空調及局部過熱故障的緊急處理方案62.4. 1機房空調故障的應急處理步驟62.4.2機房局部設備溫升過快或過熱的處理步驟72.5應急方案處理過程中非常事件的處理73機房防汛應急預案73.1防汛應急預案內容73. 1. 1第一預案73. 1.2第二

2、預案73. 1.3第三預案73.1.4第四預案74機房防火應急預案84.1應急保障原則84. 2火災事故應急處理流程及措施9一、市民卡機房部分應急預案1機房系統故障處理通則凡系統發(fā)生故障時，網管運行監(jiān)控負責人必須立即組織搶修，不得拖延。運行監(jiān)控人員均應熟悉故障緊急處理流程，熟練掌握操作步驟和方法。運行監(jiān)控管理人員應如實上報故障情況，故障報告應當做到吋間清、原因清、結果 清。重大故障和嚴重故障要報上級業(yè)務主管領導。對已處理的重大故障和嚴重故障，事 后必須做故障分析，查清故障原因，確定故障性質和責任，采取防范措施，避免同類故 障再次發(fā)生。故障處理基木原則：先重點后一般；先調通后維修。1.1故障等級

3、網管系統的故障等級共分三類：1、重大故障在系統運行期間，關鍵設備(包扌舌傳輸或其它專業(yè)所屬設備)、軟件故障造成所有 網管業(yè)務中斷超過24小時。2、嚴重故障在系統運行期間，關鍵設備(包括傳輸或其它專業(yè)所屬設備)、軟件故障造成下列 情況之一的系統故障：(1) 所有網管業(yè)務中斷超過12小時但不超過24小時；(2) 網管個別業(yè)務中斷超過24小吋；3、一般故障除重大故障和嚴重故障外的其他故障。1. 2故障處理與通報制度網管中心應建立和關設備故障處理聯系制度，并將聯系人和聯系方法張貼在醍目位 置。網管中心應建立設備操作手冊和故障處理流程，并存放在固定地點。網管小心應建立設備運行情況統計和登記表，并存放在固

4、定地點。故障處理：1、在系統發(fā)生故障時，值班人員應對照運行維護手冊進行簡單的故障處理和準確 定位，對無法處理的故障應立即通知系統維護主管工程師，并逐級上報。系統維護主管 工程師組織相關人員現場處理，故障處理完畢后，馬上通知故障發(fā)起點，并進行詳細記 錄。當系統發(fā)生故障時，網管小心運行維護負責人必須立即組織搶修，不得拖延。2、在處理故障時，應嚴格按照故障處理流程進行，整個流程強調閉環(huán)管理，按先重 點后一般；先調通后維修的原則進行。3、在系統和設備故障處理的過程中，若出現較為嚴重或一吋無法解決的問題，及 時通知故障發(fā)起點，并立即向主管領導匯報，同時與廠家聯系，及時爭取技術支持，填 寫故障報告。4、在

5、系統設備故障處理過程中，若使用了備件單元或備用電路板，應按規(guī)定分別 詳細登記故障發(fā)生的工作單元、故障現象或故障代碼、換用備件名稱、編號，有條件時 應附上當吋的打印記錄，向主管報告，并及吋與備件管理人員取得聯系，按正確的手續(xù)發(fā)送返修。5、在相關專業(yè)部門或設備供應商進行搶修的過程屮，網管屮心應負責協調相關專 業(yè)部門，采取其它措施對網絡進行監(jiān)控。6、在和關專業(yè)部門或設備供應商進行搶修的過程中，網管中心應負責協調和關專 業(yè)部門，采取其它措施對網絡相關數據進行保存和統計。7、網管中心在相關故障排除后48小時內提交故障分析報告。報告將視故障級別上 報所在公司運行維護部和上級網管中心。運行維護人員均應熟悉故

6、障緊急處理流程，熟練掌握操作步驟和方法。故障通報：1. 發(fā)生嚴重故障和重大故障吋，由地（市）級網管維護部門直接向省級分公司網 管中心和運行維護部報告。2. 對重大故障，分別由省級分公司網管屮心和運行維護部上報至總部運行維護部 網管中心。3 如遇特殊情況也可越級上報。各分公司必須嚴格按照規(guī)定時限執(zhí)行。4、重大故障和通信事故，由總部運行維護部通報總部相關部門和各省級分公司。 當出現值班人員不能解決的故障時，值班人員應立即上報系統維護主管工程師和部門主管故障處理完畢一天內，系統主管工程師寫出故障報告，上報部門主管，重大故障和 嚴重故障要報上級業(yè)務主管部門。當發(fā)生故障吋，機房當班人員應將故障發(fā)生經過詳

7、細填寫進值班日志。5、如果網管系統出現嚴重故障，在故障發(fā)生后應在第一時間向上一級網管中心通 報相關情況。6、出現故障后，由網管屮心指定專人向相關部門通報故障影響范圍和處理情況等。 運行維護負責人應如實上報故障情況，故障報告應當做到時間清、原因清、結果清。2機房動力應急預案2.1機房停電故障：2. 1. 1準備工作：1、停電后第一吋間電話咨詢供電公司（95598）詢問停電原因及停電吋長。2、電話通知相關領導停電狀況，如果在值班過程中停電需同事共同處理的也及時 通知，在停電期間要保持通信暢通有問題及時聯系。（領導電話：顧星石 振張黎明:15651

8、500661）3準備扳手、六棱起、數字萬用表、“ + ”字“一”字螺絲刀各兩把（大、?。┑?常用屯工工具，準備好高壓絕緣手套、絕緣鞋、專用扳手。以及汕機房鑰匙.4. 以上3點工作盡量在最短時間內結束，然后針對故障原因作出相應處理。2. 1.2停電情況下處理方式：由于永豐idc機房為一路高壓市電引入，如岀現市電停電，變壓器故障等原因造成停 電現象出現，只能采用應急油機發(fā)電現應急油機發(fā)電步驟如下：1、維護人員趕至永豐tdc機房后，首先確認是否需要發(fā)電若趕至現場后，發(fā)現市電 己經恢復供應，只需要將低壓配電系統中p1柜和p6柜的斷路器合閘即可恢復機房市電供應.2、確認需要發(fā)電，首先前往一樓辦公室內拿油

9、機室鑰匙（聯系電話. 并將位于永豐大樓北側的油機出風口打開.3、打開出風口后，前往位于永豐地下車庫的油機房，首先打開油機房玻璃移窗方便 汕機進風，檢查汕機汕位,水位等檢查無誤后，啟動汕機.4、啟動固定柴油發(fā)電機，觀察油機工作狀態(tài)，正常，運行5-10分鐘后將油機負載 開關合閘。此時,油機電送至機房低壓p12發(fā)電機柜，由于斷路器未合閘,機房尚未恢復 供電油機空載運行.5、在油機空載運行期間，分別切斷負載電流比較大的用電設備，以減小合閘電流對 汕機的沖擊。依次切斷：開關屯源的主用，備用分路開關，2樓空調配電箱和辦公空調 的電源開關，1#、2#ups的市電輸入開關，6、搖出p

10、1進線柜斷路器，確認與市電網絡斷開后，將p12油機斷路器搖至運行位置, 將p11進線柜斷路器搖至運行位置，合p12斷路器，合p11斷路器合p6斷路器機房照 明恢復再分別合上：開關電源的主用，備用分路開關，2樓空調配電箱和辦公空調的電 源開關，1#、2 #ups的市屯輸入開關等負載較犬的開關。7、此時所有負載由油機供電，油箱內200l柴油預計能帶載運行7小時左右。如果停 電時間超過4小時應聯系供油車添加柴油，加油工作必須停柴油發(fā)電機后進行。電池放 電時間估計在40分鐘左右，加油工作必須在停機20分鐘內結束，如果不能加滿可等電池 充滿電后再次添加。2. 1.3市電恢復后的操作：1. 當市電來電后，

11、再依次切斷：開關電源的主用，備用分路開關，2樓空調配電箱 和辦公空調的電源開關，1#、2 #ups的市電輸入開關。2. 斷開p11柜的低壓母聯開關，斷開p12柜的油機供電開關，油機退出帶載運行。 （油機空載運行510分鐘后停機。）3. 分別將p1柜的市屯總開關搖至運行位置并合閘，檢查確已合上；合上p6柜聯絡開 關，并檢查確己合上。4. 無異常，再分別合上：開關電源的主用，備用分路開關，2樓空調配電箱和辦公 空調的電源開關，1#、2 #ups的巾電輸入開關.5. 所有設備恢復市電供電，檢查設備的供電運行情況。6. 確認設備運行正常后，至汕機室分汕機負載開關，關閉汕機,關閉汕機室玻璃窗， 關閉北側

12、油機室出風口.2. 2 ups故障處理永豐核心機房ups系統為2臺梅蘭日蘭80kva ups的并機系統.如80kva ups系統 中一臺ups故障，系統自動將負載倒到另一臺ups±,如何關閉故障的ups,如何再次 開啟ups,如下:關機.1、先將旁路轉換開關打到“0n”的位置：2、將ups輸出開關打到“off”位置3、分別關掉ups的s1,f1和f2開關，這吋ups停止運行；4、關掉ups輸入開關，系統關機完畢。開機：1、首先確認ups的si, f1和f2開關都打到“off”位置,配電柜的ups輸岀開關也在“off”位置。2、先把旁路轉換開關打到“on”的位置3、分別將ups的f 1

13、,f2開關合閘，再將s1開關合閘;4、當lps面板指示為旁路供電狀態(tài)時，再把旁路轉換開關打到“off”位置這時， ups轉到正常工作模式，啟動完成。5、最后合上ups輸出開關，系統供電正常。當關掉其中一臺ups再啟動的方法：1、先把旁路轉換開關打到“on”的位置2、再把已關掉的ups的s1,f1,f2開關分別打到“on”的位置;3、當兩臺ups面板指示為旁路供電狀態(tài)時，再把旁路轉換開關打到“off”位置這 時，兩臺ups轉到正常工作模式，啟動完成2.3開關電源整流模塊故障的緊急處理方案開關電源整流模塊故障的更換操作步驟：以永豐tdc機房的整流柜為例：開關電源系統總共有10個整流模塊，實際運行6

14、個，4個備用。假設第5個整流模塊故障，無直流輸出，現場檢查后無法修復，需要更換備用的模 塊。1、關閉該模塊的交流輸入開關，2、將背面的交流輸入電源線、宜流輸出電源線和通訊線依次拔下，3、擰下前面板的固定螺絲，將故障模塊抽出，4、將備用模塊插入故障模塊原來的位置，擰緊固定螺絲，5、然后將背面的交流輸入電源線、直流輸岀電源線和通訊線依次插上，6、調整此備用模塊的地址編碼為：4,7、合上此模塊對應的交流輸入開關，此時，備用模塊更換完畢，查看模塊輸出是否正常。注意：更換整流模塊時要注模塊前面板的地址碼，必須要和故障模塊的一致，否則 會產生模塊通訊中斷告警。2. 4機房空調及局部過熱故障的緊急處理方案2

15、. 4. 1機房空調故障的應急處理步驟發(fā)生機房空調故障，會使機房的溫度升高，危害設備正常運行。所以發(fā)生此類故障 后，要積極維修，如果一時無法修復，必須采取應急措施，保障機房環(huán)境符合要求?，F在的機房空調都是2主1備份或一主一備，一臺空調故障，其他空調可以止常工 作。1、首先判斷機房空調什么故障，如果壓縮機故障，送風機工作正常，此時，要把鄰近的空調的溫度設定值調低1-2度即可。這樣，故障空調的風機可以 形成空氣對流，對故障空調區(qū)域的設備影響不大?；蛘弑M量將機房防靜電地板掀開增 將出風口.如果是空調的送風機故障，不能正常送風，此時，就要把鄰近的空調的溫度設定值調低2-3度，然后把鄰近空調的送風口的格

16、 柵盡量調整到故障空調前面的區(qū)域，這樣才能的保障機房溫度不至于上升?；蛘弑M量將 機房防靜電地板掀開增將出風口.或者拿普通的電風扇在故障空調的影響區(qū)域吹風，打開機柜門，冰塊局部降溫等措 施防止局部升溫過快。2. 4.2機房局部設備溫升過快或過熱的處理步驟首先將此設備的機柜門打開，讓熱空氣充分散出，也可以用電風扇對此設備吹風，加快散熱速度，購買冰塊，放在大盆里，置于局部過熱部位，利用冰塊融化吸收熱量， 或者同時放置冰塊并用電風扇吹。2.5應急方案處理過程中非常事件的處理1、當倒閘過程中出現可盡快恢復的操作錯謀時，機房負責人要及時制止，并立 刻安排恢復操作。2、當停電倒閘或油機帶載過程中發(fā)生不可預見

17、的非常情況時，全休現場人員應 采取適當的應急措施保護通信設備供電安全并立即報告和關領導，召開緊急會議，研究 處理方案。3機房防汛應急預案3.1防汛應急預案內容3. 1. 1第一預案當受臺風或強熱帶風暴影響風力達8級以上，暴雨日雨量達50. 1毫米 以上或氣象等有關部門發(fā)布暴雨將達起始標準后，各機房負責人、機房代 維負責人必須到位，加強值班，嚴格執(zhí)行報告制度，做到上情卜達，下情上 報。值班領導和人員遇到突發(fā)事件或災情，及時下達臨時緊急處置指令， 并迅速向公司上級分管領導匯報。各值班人員要做好防汛值班記錄，并檢 查機房防汛值班到崗到位情況。無錫防汛工作值班電話：88654444。3. 1. 2第二

18、預案當氣象臺發(fā)布暴雨警報時，防汛應急工作小組成員全部到位。并及時向 公司分管領導通知防汛信息，通報風情、水情、雨情。各機房防汛應急工 作小組成員要根據各自的職責，加強值班，進一步檢查落實各項防汛應急 措施，組建各類防汛搶險隊伍，落實搶險物資。3.1. 3第三預案當暴雨襲擊或縣有關部門發(fā)布緊急警報時，防汛應急工作小組成員要按 各口的職責進入指揮崗位。并立即進行緊急部署要把防汛作為壓倒一切工 作的頭等大事來抓，并落實各項防汛應急措施。3.1.4第四預案遇暴雨突發(fā)性災害天氣時，防汛應急工作小組成員要迅速組織人員及時 檢查疏通地卜排水管道，做到排水暢通；要組織專門力量，對易積水的機 房進行監(jiān)測，及時報告災情，小組領導要監(jiān)督各校園冇關人員到位、到崗， 確保機房排澇設施全過程、滿負荷運轉，必要時及時組織足夠的臨時排澇 設施進行強排。確保人員生命、公司財產安全。當遇到暴風雨襲擊時，各小組成員應及時把機房汛情在第一時間報告 公司分管領導，公司根據災情，聯系有關部門及時趕