XX數(shù)據(jù)中心機(jī)房應(yīng)急預(yù)案

1、數(shù)據(jù)中心機(jī)房應(yīng)急預(yù)案、系統(tǒng)故障應(yīng)急流程1.1系統(tǒng)故障應(yīng)急流程說(shuō)明一、故障發(fā)生XX運(yùn)維服務(wù)人員可從以下途徑得知故障的發(fā)生：1）中心內(nèi)場(chǎng)人員通過(guò)運(yùn)維平臺(tái)發(fā)現(xiàn)故障2）外場(chǎng)人員通過(guò)維護(hù)巡檢發(fā)現(xiàn)故障3）用戶發(fā)現(xiàn)故障，報(bào)給應(yīng)急領(lǐng)導(dǎo)小組，或者XX運(yùn)維微信群上報(bào)給中心服務(wù)工程師。4）駐場(chǎng)工程師發(fā)現(xiàn)故障二、報(bào)障受理監(jiān)控系統(tǒng)運(yùn)維服務(wù)人員得知系統(tǒng)故障發(fā)生后，立即響應(yīng)，并向報(bào)障人或單位詳細(xì)了解系統(tǒng)故障情況。三、信息研判運(yùn)維服務(wù)人員根據(jù)了解到的系統(tǒng)故障情況進(jìn)行分析判斷，以確定采用一般故障處理流程還是立即啟動(dòng)系統(tǒng)突發(fā)故障應(yīng)急處理預(yù)案。四、預(yù)案啟動(dòng)女口需啟動(dòng)應(yīng)急預(yù)案，則立刻通知應(yīng)急領(lǐng)導(dǎo)小組，由領(lǐng)導(dǎo)小組啟動(dòng)應(yīng)急預(yù)案，對(duì)系統(tǒng)突

2、發(fā)故障應(yīng)急事件進(jìn)行全面管控處理。五、資源確認(rèn)系統(tǒng)突發(fā)故障應(yīng)急預(yù)案啟動(dòng)后，首先是根據(jù)現(xiàn)場(chǎng)突發(fā)故障實(shí)際狀況、緊急程度、技術(shù)難度、備品備件等情況對(duì)相關(guān)資源（主要是參與人員）依據(jù)經(jīng)驗(yàn)進(jìn)行調(diào)度和確認(rèn)，主要有以下資源：我公司技術(shù)支持人員；相關(guān)廠家技術(shù)支持人員；我公司聘請(qǐng)的技術(shù)專家六、預(yù)案執(zhí)行按照既定的預(yù)案進(jìn)行突發(fā)故障搶修，如遇到問(wèn)題及時(shí)向應(yīng)急領(lǐng)導(dǎo)小組匯報(bào)。七、預(yù)案終止預(yù)案的終止時(shí)間由故障現(xiàn)場(chǎng)技術(shù)人員根據(jù)現(xiàn)場(chǎng)的實(shí)際進(jìn)展情況，在與用戶單位有關(guān)部門協(xié)調(diào)后報(bào)應(yīng)急領(lǐng)導(dǎo)小組決定。八、結(jié)果上報(bào)預(yù)案中止后，相關(guān)預(yù)案參與人員將整個(gè)事件過(guò)程中所有收發(fā)信息、領(lǐng)導(dǎo)批示、事故調(diào)查報(bào)告、現(xiàn)場(chǎng)錄像、圖片等材料及時(shí)整理歸檔，并總結(jié)事件處

3、理過(guò)程中的經(jīng)驗(yàn)和教訓(xùn)，修改、完善事件應(yīng)急預(yù)案。然后集中上報(bào)至應(yīng)急領(lǐng)導(dǎo)小組。應(yīng)急流程管理報(bào)告填寫指南編號(hào)：（格式為D0405-日期+兩位序列號(hào)，其中日期按“yyyy+mm+dd格式，2位序列號(hào)根據(jù)日期從01起順序遞增，例如D0405-2010031401，表示2010年3月14日第1張應(yīng)急流程管理報(bào)告。）報(bào)告日期：年月日至年月日（統(tǒng)計(jì)時(shí)間段）報(bào)告人簽名:應(yīng)急流程完成情況統(tǒng)計(jì)（分類統(tǒng)計(jì)應(yīng)急處理次數(shù)、完成次數(shù)、應(yīng)急處理分布范圍等）應(yīng)急流程原因及影響統(tǒng)計(jì)（對(duì)引起應(yīng)急流程的原因以及重大事故影響進(jìn)行分類統(tǒng)計(jì)分析）應(yīng)急處理時(shí)間統(tǒng)計(jì)（對(duì)應(yīng)急處理所需時(shí)間進(jìn)行統(tǒng)計(jì)）資源利用情況統(tǒng)計(jì)（對(duì)應(yīng)急處理所需資源進(jìn)行統(tǒng)計(jì)）費(fèi)

4、用統(tǒng)計(jì)（對(duì)應(yīng)急處理所需費(fèi)用進(jìn)行統(tǒng)計(jì)）出現(xiàn)的問(wèn)題和建議（根據(jù)上面的統(tǒng)計(jì)數(shù)據(jù)，對(duì)應(yīng)急流程管理提出出現(xiàn)的問(wèn)題以及對(duì)應(yīng)急處理工作進(jìn)行優(yōu)化的建議。）備注客戶經(jīng)理簽名:時(shí)間:時(shí)間:時(shí)間:1.2系統(tǒng)故障應(yīng)急處理流程圖機(jī)房應(yīng)急預(yù)案3.1通信網(wǎng)絡(luò)故障應(yīng)急預(yù)案（1）如屬線路故障，應(yīng)重新安裝線路。(2) 如屬交換機(jī)網(wǎng)絡(luò)設(shè)備故障，技術(shù)人員立即檢修并調(diào)試通暢。如交換機(jī)配置文件破壞，網(wǎng)絡(luò)工程師應(yīng)迅速按照備份配置文件重新配置，調(diào)試通暢。現(xiàn)場(chǎng)技術(shù)支持：XXX138XXXX5617。必要時(shí)，請(qǐng)有關(guān)供貨單位、設(shè)備廠商協(xié)助調(diào)測(cè)暢通。華為售后電話：400-8229999。(3) 如需更換設(shè)備，應(yīng)上報(bào)分管領(lǐng)導(dǎo)，經(jīng)批準(zhǔn)后馬上更換故障設(shè)備

5、，盡快恢復(fù)系統(tǒng)運(yùn)行。(4) 如發(fā)現(xiàn)屬于外部線路的問(wèn)題，應(yīng)與線路運(yùn)營(yíng)商聯(lián)系，敦促盡快恢復(fù)故障線路。移動(dòng)運(yùn)營(yíng)商：XXX137XXXX1717聯(lián)通運(yùn)營(yíng)商：XXX156XXXX1216(5) 現(xiàn)場(chǎng)技術(shù)支撐無(wú)法及時(shí)修理時(shí)，應(yīng)立即通知相關(guān)供應(yīng)商及維護(hù)人員，在最短時(shí)間內(nèi)安排修理。(6) 特殊情況，如故障判斷、網(wǎng)絡(luò)恢復(fù)需要1小時(shí)以上，負(fù)責(zé)人因及時(shí)將相關(guān)情況匯報(bào)至分管領(lǐng)導(dǎo)處，并在領(lǐng)導(dǎo)同意的情況下，采用緊急恢復(fù)措施，繞過(guò)故障設(shè)備，先行恢復(fù)網(wǎng)絡(luò)的聯(lián)通性，并及時(shí)督促及落實(shí)設(shè)備供應(yīng)商抵達(dá)現(xiàn)場(chǎng)，及時(shí)判斷故障并恢復(fù)正常；(7) 應(yīng)急處置結(jié)束后，XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)將故障分析報(bào)告，在調(diào)查結(jié)束后一日內(nèi)書面報(bào)告應(yīng)急領(lǐng)導(dǎo)小組。3.3不良

6、信息和網(wǎng)絡(luò)病毒事件應(yīng)急預(yù)案1、應(yīng)急處理發(fā)現(xiàn)不良信息或網(wǎng)絡(luò)病毒時(shí)，信息系統(tǒng)管理員應(yīng)立即斷開網(wǎng)線，終止不良信息或網(wǎng)絡(luò)病毒傳播，并報(bào)告指揮調(diào)度中心XX運(yùn)維團(tuán)隊(duì)和應(yīng)急領(lǐng)導(dǎo)小組。(1) 網(wǎng)絡(luò)管理員30分鐘內(nèi)將被攻擊的服務(wù)器或其他設(shè)備從網(wǎng)絡(luò)中隔離出來(lái)，并恢復(fù)其他系統(tǒng)正常運(yùn)行，必要時(shí)可以采取照片、截圖等方式留存記錄，保護(hù)現(xiàn)場(chǎng)；(2) 如事態(tài)較為嚴(yán)重，經(jīng)向分管領(lǐng)導(dǎo)請(qǐng)示后，立即向公安部門報(bào)警，配合公安部門展開調(diào)查.(1) 2、修復(fù)處理記錄系統(tǒng)狀況；立即復(fù)制系統(tǒng)登錄文件、歷史文件、日志文件等重要文件；修改防火墻、交換機(jī)等網(wǎng)絡(luò)安全設(shè)備的過(guò)濾規(guī)則；斷開被攻主機(jī)、關(guān)閉不需要的服務(wù)；處理可疑的文件和程序；修改不安全的系統(tǒng)

7、帳號(hào)及其口令；恢復(fù)被修改的軟件和數(shù)據(jù)；安裝相應(yīng)的補(bǔ)丁程序，填補(bǔ)安全漏洞；編寫報(bào)告，詳述事件過(guò)程及處理步驟。(2) 事態(tài)或后果嚴(yán)重的，應(yīng)向開發(fā)區(qū)公安應(yīng)急領(lǐng)導(dǎo)小組和相關(guān)領(lǐng)導(dǎo)匯報(bào)。(3) 現(xiàn)場(chǎng)相關(guān)技術(shù)人員向公司技術(shù)部溝通組織技術(shù)力量追查非法信息來(lái)源；協(xié)調(diào)各廠家做好被攻擊或破壞后系統(tǒng)的恢復(fù)與重建工作；3.4服務(wù)器軟件系統(tǒng)故障應(yīng)急預(yù)案1、軟件故障分類：操作系統(tǒng)故障，應(yīng)用軟件故障。2、采取的技術(shù)措施在故障發(fā)生后立即查看服務(wù)器系統(tǒng)狀態(tài)，如果是系統(tǒng)軟件出現(xiàn)故障，并且能進(jìn)入系統(tǒng)，且故障原因定位清晰，可立即排除。如果估計(jì)在1小時(shí)內(nèi)不能定位原因，則報(bào)告客戶經(jīng)理和應(yīng)急指揮負(fù)責(zé)人，同時(shí)聯(lián)系廠商及技術(shù)支持協(xié)助排除，或根據(jù)

8、技術(shù)支持建議進(jìn)行重新安裝操作系統(tǒng)和應(yīng)用系統(tǒng)。3、軟件系統(tǒng)平時(shí)必須存有備份，與軟件系統(tǒng)相對(duì)應(yīng)的數(shù)據(jù)必須有多日的備份，并將它們保存于安全處；4、應(yīng)用軟件發(fā)生故障后，軟件現(xiàn)場(chǎng)負(fù)責(zé)人應(yīng)對(duì)相應(yīng)程序進(jìn)行重啟和問(wèn)題初步排查工作，如無(wú)法解決該問(wèn)題，技術(shù)人員應(yīng)立即向項(xiàng)目負(fù)責(zé)人或領(lǐng)導(dǎo)匯報(bào)，經(jīng)確認(rèn)后停止該系統(tǒng)的運(yùn)行并溝通廠家使用備份程序進(jìn)行恢復(fù)，保證業(yè)務(wù)正常進(jìn)行；5、視頻巡邏發(fā)生較嚴(yán)重故障時(shí)可直接聯(lián)系?？祻S家：XXX189XXXX533Q其余系統(tǒng)發(fā)生重大故障時(shí)可聯(lián)系XXX事業(yè)部項(xiàng)目經(jīng)理：XXX185XXXX60713.5黑客攻擊事件應(yīng)急預(yù)案當(dāng)發(fā)現(xiàn)網(wǎng)絡(luò)被非法入侵、網(wǎng)頁(yè)內(nèi)容被篡改，應(yīng)用服務(wù)器上的數(shù)據(jù)被非法拷貝、修改、刪

9、除，或通過(guò)入侵檢測(cè)系統(tǒng)發(fā)現(xiàn)有黑客正在進(jìn)行攻擊時(shí)，使用者或管理者應(yīng)斷開網(wǎng)絡(luò)，并立即報(bào)告XX運(yùn)維小組。(1) 接報(bào)告后，XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)立即核實(shí)情況，關(guān)閉服務(wù)器或系統(tǒng)，修改防火墻和路由器的過(guò)濾規(guī)則，封鎖或刪除被攻破的登陸帳號(hào)，阻斷可疑用戶進(jìn)入網(wǎng)絡(luò)的通道。(2) 及時(shí)清理系統(tǒng)，恢復(fù)數(shù)據(jù)、程序，恢復(fù)系統(tǒng)和網(wǎng)絡(luò)正常；情況嚴(yán)重的，應(yīng)向開發(fā)區(qū)公安應(yīng)急領(lǐng)導(dǎo)小組相關(guān)領(lǐng)導(dǎo)匯報(bào)，并請(qǐng)求支援。(3) 處置結(jié)束后,XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)將事發(fā)經(jīng)過(guò)、處置結(jié)果等在調(diào)查工作結(jié)束后一日內(nèi)報(bào)告應(yīng)急領(lǐng)導(dǎo)小組。3.6業(yè)務(wù)數(shù)據(jù)損壞應(yīng)急預(yù)案(1) 發(fā)生業(yè)務(wù)數(shù)據(jù)損壞時(shí)，XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)及時(shí)報(bào)告應(yīng)急領(lǐng)導(dǎo)小組，檢查、備份業(yè)務(wù)系統(tǒng)當(dāng)前數(shù)據(jù)。(2) XX運(yùn)維

10、團(tuán)隊(duì)負(fù)責(zé)調(diào)用備份服務(wù)器備份數(shù)據(jù)，若備份數(shù)據(jù)損壞，貝U調(diào)用FTP中備份數(shù)據(jù)。(3) 業(yè)務(wù)數(shù)據(jù)損壞事件超過(guò)2小時(shí)后，XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)及時(shí)報(bào)告應(yīng)急領(lǐng)導(dǎo)小組，及時(shí)通知業(yè)務(wù)部門以手工方式開展業(yè)務(wù)。(4) XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)待業(yè)務(wù)數(shù)據(jù)系統(tǒng)恢復(fù)后，檢查歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)的差別，由相關(guān)系統(tǒng)業(yè)務(wù)員補(bǔ)錄數(shù)據(jù)；重新備份數(shù)據(jù)，并寫出故障分析報(bào)告，在調(diào)查工作結(jié)束后一日內(nèi)報(bào)告應(yīng)急領(lǐng)導(dǎo)小組。3.7核心設(shè)備硬件故障應(yīng)急預(yù)案(1) 發(fā)生核心設(shè)備硬件故障后，XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)及時(shí)報(bào)告應(yīng)急領(lǐng)導(dǎo)小組，并組織查找、確定故障設(shè)備及故障原因，進(jìn)行先期處置。(2) 若故障設(shè)備在短時(shí)間內(nèi)無(wú)法修復(fù)XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)啟動(dòng)備份設(shè)備，保持系統(tǒng)正常運(yùn)行；將故障設(shè)備脫

11、離網(wǎng)絡(luò)，進(jìn)行故障排除工作。(3) XX運(yùn)維團(tuán)隊(duì)故障排除后，在網(wǎng)絡(luò)空閑時(shí)期，替換備用設(shè)備；若故障仍然存在，立即聯(lián)系相關(guān)廠商，認(rèn)真填寫設(shè)備故障報(bào)告單備查。3.8機(jī)房漏水應(yīng)急預(yù)案(1) 發(fā)生機(jī)房漏水時(shí)，第一目擊者應(yīng)立即通知XX運(yùn)維團(tuán)隊(duì)，并及時(shí)報(bào)告監(jiān)控應(yīng)急領(lǐng)導(dǎo)小組。(2) 若空調(diào)系統(tǒng)出現(xiàn)滲漏水，XX運(yùn)維團(tuán)隊(duì)負(fù)責(zé)人應(yīng)立即安排停用故障空調(diào)，清除機(jī)房積水，并及時(shí)聯(lián)系設(shè)備供應(yīng)方處理，同時(shí)啟動(dòng)備用空調(diào)，必要情況下可臨時(shí)用電扇對(duì)服務(wù)器進(jìn)行降溫。(3) 若為墻體或窗戶滲漏水，XX運(yùn)維團(tuán)隊(duì)負(fù)責(zé)人應(yīng)立即采取有效措施確保機(jī)房安全，同時(shí)安排通知辦公室，及時(shí)清除積水，維修墻體或窗戶，消除滲漏水隱患。3.9機(jī)房火災(zāi)應(yīng)急預(yù)案完善

12、機(jī)房環(huán)境，確保機(jī)房放置滅火器；禁止攜帶易燃易爆物品進(jìn)入機(jī)房。(1) 機(jī)房管理人員應(yīng)熟悉機(jī)房?jī)?nèi)部消防安全操作和規(guī)則，了解消防設(shè)備操作原理，掌握消防應(yīng)急處理步驟、措施和要領(lǐng)，懂得滅火的方法，會(huì)撲救初起火源。(2) 一旦發(fā)生火災(zāi)，迅速切斷機(jī)房電源，避免災(zāi)情的擴(kuò)散，并迅速和園區(qū)保安部聯(lián)系，必要時(shí)立即報(bào)火警。3.10設(shè)備發(fā)生被盜或人為損害事件應(yīng)急預(yù)案(1) 發(fā)生設(shè)備被盜或人為損害設(shè)備情況時(shí)，使用者或管理者應(yīng)立即報(bào)告應(yīng)急領(lǐng)導(dǎo)小組，同時(shí)保護(hù)好現(xiàn)場(chǎng)。(2) 應(yīng)急領(lǐng)導(dǎo)小組接報(bào)后，通知用戶保衛(wèi)部門、相關(guān)領(lǐng)導(dǎo)，一同核實(shí)審定現(xiàn)場(chǎng)情況，清點(diǎn)被盜物資或盤查人為損害情況，做好必要的影像記錄和文字記錄。(3) 事發(fā)單位和當(dāng)事

13、人應(yīng)當(dāng)積極配合公安部門進(jìn)行調(diào)查。(4) 應(yīng)急領(lǐng)導(dǎo)小組安排XX運(yùn)維團(tuán)隊(duì)、事發(fā)單位及時(shí)恢復(fù)系統(tǒng)正常運(yùn)行，并對(duì)事件進(jìn)行調(diào)查。XX運(yùn)維團(tuán)隊(duì)?wèi)?yīng)在調(diào)查結(jié)束后一日內(nèi)書面報(bào)告應(yīng)急領(lǐng)導(dǎo)小組。并應(yīng)向公司相關(guān)領(lǐng)導(dǎo)匯報(bào)。四、機(jī)房動(dòng)力系統(tǒng)應(yīng)急處理方案1、外電中斷后，值班人員應(yīng)立即檢查中心機(jī)房UPS電源是否正常供電，并查明中斷原因，及時(shí)向負(fù)責(zé)人報(bào)告；2、如因樓內(nèi)線路故障，要求物業(yè)管理部門迅速恢復(fù)供電；3、如因供電部門因素導(dǎo)致供電中斷，立即向園區(qū)物業(yè)聯(lián)系(電話：XXXX-XXXXXXX請(qǐng)供電部門迅速恢復(fù)供電;4、如告知需要長(zhǎng)時(shí)間停電，應(yīng)作如下安排:(1) 預(yù)計(jì)停電1小時(shí)以內(nèi)，由UPS電;搶修人員在機(jī)房現(xiàn)場(chǎng)實(shí)時(shí)測(cè)試記錄備用電池的放電情