重大事件保障服務(wù)方案

重大事件保障服務(wù)保障方案v1.1重大事件保障組織服務(wù)中心制定了重大活動的保障組織。在客戶有重要活動時我們將立即響應(yīng)，提前制定合理的保障策略。1）工作組：為保障各種重大事件，我中心長期設(shè)置有經(jīng)理級以上人員為工作組領(lǐng)導(dǎo)，中高級工程師為主的工作組。當(dāng)客戶服務(wù)器等設(shè)備需進(jìn)行重大保障服務(wù)時，我中心立即啟用組成工作組。請立即與交付與服務(wù)中心取得聯(lián)系，交付與服務(wù)中心的工程師會竭盡全力為客戶提供最迅速、最有力的現(xiàn)場和電話支持。2）時間安排：對于重大事件的響應(yīng)不受工作日與非工作日的限制。只要客戶服務(wù)器發(fā)生重大事件，請立即與我司售后服務(wù)部聯(lián)系，相應(yīng)的技術(shù)工程師將立即協(xié)商、確定解決方案。我司向客戶承諾提供365*7*24小時的原廠工程師現(xiàn)場服務(wù)和熱線保障服務(wù)。對于對客戶業(yè)務(wù)造成較大影響，較為復(fù)雜的緊急情況，啟動危急情況處理體系。由專職服務(wù)經(jīng)理負(fù)責(zé)，成立危急情況處理小組，調(diào)集相關(guān)的資源。該小組需每天向公司匯報處理進(jìn)展，每小時更新緊急情況處理系統(tǒng)的相關(guān)記錄。該小組具有高度權(quán)威，能快速調(diào)動相關(guān)資源，找到我公司及上游廠商、合作伙伴中最具經(jīng)驗的專家，防止問題處理的任何環(huán)節(jié)出現(xiàn)延遲，以盡快解決問題。3）聯(lián)系方式：如果有任何問題，客戶可立即致電400-XXX-XXX，交付與服務(wù)中心將為客戶提供全天候24小時熱線服務(wù)。XX客服人員在接到客戶電話后在20分鐘內(nèi)進(jìn)行回復(fù)。重大事件保障內(nèi)容重大事件保障一般分為事前、事中、事后三個階段。事前工作為信息采集，保障方案確定、應(yīng)急預(yù)案制定，責(zé)任分工、落實實施，關(guān)鍵時間點控制，保障人員落實等。事中工作為現(xiàn)場測試保障、現(xiàn)場動態(tài)反饋，應(yīng)急處理流程待命，現(xiàn)場故障處理、實時參數(shù)調(diào)整等事后工作為數(shù)據(jù)刪除，保障期間數(shù)據(jù)提取及分析，總結(jié)經(jīng)驗、輸出總結(jié)報告等。重大事件保障場景為了確保IT系統(tǒng)設(shè)備發(fā)生重大事件或面對意外事故，在系統(tǒng)出現(xiàn)各種升級、調(diào)整或者意外情況（如系統(tǒng)升級、架構(gòu)調(diào)整、數(shù)據(jù)遷移、系統(tǒng)崩潰、電源掉電等）時，相關(guān)服務(wù)能在最短時間內(nèi)得以恢復(fù)以使正常的業(yè)務(wù)運營繼續(xù)進(jìn)行，保證用戶端數(shù)據(jù)安全，將損失降低到最小限度，保證系統(tǒng)業(yè)務(wù)的持續(xù)性和可用性。重大事件及故障應(yīng)急管理方法論交付與服務(wù)中心為了提高應(yīng)對突發(fā)事故的組織指揮能力和應(yīng)急處置能力，保證應(yīng)急處理時指揮調(diào)度工作迅速、高效、有序地進(jìn)行，滿足突發(fā)情況下系統(tǒng)運行和系統(tǒng)故障恢復(fù)工作的需要，總結(jié)整理了應(yīng)急管理和預(yù)案演練的方法論如下：重大事件及故障應(yīng)急規(guī)范標(biāo)準(zhǔn)交付與服務(wù)中心為了提高應(yīng)對突發(fā)事故的組織指揮能力和應(yīng)急處置能力，保證應(yīng)急處理時指揮調(diào)度工作迅速、高效、有序地進(jìn)行，滿足突發(fā)情況下系統(tǒng)運行和系統(tǒng)故障恢復(fù)工作的需要，總結(jié)整理了應(yīng)急管理和預(yù)案演練的方法論如下：總則信息技術(shù)運行達(dá)到絕對安全是根本不現(xiàn)實的。在信息系統(tǒng)運行環(huán)境中存在著各種風(fēng)險，這種風(fēng)險有些是可以控制的，但有些是不可控的；我們需要做的是把風(fēng)險程度降低到可以接受的范圍內(nèi)，能夠?qū)L(fēng)險帶來的損失降到最小。由于業(yè)務(wù)系統(tǒng)的應(yīng)急方案有著針對業(yè)務(wù)系統(tǒng)非常強的特點，因此交付與服務(wù)中心公司將與客戶一起了解客戶業(yè)務(wù)需求和服務(wù)質(zhì)量要求，確定應(yīng)急恢復(fù)計劃的范圍與目標(biāo)，設(shè)計提供應(yīng)急恢復(fù)方案，以保證其業(yè)務(wù)的持續(xù)性和可用性。雙方需共同討論以完成應(yīng)急恢復(fù)方案設(shè)計。應(yīng)急恢復(fù)方案設(shè)計完成后，雙方應(yīng)共同參與，完成應(yīng)急方案的測試預(yù)演，以確定其是否滿足業(yè)務(wù)需要和達(dá)到設(shè)定的恢復(fù)目標(biāo)。同時交付與服務(wù)中心將負(fù)責(zé)對貴方相關(guān)管理維護(hù)人員進(jìn)行應(yīng)急方案操作培訓(xùn)以確保需要時可以立即啟動。編制依據(jù)以國家及地市有關(guān)法律、法規(guī)、規(guī)章、相關(guān)政策為依據(jù)，適用性法規(guī)標(biāo)準(zhǔn)主要有：《中華人民共和國突發(fā)事件應(yīng)對法》《國家突發(fā)公共事件總體應(yīng)急預(yù)案》《北京市實施<中華人民共和國突發(fā)事件應(yīng)對法>辦法》《北京市突發(fā)公共事件總體應(yīng)急預(yù)案》《北京市突發(fā)公共事件信息管理暫行辦法》《北京市網(wǎng)絡(luò)與信息安全事件應(yīng)急預(yù)案》ISO/IEC24762:2008信息技術(shù)-安全技術(shù)-信息與通訊技術(shù)災(zāi)難恢復(fù)服務(wù)指南國際標(biāo)準(zhǔn)GB/T20988-2007《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》國際標(biāo)準(zhǔn)GB/T22080-2008《信息技術(shù)安全技術(shù)信息安全管理體系要求》國家標(biāo)準(zhǔn)GB/T22239-2008《信息安全技術(shù)信息系統(tǒng)安全等級保護(hù)基本要求》國家標(biāo)準(zhǔn)GB/T24363-2009《信息安全技術(shù)信息安全應(yīng)急響應(yīng)計劃規(guī)范》國家標(biāo)準(zhǔn)GB/Z20985-2007《信息技術(shù)安全技術(shù)信息安全事件管理指南》國家標(biāo)準(zhǔn)GB/Z20986-2007《信息安全技術(shù)信息安全事件分類分級指南》國家標(biāo)準(zhǔn)基本原則堅持協(xié)調(diào)統(tǒng)一、科學(xué)處置堅持統(tǒng)一指揮，科學(xué)處置，針對信息安全事件快速響應(yīng)，科學(xué)分析信息安全事件，科學(xué)進(jìn)行應(yīng)急響應(yīng)，根據(jù)需要積極投入外部應(yīng)急力量。堅持預(yù)防為主堅持預(yù)防為主，通過安全預(yù)警及安全監(jiān)控等手段，對可能的信息安全事件進(jìn)行發(fā)現(xiàn)，降低潛在風(fēng)險對組織的影響。堅持“誰主管誰負(fù)責(zé)、誰運營誰負(fù)責(zé)”堅持“誰主管誰負(fù)責(zé)、誰運行誰負(fù)責(zé)”，應(yīng)急響應(yīng)工作明確到人，及時開展，從而實現(xiàn)應(yīng)急響應(yīng)工作的規(guī)范化、制度化和流程化。事故分級原則根據(jù)信息安全事故對業(yè)務(wù)系統(tǒng)造成的影響，將信息安全事故劃分為三個級別：一級（重大事故）、二級（較大事故）和三級（一般事故）。一級（重大事故）：造成業(yè)務(wù)系統(tǒng)數(shù)據(jù)全部丟失，或者業(yè)務(wù)系統(tǒng)中斷半天以上，或者所有使用人員工作中斷一天以上的信息安全事故。二級（較大事故）：造成業(yè)務(wù)系統(tǒng)數(shù)據(jù)部分丟失，或者業(yè)務(wù)系統(tǒng)中斷半天以下，或者部分使用人員工作中斷半天以上的信息安全事故。三級（一般事故）：造成業(yè)務(wù)系統(tǒng)的業(yè)務(wù)系統(tǒng)中斷，或者部分使用人員工作中斷半天以下的信息安全事故。應(yīng)急機制故障升級機制突發(fā)事件的處理結(jié)果直接決定了用戶對我們服務(wù)能力和服務(wù)質(zhì)量的評價。要確保突發(fā)事件在SLA范圍內(nèi)處理完成，服務(wù)實施前，交付與服務(wù)中心將與貴司的業(yè)務(wù)人員溝通應(yīng)急事件故障級別的定義，并將根據(jù)故障的級別提供相應(yīng)更高的服務(wù)響應(yīng)。技術(shù)備份機制對于重要的業(yè)務(wù)系統(tǒng)，建議貴方建立應(yīng)急所需的軟硬件資源、數(shù)據(jù)等備份機制。建議采用完備的備份恢復(fù)方案，使得故障后，系統(tǒng)能夠快速恢復(fù)到故障點前的狀態(tài)；備份恢復(fù)方案必須經(jīng)過嚴(yán)格的測試；日常管理中，必須經(jīng)常檢查系統(tǒng)的備份狀態(tài)，確保備份的可恢復(fù)性。設(shè)備備用機制使用備用服務(wù)器，備用服務(wù)器應(yīng)隨時處于待命狀態(tài)，當(dāng)主服務(wù)器出現(xiàn)故障時，可快速切換到備用服務(wù)器，從而降低業(yè)務(wù)的停頓時間。遠(yuǎn)程災(zāi)備機制條件允許的情況下，建立遠(yuǎn)程災(zāi)備系統(tǒng)，在數(shù)據(jù)中心出現(xiàn)災(zāi)難事故，短時間內(nèi)無法恢復(fù)正常時，可由遠(yuǎn)程災(zāi)備系統(tǒng)接管關(guān)鍵業(yè)務(wù)，使得關(guān)鍵業(yè)務(wù)不受重大影響。人員備份機制除了建立應(yīng)急的技術(shù)備份機制外，還需要建立人員的備份。重要崗位建立雙人或多人備份制度；定期組織培訓(xùn)，培訓(xùn)內(nèi)容包括應(yīng)急計劃和應(yīng)急組織體系的運作。應(yīng)對措施我們針對客戶的實際環(huán)境，經(jīng)過系統(tǒng)的巡檢、分析，評估出目前系統(tǒng)存在的安全性現(xiàn)狀，對于存在風(fēng)險的問題進(jìn)行評估，設(shè)計應(yīng)對方案。硬件故障采用冗余硬件設(shè)備來防止單點錯誤使用HA等雙機軟件實現(xiàn)自動切換購置主要設(shè)備和易損部件的備件，及時更換磁盤鏡象和RAID技術(shù)增強冗余可靠采用UPS電源保障供電安全互聯(lián)的網(wǎng)絡(luò)設(shè)備提供雙機整機、系統(tǒng)軟件及應(yīng)用軟件故障通過構(gòu)筑本地高可用技術(shù)的群集系統(tǒng)來保證完善備份機制使用HA等雙機軟件實現(xiàn)自動切換存儲設(shè)備的應(yīng)急預(yù)案當(dāng)存儲設(shè)備系統(tǒng)發(fā)生存儲故障時，如果發(fā)生存儲數(shù)據(jù)丟失，我們將啟動存儲故障應(yīng)急預(yù)案。下面將是具體的實施步驟：確認(rèn)數(shù)據(jù)是否備份。更換存儲損壞的部件。根據(jù)原來的存儲空間規(guī)劃，恢復(fù)損壞的磁盤存儲LUN配置。在主機上從新確認(rèn)和生成損壞的LUN的設(shè)備信息。按照原先的LVM配置信息，恢復(fù)LVM配置。如果有文件系統(tǒng)，按照原先的方式重新創(chuàng)建新的文件系統(tǒng)?；謴?fù)裸設(shè)備和文件系統(tǒng)的屬主和權(quán)限。將備份軟件備份的數(shù)據(jù)恢復(fù)到新的裸設(shè)備和文件系統(tǒng)上去。在單機環(huán)境下對恢復(fù)的數(shù)據(jù)進(jìn)行測試?？词欠窕謴?fù)正常?；謴?fù)群集軟件配置信息。將應(yīng)用重新恢復(fù)到高可用性環(huán)境下。在HACLUSTER環(huán)境下對應(yīng)用進(jìn)行測試。確認(rèn)應(yīng)用恢復(fù)正常。填寫現(xiàn)場技術(shù)服務(wù)報告記錄。整理事故報告并備案。網(wǎng)絡(luò)故障應(yīng)急預(yù)案當(dāng)貴方系統(tǒng)的發(fā)生網(wǎng)路故障時，我們將應(yīng)用切換備用網(wǎng)絡(luò)系統(tǒng)上，將用戶的損失減到最低，同時我們將啟動網(wǎng)絡(luò)故障應(yīng)急預(yù)案預(yù)案。下面將是具體的實施步驟：確認(rèn)是否是網(wǎng)絡(luò)出了問題，排除主機故障、存儲故障和應(yīng)用故障將應(yīng)用切換備用網(wǎng)絡(luò)系統(tǒng)上聯(lián)系網(wǎng)路系統(tǒng)的開發(fā)或維護(hù)商。對現(xiàn)場應(yīng)用進(jìn)行診斷根據(jù)診斷結(jié)果，修復(fù)相關(guān)的問題將應(yīng)用切回到主用網(wǎng)絡(luò)系統(tǒng)上重新在群集環(huán)境中對應(yīng)用進(jìn)行測試填寫現(xiàn)場技術(shù)服務(wù)報告記錄整理事故報告并備案人為因素所造成的故障加強對管理人員的專項培訓(xùn)建立完善的維護(hù)操作規(guī)范總結(jié)經(jīng)驗，及時推廣系統(tǒng)調(diào)整所造成的緊急情況事先提供完善的計劃和安排重點任務(wù)的實施要經(jīng)相關(guān)配合人員的充分討論，并明確的分工專家審核變更、上線、調(diào)整的方案，保證可靠和高成功率需要的時候現(xiàn)場駐守工程師保證順利實施機房環(huán)境突發(fā)性事故采用UPS電源保障供電安全合格的機房裝修，溫度、濕度和灰塵符合設(shè)備要求嚴(yán)格完善的防火、防雷擊、防靜電設(shè)施機房位置選擇和設(shè)備固定以防地震和房屋倒塌災(zāi)難性事故不能通過一般的高可用性技術(shù)來解決，需要采用災(zāi)難恢復(fù)技術(shù)來解決，即遠(yuǎn)程災(zāi)備。應(yīng)急演練為了提高突發(fā)事件的應(yīng)對能力，在日常工作過程中，保證系統(tǒng)正常運行的前提下，每年度將組織兩次服務(wù)演練，選擇若干用戶單位進(jìn)行模擬故障演練，交付與服務(wù)中心按照貴方演練計劃派技術(shù)人員到選定用戶單位進(jìn)行現(xiàn)場模擬故障排除。貴方要提前發(fā)出演練通知，說明演練時間，參演人員，演練范圍，演練內(nèi)容，所有人員要按照應(yīng)急情況處置演練流程進(jìn)行，演練流程有變動的要提前制定演練計劃并分發(fā)給各演練參與人員，同時說明注意事項。演練流程詳細(xì)步驟1）制定故障演練計劃方法和標(biāo)準(zhǔn)：根據(jù)故障演練要求進(jìn)行調(diào)研并制定計劃輸入：《應(yīng)急預(yù)案》、（或《故障演練任務(wù)書》）輸出：《故障演練計劃》時間安排：（編寫計劃的時間）資源。風(fēng)險和假設(shè)：任務(wù)假設(shè)故障各項工作已建設(shè)完成，內(nèi)部評審?fù)ㄟ^、軟件需求分析已確定。存在需求無法完全確定，計劃可能變更的風(fēng)險。角色和職責(zé)：由貴方用戶方及交付與服務(wù)中心公司共同執(zhí)行該任務(wù)，為故障演練提供測試計劃，并組織計劃的評審工作。2）故障演練時間安排根據(jù)調(diào)研的結(jié)果確認(rèn)演練時間安排。3）協(xié)調(diào)參與故障演練人員說明故障演練過程中負(fù)責(zé)協(xié)調(diào)工作的人員及職責(zé)：貴方參與本項目的協(xié)調(diào)人員及其職責(zé)貴方有關(guān)管理機構(gòu)的協(xié)調(diào)人員及其職責(zé)本項目同其它有關(guān)項目之間的協(xié)調(diào)人員及其職責(zé)4）故障演練環(huán)境準(zhǔn)備說明硬件設(shè)備、網(wǎng)絡(luò)通訊和系統(tǒng)軟件。說明故障的數(shù)據(jù)環(huán)境準(zhǔn)備。說明故障演練系統(tǒng)配套的管理制度及操作規(guī)程。說明故障演練所需的各種條件和設(shè)施。5）公告故障演練時段6）具體故障演練方法和標(biāo)準(zhǔn)：根據(jù)故障演練計劃或方案進(jìn)行測試輸入：《故障演練計劃》輸出：問題報告單、《故障演練測試報告》時間安排：根據(jù)故障演練發(fā)現(xiàn)的問題，修改故障演練計劃及相關(guān)的應(yīng)急預(yù)案。風(fēng)險和假設(shè)：任務(wù)假設(shè)系統(tǒng)預(yù)測試評審?fù)ㄟ^，各版本測試的問題能夠得到及時解決?？赡艽嬖谙到y(tǒng)預(yù)測試評審不通過和缺陷不能及時修復(fù)，新版本無法準(zhǔn)時提交