運維應(yīng)急故障處理方案

1、運維應(yīng)急故障 處理方案文件編碼AQ2I-02-S001版本V03文件層級i一階口二階三階文件類別體系文件口技術(shù)文件編制部門運維部機密等級內(nèi)文 秘密口機密 口絕密編制人文件類別通用口項目審核編制日期審批生效日期總頁數(shù)9分發(fā)編號01文件發(fā)布蓋章文件制/修訂記錄貞碼早節(jié)制/修訂記錄版本修訂人修訂日期備注修訂前修訂后全部全部首次制定無V012,34,5職責/作業(yè)內(nèi)容V01*V02全部全部按新的角色職責 定義更新角色V02V03$%?I1目的用于突發(fā)性事件發(fā)生后的應(yīng)急處理措施，確保在緊急情況下仍能保證系統(tǒng)平臺正常運行2適用范|本程序適用于所有在系統(tǒng)平臺運行過程中能事先預(yù)測到的非自然災(zāi)害所產(chǎn)生的突發(fā)性事件

2、。3術(shù)語和定義突發(fā)事件:由于系統(tǒng)軟件，硬件，接入線路，機房電力，溫度等發(fā)生問題和突發(fā)意外，引起故障時間達30分鐘以上，造成關(guān)鍵服務(wù)不可用，形成重大影響的事件。4職責運維工程師:負責突發(fā)性事件應(yīng)急處理計劃和對策的擬定和執(zhí)行。平臺研發(fā)部，移動應(yīng)用部，客戶服務(wù)部，服務(wù)營銷部:由部門負責人及相關(guān)人員共同處理突發(fā)性應(yīng)急事件。質(zhì)量管理工程師：負責突發(fā)性事件應(yīng)急處理計劃和對策的監(jiān)督執(zhí)行。5作業(yè)內(nèi)容遠將腳技成垣傍鬻地粗站構(gòu)圈1393KUS44E工即鼻yuiMSimi11工H下遠將腳技成垣傍鬻地粗站構(gòu)圈1393KUS44E工即鼻yuiMSimi11工H下tsjamiflti niF?L&MEM=M3i3nKJ9

3、&LZ?DI4LD突發(fā)事件分類和應(yīng)急處理基礎(chǔ)設(shè)施環(huán)境不可用包括運營商網(wǎng)絡(luò)割接、機房電力、空調(diào)、線路接入等基礎(chǔ)設(shè)施出現(xiàn)故障，且影響時 間高于30分鐘的。對于運營商已告知問題原因時處理方案：提前通知相關(guān)運營人員和客戶服務(wù)部通告影響時間，影響范圍公告用戶調(diào)整域名解析，啟用容災(zāi)機房對于運營商未告知問題原因時處理方案：緊急聯(lián)絡(luò)機房接口人了解故障原因，和影響時間，評估影響范圍緊急公告，啟用預(yù)案同已知問題處理設(shè)備不可用服務(wù)器硬件故障、交換機及防火墻等網(wǎng)絡(luò)設(shè)備發(fā)生故障，且影響時間高于30分鐘的故 障處理方案：通知相關(guān)運營人員和客戶服務(wù)部啟用備份設(shè)備分析故障原因，通知廠家售后服務(wù)不可用*軟件程序問題，且影響時間

4、高于30分鐘的故障處理方案：通知相關(guān)運營人員和客戶服務(wù)部回滾到上一個穩(wěn)定軟件版本保存日志文件，分析定位問題原因通知開發(fā)人員修正軟件缺陷測試通過之后重新上線數(shù)據(jù)庫問題，且影響時間高于30分鐘的故障處理方案：通知相關(guān)運營人員和客戶服務(wù)部.提前建立數(shù)據(jù)庫集群從庫出現(xiàn)問題，訪問解析到其它從庫上主庫出現(xiàn)問題，將一臺從庫提升為主庫定期全備份和增量備份數(shù)據(jù)文件保存日志操作文件遭受惡意攻擊，且攻擊時間高于30分鐘的故障處理方案：通知相關(guān)運營人員和客戶服務(wù)部.在防火墻上操作內(nèi)容：定期檢查更新防火墻策略；屏蔽惡意IP；限制每秒的連接數(shù)。在服務(wù)器上操作內(nèi)容：提前部署cache服務(wù)器；屏蔽公網(wǎng)訪問核心服務(wù)端口；設(shè)定i

5、ptables策略。病毒入侵等情況操作內(nèi)容：定期掃描系統(tǒng)和應(yīng)用軟件漏洞；定期升級系統(tǒng)Patch；利用云服務(wù)。對于已經(jīng)執(zhí)行上述措施，仍無法抵御攻擊的情況，將部分服務(wù)遷移到公有云上，利 用云服務(wù)進行容災(zāi)。正常業(yè)務(wù)量徒增處理方案：和相關(guān)運營部門建立即使溝通機制，了解產(chǎn)品推廣活動購置IDC富余帶寬，用于抗峰值將關(guān)鍵服務(wù)分布式部署故障記錄和備案建立【事件記錄表】分析故障原因，制定解決方案，避免相似故障再次發(fā)生應(yīng)急預(yù)案演練明確演練范圍和參與人員如果組織是第一次進行災(zāi)難恢復(fù)演練，不要嘗試在演練中測試整個業(yè)務(wù)連續(xù)性計劃，而應(yīng)該選擇計劃中的一兩個部分來進行測試。多次小規(guī)模的演練比一次大規(guī)模的演 練能夠讓組織獲得

6、更多的價值。在明確了演練的范圍后，組織需要確定演練的參與人員。參與人員通常是與演練 范圍相對應(yīng)的執(zhí)行人員，同時也可以包括熟悉演練范圍的管理人員。預(yù)先明確演練范圍和參與人員的好處在于，能夠深入演練，加深理解，并控制規(guī) 模。當組織逐漸適應(yīng)這種演練時，就可以開始進行復(fù)雜的、測試整個計劃的演練了。組建演練規(guī)劃小組這是一個關(guān)鍵的步驟，組織需要將一小部分演練參與人員納入到規(guī)劃小組中。小組 成員也可以包括非具體執(zhí)行人員，但他們必須了解演練范圍內(nèi)的業(yè)務(wù)和流程。規(guī)劃 小組至少應(yīng)該包含一位公司高層，以增強規(guī)劃的可信度。設(shè)定演練目標讓規(guī)劃小組的每一個成員都了解本次演練的范圍，并通過討論設(shè)定演練的目標。 組織第一次進

7、行演練，目標應(yīng)該設(shè)定在三個到五個之間一一盡量簡化每一次演練。 并且，在測試過程中盡量讓這些目標量化或者可視化。以下是演練目標設(shè)定的一些例子：驗證災(zāi)難恢復(fù)流程的有效性驗證應(yīng)急通訊列表的可用性并及時更新讓高層管理人員熟悉他們的角色和責任測試并提高員工的災(zāi)難恢復(fù)意識驗證恢復(fù)時間目標（RTO）設(shè)計演練場景災(zāi)難場景可以很簡單，也可以很復(fù)雜。它可能是簡單的一次火災(zāi)，也可能是惡劣天 氣之后的一系列事件。不論如何，該場景必須能夠?qū)︻A(yù)定的業(yè)務(wù)連續(xù)性計劃某一（些）部分進行測試，并能夠達到規(guī)劃小組所設(shè)定的目標。在創(chuàng)建場景的時候，可以思考以下幾個問題：場景是否可信參與人員會相信該場 景的可能性嗎該場景是否可能發(fā)生是否

8、能夠獲得一個積極的結(jié)果是否足夠簡單是 否含有過于專業(yè)的術(shù)語以至于觀眾無法聽懂是否超越了參與人員的知識范圍場景 解決方案是否過于簡單參與人員是否適合這一場景的設(shè)定？組織可以考慮使用一個曾經(jīng)發(fā)生過的災(zāi)難事件作為場景，這一事件可能導(dǎo)致，或 者曾經(jīng)導(dǎo)致了組織的業(yè)務(wù)中斷。同時，組織也可以通過參考風險分析報告，選擇一 個最有可能發(fā)生的會影響到業(yè)務(wù)的事件。當然，風險分析報告內(nèi)的事件排序必須要 被所有參與人員認可。還有一個方法是設(shè)計一個會突出已知缺點的場景，這種情況 下，需要在演練中引導(dǎo)參與人員，讓他們逐漸意識到這些缺點。設(shè)計災(zāi)難場景時，使用參與人員都知道的真實的地點，并使用城市、當?shù)孛襟w、 消防部門的名稱，

9、可以幫助提高場景的真實性。在演練的過程中，主持人需要逐漸給出更多的場景信息，并引導(dǎo)參與人員進行討 論，這要求掌握好時機，并最終能夠?qū)С鲆粋€具有邏輯性的結(jié)論。場景設(shè)計的一些 例子包括：上午10點5分，大樓報出火警上午10點15分，火災(zāi)應(yīng)急響應(yīng)小組報告服務(wù)器機房起火上午10點20分，部門經(jīng)理報告一個小組成員尚未找到，可能還在火災(zāi)大樓里這些能夠引起討論的信息可以通過各種方式傳遞給參與人員，例如，可以發(fā)送到 參與人員的Email地址，也可以現(xiàn)場發(fā)放復(fù)印件，或者只是主持人口頭說明這些信 息，不論選擇了哪種方式，要適合參與人員，并且在加入時盡量使信息更加生動有 趣。設(shè)計演練評估清單在明確了演練范圍、設(shè)定好

10、演練目標后，為了恰當?shù)睾饬窟@些目標是否達成，需要 設(shè)計一份演練評估清單，用以在演練中跟蹤和記錄目標的達成情況。評估清單應(yīng)該包括評估者的姓名、需要評估的目標、評估的標準等，并為評估者 預(yù)留出進行評論和做筆記的地方。一份好的評估清單能夠幫助組織：確保對演練進行很好的評估突出與理想狀態(tài)之間的差距可以在培訓(xùn)和宣傳中突出缺點突出設(shè)施設(shè)備的不足之處強調(diào)執(zhí)行人員的支持和意見的必要性強調(diào)持續(xù)維護和演練的必要性選擇員工擔任演練中的角色災(zāi)難恢復(fù)演練中有幾個基本的角色，即參與者、觀察者、評估者和主持人，每個角 色都很重要，并且需要在演練前進行相應(yīng)的指導(dǎo)與培訓(xùn)。參與者：通常負責業(yè)務(wù)連續(xù)性計劃特定部分的具體執(zhí)行，他們不

11、必參與到演練的 規(guī)劃。觀察者：可以是組織中的任何人，只要他們對組織的業(yè)務(wù)或者流程有基本的了解 即可。這些人需要一直參與到演練中，并允許在演練的任何部分提出具有建設(shè)性的 評論和意見。評估者：負責評估演練和填寫評估清單，觀察演練中的一個或多個目標是否達成。主持人：負責整個演練的管理、參與人員之間的溝通，提供額外的信息以逐漸推 進討論，負責演練后的總結(jié)，并完成演練報告。召開演練前的指導(dǎo)會議在演練實施前，召開輔導(dǎo)會議，向參與人員解釋參與者、觀察者和評估者的角色， 允許他們提問，并為每一個人提供演練日程、地點和其它信息。最重要的是要向參與人員明確一些基本規(guī)則，以幫助參與人員消除緊張情緒，這 些規(guī)則包括：是整個組織在進行測試，不是某一個參與人員學(xué)習業(yè)務(wù)連續(xù)性計劃，并將演練當作一次培訓(xùn)開誠布公地進行對話尊重他人討論時不準用手指指著別人不要期望演練能夠解決所有問題保持心