運(yùn)維應(yīng)急故障處理方案

1、運(yùn)維應(yīng)急故障 處理方案文件編碼AQ2I-02-S001版本V03文件層級(jí)i一階口二階三階文件類別體系文件口技術(shù)文件編制部門(mén)運(yùn)維部機(jī)密等級(jí)內(nèi)文 秘密口機(jī)密 口絕密編制人文件類別通用口項(xiàng)目審核編制日期審批生效日期總頁(yè)數(shù)9分發(fā)編號(hào)01文件發(fā)布蓋章文件制/修訂記錄貞碼早節(jié)制/修訂記錄版本修訂人修訂日期備注修訂前修訂后全部全部首次制定無(wú)V012,34,5職責(zé)/作業(yè)內(nèi)容V01*V02全部全部按新的角色職責(zé) 定義更新角色V02V03$%?I1目的用于突發(fā)性事件發(fā)生后的應(yīng)急處理措施，確保在緊急情況下仍能保證系統(tǒng)平臺(tái)正常運(yùn)行2適用范|本程序適用于所有在系統(tǒng)平臺(tái)運(yùn)行過(guò)程中能事先預(yù)測(cè)到的非自然災(zāi)害所產(chǎn)生的突發(fā)性事件

2、。3術(shù)語(yǔ)和定義突發(fā)事件:由于系統(tǒng)軟件，硬件，接入線路，機(jī)房電力，溫度等發(fā)生問(wèn)題和突發(fā)意外，引起故障時(shí)間達(dá)30分鐘以上，造成關(guān)鍵服務(wù)不可用，形成重大影響的事件。4職責(zé)運(yùn)維工程師:負(fù)責(zé)突發(fā)性事件應(yīng)急處理計(jì)劃和對(duì)策的擬定和執(zhí)行。平臺(tái)研發(fā)部，移動(dòng)應(yīng)用部，客戶服務(wù)部，服務(wù)營(yíng)銷部:由部門(mén)負(fù)責(zé)人及相關(guān)人員共同處理突發(fā)性應(yīng)急事件。質(zhì)量管理工程師：負(fù)責(zé)突發(fā)性事件應(yīng)急處理計(jì)劃和對(duì)策的監(jiān)督執(zhí)行。5作業(yè)內(nèi)容遠(yuǎn)將腳技成垣傍鬻地粗站構(gòu)圈1393KUS44E工即鼻yuiMSimi11工H下遠(yuǎn)將腳技成垣傍鬻地粗站構(gòu)圈1393KUS44E工即鼻yuiMSimi11工H下tsjamiflti niF?L&MEM=M3i3nKJ9

3、&LZ?DI4LD突發(fā)事件分類和應(yīng)急處理基礎(chǔ)設(shè)施環(huán)境不可用包括運(yùn)營(yíng)商網(wǎng)絡(luò)割接、機(jī)房電力、空調(diào)、線路接入等基礎(chǔ)設(shè)施出現(xiàn)故障，且影響時(shí) 間高于30分鐘的。對(duì)于運(yùn)營(yíng)商已告知問(wèn)題原因時(shí)處理方案：提前通知相關(guān)運(yùn)營(yíng)人員和客戶服務(wù)部通告影響時(shí)間，影響范圍公告用戶調(diào)整域名解析，啟用容災(zāi)機(jī)房對(duì)于運(yùn)營(yíng)商未告知問(wèn)題原因時(shí)處理方案：緊急聯(lián)絡(luò)機(jī)房接口人了解故障原因，和影響時(shí)間，評(píng)估影響范圍緊急公告，啟用預(yù)案同已知問(wèn)題處理設(shè)備不可用服務(wù)器硬件故障、交換機(jī)及防火墻等網(wǎng)絡(luò)設(shè)備發(fā)生故障，且影響時(shí)間高于30分鐘的故 障處理方案：通知相關(guān)運(yùn)營(yíng)人員和客戶服務(wù)部啟用備份設(shè)備分析故障原因，通知廠家售后服務(wù)不可用*軟件程序問(wèn)題，且影響時(shí)間

4、高于30分鐘的故障處理方案：通知相關(guān)運(yùn)營(yíng)人員和客戶服務(wù)部回滾到上一個(gè)穩(wěn)定軟件版本保存日志文件，分析定位問(wèn)題原因通知開(kāi)發(fā)人員修正軟件缺陷測(cè)試通過(guò)之后重新上線數(shù)據(jù)庫(kù)問(wèn)題，且影響時(shí)間高于30分鐘的故障處理方案：通知相關(guān)運(yùn)營(yíng)人員和客戶服務(wù)部.提前建立數(shù)據(jù)庫(kù)集群從庫(kù)出現(xiàn)問(wèn)題，訪問(wèn)解析到其它從庫(kù)上主庫(kù)出現(xiàn)問(wèn)題，將一臺(tái)從庫(kù)提升為主庫(kù)定期全備份和增量備份數(shù)據(jù)文件保存日志操作文件遭受惡意攻擊，且攻擊時(shí)間高于30分鐘的故障處理方案：通知相關(guān)運(yùn)營(yíng)人員和客戶服務(wù)部.在防火墻上操作內(nèi)容：定期檢查更新防火墻策略；屏蔽惡意IP；限制每秒的連接數(shù)。在服務(wù)器上操作內(nèi)容：提前部署cache服務(wù)器；屏蔽公網(wǎng)訪問(wèn)核心服務(wù)端口；設(shè)定i

5、ptables策略。病毒入侵等情況操作內(nèi)容：定期掃描系統(tǒng)和應(yīng)用軟件漏洞；定期升級(jí)系統(tǒng)Patch；利用云服務(wù)。對(duì)于已經(jīng)執(zhí)行上述措施，仍無(wú)法抵御攻擊的情況，將部分服務(wù)遷移到公有云上，利 用云服務(wù)進(jìn)行容災(zāi)。正常業(yè)務(wù)量徒增處理方案：和相關(guān)運(yùn)營(yíng)部門(mén)建立即使溝通機(jī)制，了解產(chǎn)品推廣活動(dòng)購(gòu)置IDC富余帶寬，用于抗峰值將關(guān)鍵服務(wù)分布式部署故障記錄和備案建立【事件記錄表】分析故障原因，制定解決方案，避免相似故障再次發(fā)生應(yīng)急預(yù)案演練明確演練范圍和參與人員如果組織是第一次進(jìn)行災(zāi)難恢復(fù)演練，不要嘗試在演練中測(cè)試整個(gè)業(yè)務(wù)連續(xù)性計(jì)劃，而應(yīng)該選擇計(jì)劃中的一兩個(gè)部分來(lái)進(jìn)行測(cè)試。多次小規(guī)模的演練比一次大規(guī)模的演 練能夠讓組織獲得

6、更多的價(jià)值。在明確了演練的范圍后，組織需要確定演練的參與人員。參與人員通常是與演練 范圍相對(duì)應(yīng)的執(zhí)行人員，同時(shí)也可以包括熟悉演練范圍的管理人員。預(yù)先明確演練范圍和參與人員的好處在于，能夠深入演練，加深理解，并控制規(guī) 模。當(dāng)組織逐漸適應(yīng)這種演練時(shí)，就可以開(kāi)始進(jìn)行復(fù)雜的、測(cè)試整個(gè)計(jì)劃的演練了。組建演練規(guī)劃小組這是一個(gè)關(guān)鍵的步驟，組織需要將一小部分演練參與人員納入到規(guī)劃小組中。小組 成員也可以包括非具體執(zhí)行人員，但他們必須了解演練范圍內(nèi)的業(yè)務(wù)和流程。規(guī)劃 小組至少應(yīng)該包含一位公司高層，以增強(qiáng)規(guī)劃的可信度。設(shè)定演練目標(biāo)讓規(guī)劃小組的每一個(gè)成員都了解本次演練的范圍，并通過(guò)討論設(shè)定演練的目標(biāo)。 組織第一次進(jìn)

7、行演練，目標(biāo)應(yīng)該設(shè)定在三個(gè)到五個(gè)之間一一盡量簡(jiǎn)化每一次演練。 并且，在測(cè)試過(guò)程中盡量讓這些目標(biāo)量化或者可視化。以下是演練目標(biāo)設(shè)定的一些例子：驗(yàn)證災(zāi)難恢復(fù)流程的有效性驗(yàn)證應(yīng)急通訊列表的可用性并及時(shí)更新讓高層管理人員熟悉他們的角色和責(zé)任測(cè)試并提高員工的災(zāi)難恢復(fù)意識(shí)驗(yàn)證恢復(fù)時(shí)間目標(biāo)（RTO）設(shè)計(jì)演練場(chǎng)景災(zāi)難場(chǎng)景可以很簡(jiǎn)單，也可以很復(fù)雜。它可能是簡(jiǎn)單的一次火災(zāi)，也可能是惡劣天 氣之后的一系列事件。不論如何，該場(chǎng)景必須能夠?qū)︻A(yù)定的業(yè)務(wù)連續(xù)性計(jì)劃某一（些）部分進(jìn)行測(cè)試，并能夠達(dá)到規(guī)劃小組所設(shè)定的目標(biāo)。在創(chuàng)建場(chǎng)景的時(shí)候，可以思考以下幾個(gè)問(wèn)題：場(chǎng)景是否可信參與人員會(huì)相信該場(chǎng) 景的可能性嗎該場(chǎng)景是否可能發(fā)生是否

8、能夠獲得一個(gè)積極的結(jié)果是否足夠簡(jiǎn)單是 否含有過(guò)于專業(yè)的術(shù)語(yǔ)以至于觀眾無(wú)法聽(tīng)懂是否超越了參與人員的知識(shí)范圍場(chǎng)景 解決方案是否過(guò)于簡(jiǎn)單參與人員是否適合這一場(chǎng)景的設(shè)定？組織可以考慮使用一個(gè)曾經(jīng)發(fā)生過(guò)的災(zāi)難事件作為場(chǎng)景，這一事件可能導(dǎo)致，或 者曾經(jīng)導(dǎo)致了組織的業(yè)務(wù)中斷。同時(shí)，組織也可以通過(guò)參考風(fēng)險(xiǎn)分析報(bào)告，選擇一 個(gè)最有可能發(fā)生的會(huì)影響到業(yè)務(wù)的事件。當(dāng)然，風(fēng)險(xiǎn)分析報(bào)告內(nèi)的事件排序必須要 被所有參與人員認(rèn)可。還有一個(gè)方法是設(shè)計(jì)一個(gè)會(huì)突出已知缺點(diǎn)的場(chǎng)景，這種情況 下，需要在演練中引導(dǎo)參與人員，讓他們逐漸意識(shí)到這些缺點(diǎn)。設(shè)計(jì)災(zāi)難場(chǎng)景時(shí)，使用參與人員都知道的真實(shí)的地點(diǎn)，并使用城市、當(dāng)?shù)孛襟w、 消防部門(mén)的名稱，

9、可以幫助提高場(chǎng)景的真實(shí)性。在演練的過(guò)程中，主持人需要逐漸給出更多的場(chǎng)景信息，并引導(dǎo)參與人員進(jìn)行討 論，這要求掌握好時(shí)機(jī)，并最終能夠?qū)С鲆粋€(gè)具有邏輯性的結(jié)論。場(chǎng)景設(shè)計(jì)的一些 例子包括：上午10點(diǎn)5分，大樓報(bào)出火警上午10點(diǎn)15分，火災(zāi)應(yīng)急響應(yīng)小組報(bào)告服務(wù)器機(jī)房起火上午10點(diǎn)20分，部門(mén)經(jīng)理報(bào)告一個(gè)小組成員尚未找到，可能還在火災(zāi)大樓里這些能夠引起討論的信息可以通過(guò)各種方式傳遞給參與人員，例如，可以發(fā)送到 參與人員的Email地址，也可以現(xiàn)場(chǎng)發(fā)放復(fù)印件，或者只是主持人口頭說(shuō)明這些信 息，不論選擇了哪種方式，要適合參與人員，并且在加入時(shí)盡量使信息更加生動(dòng)有 趣。設(shè)計(jì)演練評(píng)估清單在明確了演練范圍、設(shè)定好

10、演練目標(biāo)后，為了恰當(dāng)?shù)睾饬窟@些目標(biāo)是否達(dá)成，需要 設(shè)計(jì)一份演練評(píng)估清單，用以在演練中跟蹤和記錄目標(biāo)的達(dá)成情況。評(píng)估清單應(yīng)該包括評(píng)估者的姓名、需要評(píng)估的目標(biāo)、評(píng)估的標(biāo)準(zhǔn)等，并為評(píng)估者 預(yù)留出進(jìn)行評(píng)論和做筆記的地方。一份好的評(píng)估清單能夠幫助組織：確保對(duì)演練進(jìn)行很好的評(píng)估突出與理想狀態(tài)之間的差距可以在培訓(xùn)和宣傳中突出缺點(diǎn)突出設(shè)施設(shè)備的不足之處強(qiáng)調(diào)執(zhí)行人員的支持和意見(jiàn)的必要性強(qiáng)調(diào)持續(xù)維護(hù)和演練的必要性選擇員工擔(dān)任演練中的角色災(zāi)難恢復(fù)演練中有幾個(gè)基本的角色，即參與者、觀察者、評(píng)估者和主持人，每個(gè)角 色都很重要，并且需要在演練前進(jìn)行相應(yīng)的指導(dǎo)與培訓(xùn)。參與者：通常負(fù)責(zé)業(yè)務(wù)連續(xù)性計(jì)劃特定部分的具體執(zhí)行，他們不

11、必參與到演練的 規(guī)劃。觀察者：可以是組織中的任何人，只要他們對(duì)組織的業(yè)務(wù)或者流程有基本的了解 即可。這些人需要一直參與到演練中，并允許在演練的任何部分提出具有建設(shè)性的 評(píng)論和意見(jiàn)。評(píng)估者：負(fù)責(zé)評(píng)估演練和填寫(xiě)評(píng)估清單，觀察演練中的一個(gè)或多個(gè)目標(biāo)是否達(dá)成。主持人：負(fù)責(zé)整個(gè)演練的管理、參與人員之間的溝通，提供額外的信息以逐漸推 進(jìn)討論，負(fù)責(zé)演練后的總結(jié)，并完成演練報(bào)告。召開(kāi)演練前的指導(dǎo)會(huì)議在演練實(shí)施前，召開(kāi)輔導(dǎo)會(huì)議，向參與人員解釋參與者、觀察者和評(píng)估者的角色， 允許他們提問(wèn)，并為每一個(gè)人提供演練日程、地點(diǎn)和其它信息。最重要的是要向參與人員明確一些基本規(guī)則，以幫助參與人員消除緊張情緒，這 些規(guī)則包括：是整個(gè)組織在進(jìn)行測(cè)試，不是某一個(gè)參與人員學(xué)習(xí)業(yè)務(wù)連續(xù)性計(jì)劃，并將演練當(dāng)作一次培訓(xùn)開(kāi)誠(chéng)布公地進(jìn)行對(duì)話尊重他人討論時(shí)不準(zhǔn)用手指指著別人不要期望演練能夠解決所有問(wèn)題保持心