云平臺服務(wù)器存儲應(yīng)急預(yù)案

云平臺服務(wù)器存儲應(yīng)急預(yù)案目錄1 目的 32 適用范圍 33 規(guī)范內(nèi)容 33.1 故障分類 33.2 應(yīng)急準(zhǔn)備 33.3 具體措施 34 故障處理規(guī)范 44.1 機(jī)房停電 44.2 主機(jī)故障 44.3 存儲系統(tǒng)故障 44.4 云平臺軟件系統(tǒng)故障 44.5 云平臺管理服務(wù)器故障預(yù)防 54.6 云平臺日常告警故障排除 55 硬件故障預(yù)防與排除 55.1 故障預(yù)防 55.2 故障排除 55.3 故障處理 6目的為提高云平臺服務(wù)器、存儲故障處理能力，形成科學(xué)、有效、反應(yīng)迅速的日常管理流程和應(yīng)急處理機(jī)制，確保平臺的安全和穩(wěn)定運(yùn)行，最大限度地減小故障對生產(chǎn)的影響，降低業(yè)務(wù)中斷風(fēng)險(xiǎn)，特制定本規(guī)范。適用范圍本規(guī)范適用于提供云計(jì)算虛擬化平臺服務(wù)的服務(wù)器、存儲管理，應(yīng)對發(fā)生和可能發(fā)生的故障。規(guī)范內(nèi)容服務(wù)器運(yùn)維和應(yīng)急處理應(yīng)包括風(fēng)險(xiǎn)評估，檢測體系和應(yīng)急處理三個環(huán)節(jié)，合理有效的執(zhí)行控制將防止故障影響擴(kuò)大。故障分類平臺故障包括服務(wù)器硬件和存儲系統(tǒng)故障；自然災(zāi)害（水、火、電等）造成的物理破壞；人為誤操作造成的損害等。應(yīng)急準(zhǔn)備部門責(zé)任人員明確職責(zé)和管理范圍，根據(jù)實(shí)際情況，安排應(yīng)急值班，確保到崗到人，聯(lián)絡(luò)暢通，處理及時準(zhǔn)確。具體措施（1）建立安全、可靠、穩(wěn)定運(yùn)行的機(jī)房環(huán)境，防火、防雷電、防水、防靜電、防塵；建立備份電源系統(tǒng)。（2）虛擬化平臺服務(wù)器應(yīng)采用可靠、穩(wěn)定、兼容性硬件，落實(shí)責(zé)任管理機(jī)制，遵守安全操作規(guī)范；對虛擬機(jī)和管理服務(wù)器進(jìn)行定時備份；采用有效的虛擬化監(jiān)控工具，及時發(fā)現(xiàn)問題和日報(bào)告。故障處理規(guī)范機(jī)房停電接到停電通知后，相關(guān)人員應(yīng)及時部署應(yīng)對具體措施，啟動備用電源,保證服務(wù)器正常運(yùn)行。主機(jī)故障（1）平臺服務(wù)器出現(xiàn)硬件告警需要停機(jī)維護(hù)，服務(wù)器責(zé)任人應(yīng)立即通知相關(guān)人員，將業(yè)務(wù)虛機(jī)遷移到集群中其他服務(wù)器主機(jī)上，再將故障服務(wù)器切換至維護(hù)模式并從HA集群中移除，負(fù)責(zé)陪同硬件廠家現(xiàn)場更換至成功恢復(fù)。（2）若服務(wù)器硬件24小時內(nèi)無法恢復(fù)，服務(wù)器責(zé)任人需書面報(bào)告原因并立即通知業(yè)務(wù)管理人員進(jìn)行數(shù)據(jù)應(yīng)急備份,防止災(zāi)難擴(kuò)大。（3）若虛擬化存儲硬件出現(xiàn)告警，第一目擊人應(yīng)立即通知存儲管理員，并上報(bào)主管領(lǐng)導(dǎo)，存儲管理員應(yīng)在報(bào)告1小時內(nèi)聯(lián)系廠家到場處理，處理完成后因報(bào)告原因，找到解決方法；并立即對數(shù)據(jù)做完整性檢查，消除重復(fù)發(fā)生隱患。存儲系統(tǒng)故障（1）做好存儲系統(tǒng)的定時備份，一旦出現(xiàn)數(shù)據(jù)損壞、丟失，能夠及時恢復(fù)系統(tǒng)。（2）發(fā)生存儲系統(tǒng)故障后，相關(guān)人員應(yīng)檢查出現(xiàn)故障的原因并盡快排除。（3）如遇系統(tǒng)崩潰，數(shù)據(jù)丟失，應(yīng)啟用備份文件進(jìn)行數(shù)據(jù)恢復(fù)。云平臺軟件系統(tǒng)故障（1）日常做好虛擬機(jī)的定時備份和快照，系統(tǒng)崩潰后，能夠及時恢復(fù)虛擬機(jī)。（2）發(fā)生虛擬機(jī)系統(tǒng)故障后，相關(guān)人員應(yīng)及時通知業(yè)務(wù)人員檢查出現(xiàn)故障的原因并盡快排除。（3）如遇虛擬機(jī)系統(tǒng)需要啟用備份系統(tǒng)進(jìn)行恢復(fù)時，應(yīng)在恢復(fù)后和業(yè)務(wù)管理員仔細(xì)檢查業(yè)務(wù)是否恢復(fù)并做好恢復(fù)記錄。云平臺管理服務(wù)器故障預(yù)防虛擬化服務(wù)器采用群集配置。配套管理軟件對虛擬數(shù)據(jù)中心管理單元進(jìn)行集中管理，系統(tǒng)平臺常年24小時運(yùn)行，每天將產(chǎn)生大量的任務(wù)日志和記錄信息。同時管理服務(wù)器擔(dān)任了整個平臺主機(jī)管理和集中配置的角色，使用率極高。為了安全，應(yīng)定期備份配置數(shù)據(jù)庫，定期檢查告警日志。云平臺日常告警故障排除當(dāng)虛擬化平臺出現(xiàn)告警信息，通過以下步驟排除：確定故障原因。查看已觸發(fā)的警報(bào)內(nèi)容，確定故障前操作是否是引發(fā)該故障的原因，對合規(guī)操作引起的告警，進(jìn)行消除。對提示硬件產(chǎn)生的告警，應(yīng)查看硬件狀態(tài)信息，對確認(rèn)是硬件的問題按硬件維護(hù)預(yù)案處理。對提示因資源不足或性能引發(fā)的告警，因查看近期性能圖表，找出原因，消除故障提示。對于無法判斷的故障，可導(dǎo)出系統(tǒng)日志發(fā)給廠家分析處理。硬件故障預(yù)防與排除故障預(yù)防保持雙機(jī)運(yùn)行狀態(tài)正常，單機(jī)出現(xiàn)故障后，及時對故障單機(jī)進(jìn)行修復(fù)。故障排除當(dāng)服務(wù)器出現(xiàn)硬件故障，通過以下步驟排除：（1）確定故障原因。依次查看電源、硬盤、內(nèi)存、主板、處理器等，如條件許可，可使用替換法檢測各硬件。（2）恢復(fù)固件缺省配置。比如去除第三方廠商備件和非標(biāo)配備件。故障處理（1）硬盤故障處理：當(dāng)硬盤出現(xiàn)黃燈提示預(yù)警時，應(yīng)先查看硬盤數(shù)據(jù)是否丟失，如數(shù)據(jù)存在應(yīng)先做好數(shù)據(jù)備份，將此服務(wù)器各應(yīng)用迅速轉(zhuǎn)移，然后排查報(bào)警具體原因，如由于錯誤操作或硬盤連接不好引起的報(bào)警，可嘗試重啟服務(wù)器，重新插拔硬盤等操作即可解決問題。如硬盤損壞，應(yīng)及時將備用硬盤替換下故障硬盤，使服務(wù)器恢復(fù)正常工作。排查過程中，如不能正確判斷問題原因，不能隨便操作，可向售后服務(wù)咨詢處理。（2）內(nèi)存故障：由于我們的服務(wù)器有多組內(nèi)存，單條內(nèi)存故障時，會對服務(wù)器性能稍有影響，當(dāng)不會影響整體使用，所以如發(fā)現(xiàn)內(nèi)存條損壞時，安排時間將損壞的內(nèi)存條替換掉即可。（3）RAID卡故障：服務(wù)器的RAID卡出現(xiàn)故障時，系統(tǒng)會無法識別出硬盤，服務(wù)器不能正常使用，所以應(yīng)第一時間啟動備用服務(wù)器。將故障服務(wù)器移出生產(chǎn)網(wǎng)絡(luò)后更換RAID卡，RAID卡通過硬盤重新讀取RAID配置信息后即可恢復(fù)使用。