【運(yùn)維部】YY運(yùn)維值班管理規(guī)范

YY運(yùn)維值班管理規(guī)范多玩運(yùn)維部業(yè)務(wù)運(yùn)維組修訂記錄日期修訂版本修改描述作者審核2012-11-150.9創(chuàng)建文檔王金銀2012-11-271.0創(chuàng)建文檔王金銀目錄修訂記錄 11 概述 51.1 范圍 51.2 目的 51.3 疑問和建議 51.4 相關(guān)術(shù)語 52 YY告警類型 53 YY值班機(jī)制 64 核心告警處理流程 64.1 告警處理流程 64.2 角色職責(zé)表 64.3 告警通知方式 74.4 流程執(zhí)行注意事項 75 突發(fā)事件處理流程（和核心告警一樣） 75.1 告警處理流程 85.2 角色職責(zé)表 85.3 告警通知方式 95.4 流程執(zhí)行注意事項 96 基礎(chǔ)事件告警處理流程 96.1 告警處理流程 96.2 角色職責(zé)表 116.3 告警通知方式 126.4 流程執(zhí)行注意事項 127 客服事件處理流程 127.1 告警處理流程 137.2 角色職責(zé)表 137.3 告警通知方式 137.4 流程執(zhí)行注意事項 138 突發(fā)事件規(guī)范 148.1 服務(wù)等級定義 148.2 根據(jù)影響情況進(jìn)行的故障分級 148.3 YY服務(wù)故障處理注意事項 159 全局職責(zé)定義 159.1 職責(zé)定義表 15概述范圍本規(guī)范適用于歡聚時代公司。目的本規(guī)范由業(yè)務(wù)運(yùn)維組制定，旨在進(jìn)一步加強(qiáng)運(yùn)維值班的管理能力。疑問和建議如果對本規(guī)范有問題或者建議的，請聯(lián)系業(yè)務(wù)運(yùn)維組王金銀。相關(guān)術(shù)語一線值班NOC7*24小時值班，負(fù)責(zé)接收來自于監(jiān)控系統(tǒng)和用戶側(cè)的保障，做初步的定位后，對于無法處理的故障，需要經(jīng)過轉(zhuǎn)單給二線運(yùn)維或者平臺運(yùn)維人員。業(yè)務(wù)運(yùn)維（二線）負(fù)責(zé)對一線無法解決的業(yè)務(wù)故障進(jìn)行處理，在故障無法處理的情況，進(jìn)一步進(jìn)行故障單的流轉(zhuǎn)。平臺運(yùn)維（二線）負(fù)責(zé)對一線無法解決的平臺故障（主要是網(wǎng)絡(luò)）進(jìn)行處理，在故障無法處理的情況，進(jìn)一步進(jìn)行故障單的流轉(zhuǎn)。開發(fā)（三線）在業(yè)務(wù)運(yùn)維無法解決故障的情況下，故障單此時流轉(zhuǎn)到開發(fā)，開發(fā)進(jìn)一步進(jìn)行故障處理。YY告警類型核心告警事件對于登陸和進(jìn)頻道業(yè)務(wù)來說，我們梳理了一些核心告警，這個告警會定時推到一個核心告警群內(nèi)，這些告警的響應(yīng)級別非常高。突發(fā)事件一般是用戶側(cè)的報障產(chǎn)生，是我們的服務(wù)出現(xiàn)一定規(guī)模的故障，一般都是以服務(wù)為對象的評估?；A(chǔ)告警事件(包含網(wǎng)絡(luò)事件單)從監(jiān)控系統(tǒng)會定時推送一部分告警，如：機(jī)器ping/機(jī)器心跳/機(jī)器內(nèi)存/硬盤只讀/進(jìn)程不存在/磁盤空間/機(jī)器負(fù)載/進(jìn)程cpu/進(jìn)程內(nèi)存/自定義特性告警等等告警，此時的告警我們當(dāng)作一般告警進(jìn)行處理?？头斡煽头到y(tǒng)的轉(zhuǎn)單產(chǎn)生，轉(zhuǎn)到二線業(yè)務(wù)運(yùn)維人員，確保問題的解決。YY值班機(jī)制二線業(yè)務(wù)運(yùn)維和平臺運(yùn)維每天安排相應(yīng)值班人員，雙軌值班安排，周一到周五和周末區(qū)分開，分別排班。值班人員的安排，由業(yè)務(wù)運(yùn)維負(fù)責(zé)人和平臺運(yùn)維負(fù)責(zé)人統(tǒng)一每個月排班一次。核心告警處理流程告警處理流程角色職責(zé)表角色流程職責(zé)備注一線運(yùn)維保證告警發(fā)生的時候，能夠及時推送到指定的核心故障處理群，并同時YY和電話通知到開發(fā)負(fù)責(zé)人和運(yùn)維負(fù)責(zé)人。發(fā)送郵件給相關(guān)責(zé)任人告警發(fā)生后，此時必須轉(zhuǎn)【突發(fā)事件單】。轉(zhuǎn)【突發(fā)事件單】給業(yè)務(wù)運(yùn)維負(fù)責(zé)人。周知相關(guān)干系人，比如說開發(fā)負(fù)責(zé)人、開發(fā)leader、運(yùn)維leader等等在電話聯(lián)系不到負(fù)責(zé)人的情況下，升級到業(yè)務(wù)主管二線運(yùn)維在告警處理階段，需要參與告警的處理在告警處理完成后，需要對【突發(fā)事件單】在24小時內(nèi)進(jìn)行結(jié)單處理。郵件必須在24小時內(nèi)進(jìn)行回復(fù)。開發(fā)告警發(fā)生后，需要和業(yè)務(wù)運(yùn)維一起進(jìn)行告警處理平臺運(yùn)維如果是網(wǎng)絡(luò)的故障，則需要平臺參與協(xié)助處理。平臺運(yùn)維的負(fù)責(zé)人見【機(jī)房平臺運(yùn)維負(fù)責(zé)人表】告警通知方式時間段YYYY群電話全天通知到業(yè)務(wù)運(yùn)維負(fù)責(zé)人和開發(fā)負(fù)責(zé)人發(fā)到核心故障處理群如果YY和群收到消息，則無需電話流程執(zhí)行注意事項核心告警的故障處理級別比較高，因此開發(fā)和運(yùn)維需要共同處理該告警問題。業(yè)務(wù)運(yùn)維是核心告警的首要負(fù)責(zé)人，在無人處理的情況下，需要響應(yīng)解決。核心告警一線必須轉(zhuǎn)單告警處理完成必須有相應(yīng)的運(yùn)維負(fù)責(zé)人進(jìn)行結(jié)單。核心故障24小時之內(nèi)必須出相應(yīng)的故障報告突發(fā)事件處理流程（和核心告警一樣）告警處理流程角色職責(zé)表角色流程職責(zé)備注一線運(yùn)維保證告警發(fā)生的時候，能夠及時YY和電話通知到開發(fā)負(fù)責(zé)人和運(yùn)維負(fù)責(zé)人。發(fā)送郵件給相關(guān)責(zé)任人告警發(fā)生后，此時必須轉(zhuǎn)【突發(fā)事件單】。轉(zhuǎn)【突發(fā)事件單】給業(yè)務(wù)運(yùn)維負(fù)責(zé)人。周知相關(guān)干系人，比如說開發(fā)負(fù)責(zé)人、開發(fā)leader、運(yùn)維leader等等在電話聯(lián)系不到負(fù)責(zé)人的情況下，升級到業(yè)務(wù)主管二線運(yùn)維在告警處理階段，需要參與告警的處理在告警處理完成后，需要對【突發(fā)事件單】在24小時內(nèi)進(jìn)行結(jié)單處理。郵件必須在24小時內(nèi)進(jìn)行回復(fù)。開發(fā)告警發(fā)生后，需要和業(yè)務(wù)運(yùn)維一起進(jìn)行告警處理。平臺運(yùn)維如果是網(wǎng)絡(luò)的故障，則需要平臺參與協(xié)助處理。平臺運(yùn)維的負(fù)責(zé)人見【機(jī)房平臺運(yùn)維負(fù)責(zé)人表】告警通知方式時間段YYYY群電話全天通知到業(yè)務(wù)運(yùn)維負(fù)責(zé)人和開發(fā)負(fù)責(zé)人不發(fā)群如果YY和群收到消息，則無需電話流程執(zhí)行注意事項核心告警的故障處理級別比較高，因此開發(fā)和運(yùn)維需要共同處理該告警問題。業(yè)務(wù)運(yùn)維是核心告警的首要負(fù)責(zé)人，在無人處理的情況下，需要響應(yīng)解決。核心告警一線必須轉(zhuǎn)單告警處理完成必須有相應(yīng)的運(yùn)維負(fù)責(zé)人進(jìn)行結(jié)單。核心故障24小時之內(nèi)必須出相應(yīng)的故障報告基礎(chǔ)事件告警處理流程告警處理流程白天直接發(fā)業(yè)務(wù)運(yùn)維接口人，同時轉(zhuǎn)單給業(yè)務(wù)運(yùn)維接口人，不轉(zhuǎn)給二線值班人員。晚上直接聯(lián)系值班負(fù)責(zé)人，轉(zhuǎn)單給值班負(fù)責(zé)人，不轉(zhuǎn)單給業(yè)務(wù)運(yùn)維接口人。角色職責(zé)表角色流程職責(zé)備注一線運(yùn)維保證告警發(fā)生的時候，YY消息推送到相應(yīng)的二線運(yùn)維接口人。如果YY消息沒有確認(rèn)的情況，電話通知。告警發(fā)生后，此時必須轉(zhuǎn)【基礎(chǔ)事件單】在二線運(yùn)維接口人無法聯(lián)系到的情況下，及時升級到他的leader。二線運(yùn)維值班負(fù)責(zé)人在告警處理階段，需要參與告警的處理在告警處理完成后，需要對【基礎(chǔ)事件單】進(jìn)行結(jié)單處理禁止轉(zhuǎn)單平臺運(yùn)維值班負(fù)責(zé)人在告警處理階段，需要參與告警的處理在告警處理完成后，需要對【基礎(chǔ)事件單】進(jìn)行結(jié)單處理。禁止轉(zhuǎn)單二線運(yùn)維接口運(yùn)維值班接口人處理不了的情況，業(yè)務(wù)人運(yùn)維接口人或者平臺運(yùn)維接口人需要參與故障處理。告警到業(yè)務(wù)運(yùn)維接口人身上一定完成處理，禁止轉(zhuǎn)單。平臺運(yùn)維接口人在平臺運(yùn)維接口人處理不了的情況下，此時平臺接口人直接參與處理。平臺運(yùn)維的負(fù)責(zé)人見【機(jī)房平臺運(yùn)維負(fù)責(zé)人表】開發(fā)業(yè)務(wù)運(yùn)維無法處理且業(yè)務(wù)運(yùn)維有請求的情況下，開發(fā)協(xié)助業(yè)務(wù)運(yùn)維處理。告警通知方式時間段YYYY運(yùn)維群電話9:30到18:30通知到業(yè)務(wù)運(yùn)維接口人或者平臺接口人可以不通知在無應(yīng)答的情況下，電話通知18:30到第二天早上9:30通知到值班負(fù)責(zé)人可以不通知優(yōu)先電話通知流程執(zhí)行注意事項白天二線運(yùn)維負(fù)責(zé)人是基礎(chǔ)告警第一接口人，一線只需要通知到二線運(yùn)維負(fù)責(zé)人即可晚上二線值班負(fù)責(zé)人是基礎(chǔ)告警第一接口人，一線只需要通知到值班負(fù)責(zé)人即可告警負(fù)責(zé)人不是運(yùn)維的情況下，請直接轉(zhuǎn)單給開發(fā)二線值班負(fù)責(zé)人無法處理的情況下，二線值班負(fù)責(zé)人和業(yè)務(wù)運(yùn)維業(yè)務(wù)接口人配合處理。開發(fā)是協(xié)助解決人所有的事件必須進(jìn)行轉(zhuǎn)單，確保對這些事件有記錄告警處理完成后，第二天需要進(jìn)行及時結(jié)單，值班負(fù)責(zé)人并生成當(dāng)天的值班報告【格式需討論】。客服事件處理流程告警處理流程角色職責(zé)表角色流程職責(zé)備注一線運(yùn)維告警發(fā)生后，此時必須轉(zhuǎn)【客服事件單】二線運(yùn)維接口人業(yè)務(wù)運(yùn)維接口人需要參與故障處理。業(yè)務(wù)運(yùn)維無法處理的情況，轉(zhuǎn)單開發(fā)處理。開發(fā)業(yè)務(wù)運(yùn)維無法處理的情況下，開發(fā)幫忙處理。告警通知方式時間段YYYY運(yùn)維群電話全天通知到業(yè)務(wù)運(yùn)維接口人，同時轉(zhuǎn)單可以不通知可以不通知流程執(zhí)行注意事項客服工單轉(zhuǎn)單以后只需要YY發(fā)送消息即可，無需電話通知。開發(fā)是協(xié)助解決人所有的事件必須進(jìn)行轉(zhuǎn)單，確保對這些事件有記錄告警處理完成后，第二天需要進(jìn)行及時結(jié)單，并生成當(dāng)天的值班報告【格式需討論】。突發(fā)事件規(guī)范服務(wù)等級定義根據(jù)服務(wù)的重要性，故障的影響范圍，按故障類型劃分為4個等級。服務(wù)級別服務(wù)名稱一級YY登陸、UDB服務(wù)、進(jìn)頻道服務(wù)、語音服務(wù)、IM登陸、IM取好友列表、發(fā)消息、YY客戶端崩潰率二級非核心數(shù)據(jù)庫存儲、數(shù)據(jù)同步、群服務(wù)、IM截圖、娛樂套件、會員表情、會員心情、游戲視頻、開放平臺服務(wù)、公會管理、YY升級系統(tǒng)、YY充值系統(tǒng)、YY5.0發(fā)現(xiàn)模塊、YY5.0公會首頁三級各類其它組件功能、插件、IM傳文件、1對1視頻/音頻、Web組其它業(yè)務(wù)根據(jù)影響情況進(jìn)行的故障分級詳細(xì)以【YY服務(wù)事故處理流程及獎懲制度V1】為準(zhǔn)。事故持續(xù)時長影響人數(shù)崩潰率一級事故一級服務(wù)持續(xù)時長>=120分鐘一級服務(wù)影響人數(shù)>=30W人；1.崩潰率>=20‰二級事故一級服務(wù)事故持續(xù)時長>=45分鐘；二級服務(wù)事故持續(xù)時長>=48小時；三級服務(wù)事故持續(xù)時長>=72小時；一級服務(wù)影響人數(shù)>=18W人、<=30W人；二級服務(wù)影響人數(shù)>=30W人；一級服務(wù)崩潰率>=15‰、<=20‰；二級服務(wù)崩潰率>=20‰；三級服務(wù)崩潰率>=30‰；三級事故一級服務(wù)事故持續(xù)時長>=15分鐘、<45分鐘；二級服務(wù)事故持續(xù)時長>=24小時、<48小時；三級服務(wù)一級服務(wù)影響人數(shù)>=8W人、<18W人；二級服務(wù)影響人數(shù)>=10W人、<=30W人；三級服務(wù)影響人數(shù)>30W；一級服務(wù)崩潰率>=15‰、<=20‰；二級服務(wù)崩潰率>=20‰；三級服務(wù)崩潰率>=30‰；事故持續(xù)時長>=48小時、<72小時；四級事故事故持續(xù)時長<15分鐘、>=5分鐘；二級服務(wù)事故持續(xù)時長>=12小時、<24小時；三級服務(wù)事故持續(xù)時長>=24小時、<48小時；一級服務(wù)影響人數(shù)<8W人、>=3W；二級服務(wù)影響人數(shù)>=3W、<10W；三級服務(wù)影響人數(shù)>=10W人、<=30W；一級服務(wù)崩潰率<10‰、>8‰；二級服務(wù)崩潰率>=10‰、<15‰；三級服務(wù)崩潰率>=20‰、<30‰；YY服務(wù)故障處理注意事項對于二級故障，值班工程師應(yīng)迅速上報給二線工程師處理。并在10分鐘內(nèi)上報給直屬主管，直屬主管在15分鐘內(nèi)上報給部門主管，部門主管在20分鐘內(nèi)將故障情況以及處理措施匯報給CTO。對于一級故障，值班工程師發(fā)現(xiàn)故障后立即報給二線工程是或DBA或研發(fā)負(fù)責(zé)人，并上報給直屬主管，直屬主管在接到報障后立即上報給部門主管，部門主管接到報障后將故障情況以及處理措施匯報給CTO。整個報障過程需控制在10分鐘以