運(yùn)營事故淺析-林祥

運(yùn)營事故淺析

林祥2011-5-24什么是運(yùn)營事故？所有對(duì)產(chǎn)品產(chǎn)生負(fù)面影響的問題都是運(yùn)營事故。運(yùn)營事故的危害？用戶流失，活躍、在線、充值等日常數(shù)據(jù)大幅下降。產(chǎn)品口碑、公司形象被摧毀，形成輿論危機(jī)，失去玩家信任，甚至產(chǎn)生對(duì)立抵觸情緒。團(tuán)隊(duì)超負(fù)荷運(yùn)轉(zhuǎn)，原訂后繼規(guī)劃全部被打亂。1、運(yùn)營事故的產(chǎn)生2、運(yùn)營事故的發(fā)現(xiàn)3、運(yùn)營事故的處理4、運(yùn)營事故的防范事故的產(chǎn)生—達(dá)摩克利斯之劍活動(dòng)開服合服版本升級(jí)天災(zāi)人禍

只要游戲運(yùn)營一天，事故風(fēng)險(xiǎn)就會(huì)一直存在，如同一只懸在我們頭上的達(dá)摩克利斯之劍。隨時(shí)保持危機(jī)意識(shí)，謹(jǐn)慎對(duì)待運(yùn)營中每個(gè)環(huán)節(jié)的工作，是安全運(yùn)營的前提。運(yùn)營運(yùn)營公告活動(dòng)執(zhí)行獎(jiǎng)勵(lì)發(fā)放開服配置……研發(fā)版本升級(jí)開服關(guān)服功能開發(fā)道具制作……運(yùn)維網(wǎng)絡(luò)故障機(jī)房故障黑客攻擊……其他還有么？有：用戶導(dǎo)流、媒體激活碼、DB營銷……千頭萬緒、防不勝防，究竟該怎么辦？事故的發(fā)現(xiàn)—數(shù)據(jù)觀察警惕：游戲內(nèi)任何的異?，F(xiàn)象都可能是一次運(yùn)營事故的前兆。數(shù)據(jù)異?；钴S、消耗等基礎(chǔ)數(shù)據(jù)異常玩家/英雄等級(jí)異常高階道具大量產(chǎn)生交易次數(shù)大幅增加事故的發(fā)現(xiàn)—傳播渠道QQ群聊天室論壇事故的發(fā)現(xiàn)—客服反饋CS客服電話運(yùn)維監(jiān)控事故的處理—關(guān)聯(lián)協(xié)作運(yùn)營測試研發(fā)運(yùn)維客服事故分析處理護(hù)維機(jī)停輿論控制信息通報(bào)測試處理方案事故的處理止損事故出現(xiàn)后，每耽誤一分鐘就增加一分鐘的損失，增加事故處理的復(fù)雜度。所以發(fā)生事故時(shí)，首先需要做的就是杜絕問題的繼續(xù)。事故非常嚴(yán)重，且不立即處理會(huì)產(chǎn)生更大的破壞時(shí)，才能停服以避免問題的擴(kuò)大，這需要運(yùn)營有良好的判斷力和決斷力。安撫杜絕問題的同時(shí)，必須立即給玩家一個(gè)說法，千萬不要讓玩家在無休止的猜測中去惡意揣測官方。這時(shí)可以不用告知處理方案和補(bǔ)償方案等等。事故的處理修正充分收集信息，召集相關(guān)負(fù)責(zé)人根據(jù)事故的表現(xiàn)協(xié)調(diào)各關(guān)聯(lián)部門進(jìn)行問題分析，找出事故原因，完成修正。評(píng)估范圍：影響了多少人？他們是免費(fèi)還是付費(fèi)玩家？內(nèi)容：玩家損失or獲取了什么？危害程度？回檔：是否可回檔至問題出現(xiàn)之前玩家狀態(tài)？能否針對(duì)受影響玩家單獨(dú)處理？事故的處理處理絕不損害玩家正常的既得利益法不責(zé)眾在游戲運(yùn)營中也適用全服回檔永遠(yuǎn)是最后一招補(bǔ)償補(bǔ)償只是馬后炮，不要對(duì)此希望過高不要扣扣索索，給就給的大方，但只給消耗，不給時(shí)長和永久通過多渠道了解玩家對(duì)補(bǔ)償?shù)钠谕担瑢?duì)確定補(bǔ)償方案很有幫助事故的處理輿論控制玩家都是盲從的，所以我們處理的第一目標(biāo)就是那些“刺頭”，單獨(dú)溝通，避免形成群體性事件。論壇及時(shí)跟進(jìn)回復(fù)，對(duì)言辭激烈、煽動(dòng)性強(qiáng)的帖子，警告、鎖貼、沉底一條龍，不要給玩家討論和煽動(dòng)的土壤，控制事故影響的范圍。但注意的是，需要留給玩家一個(gè)發(fā)泄的渠道，防止事故向外擴(kuò)展。通過一些對(duì)官方有好感的玩家站出去幫我們說話，引導(dǎo)言論向有利于官方轉(zhuǎn)移。電話是最有效的溝通方式，尤其是對(duì)大戶的安撫，單對(duì)單的交流更容易形成一種坦誠、輕松的氣氛?？头男值芙忝脗兪翘幚磉@類問題的專家，多溝通。事故的防范—數(shù)據(jù)監(jiān)控完整的日志記錄長期的數(shù)據(jù)跟蹤記錄定期的數(shù)據(jù)對(duì)比數(shù)據(jù)波動(dòng)敏感性事故的防范—活動(dòng)流程規(guī)范嚴(yán)格執(zhí)行活動(dòng)上線Readiness配置自動(dòng)化要比手動(dòng)好，配置表更可靠測試全面的測試用例,內(nèi)外網(wǎng)雙重測試所有測試相關(guān)的結(jié)果必須通過郵件等方式進(jìn)行確認(rèn)，口頭溝通不能作為最終確認(rèn)依據(jù)。公告描述清晰、舉例到位發(fā)布前組內(nèi)要審核事故的防范—開服流程Sn_《服務(wù)器名》開服checklist.xls開服各流程相關(guān)負(fù)責(zé)人和審核人簽字Sn_《服務(wù)器名》相關(guān)公告專題地址.xls開服公告、新服活動(dòng)專題、版本說明、平臺(tái)廣告位地址、新手指導(dǎo)員招募、公會(huì)入駐等鏈接地址Sn_《服務(wù)器名》付費(fèi)項(xiàng)目測試.xls所有付費(fèi)功能、付費(fèi)道具的購買、調(diào)整內(nèi)容的使用測試Sn_《服務(wù)器名》開服活動(dòng)readiness.doc新服活動(dòng)備案Sn_《服務(wù)器名》服務(wù)器配置審核.xlsGDSS配置、GMT和CS、導(dǎo)流后臺(tái)相關(guān)確認(rèn)（截圖）Sn_《服務(wù)器名》開服活動(dòng)測試備案文檔.xls

開服活動(dòng)內(nèi)容測試事故的防范—緊急發(fā)布流程制作確定開發(fā)內(nèi)容，提交程序制作測試提供開發(fā)文檔，編寫測試用例，內(nèi)網(wǎng)完成測試上傳至外網(wǎng)測試服務(wù)器，進(jìn)行復(fù)測上線外網(wǎng)功能發(fā)布，跟進(jìn)后繼反饋事故的防范—流程事故的防范—改進(jìn)數(shù)據(jù)報(bào)警對(duì)當(dāng)前游戲內(nèi)玩家發(fā)展水平進(jìn)行監(jiān)控，對(duì)超出設(shè)定之外的數(shù)據(jù)進(jìn)行報(bào)警。事故召集建立各級(jí)事故處理預(yù)案和事故召集協(xié)調(diào)制度后臺(tái)開關(guān)單系統(tǒng)后臺(tái)控制功能，自由開關(guān)游戲內(nèi)某個(gè)單項(xiàng)系統(tǒng)。備份回檔靈活的備份機(jī)制交易、摧毀等還原機(jī)制運(yùn)營事故案例DNB合服事故—事故記錄事故時(shí)間：2009年8月28日首次事故：裝備屬性丟失：

10點(diǎn)開服后，開發(fā)的合服相關(guān)代碼，在附魔裝備的處理上有問題，導(dǎo)致合服后用戶裝備的附魔屬性丟失。在11點(diǎn)的時(shí)候，經(jīng)過一定時(shí)間的搜集數(shù)據(jù)和嘗試處理，最終發(fā)現(xiàn)無法修正這個(gè)錯(cuò)誤，所以對(duì)服務(wù)器進(jìn)行了回檔操作，并于11點(diǎn)半重新開啟服務(wù)器。

再次事故：裝備數(shù)據(jù)錯(cuò)誤導(dǎo)致的角色復(fù)制：

由于運(yùn)營活動(dòng)添加的新裝備類型未更新到合服服務(wù)器上，導(dǎo)致玩家角色無法正確讀取出裝備信息。當(dāng)用戶擁有活動(dòng)發(fā)放的那幾個(gè)裝備時(shí)，導(dǎo)入角色操作在導(dǎo)入道具數(shù)據(jù)時(shí)會(huì)異常退出，而角色表中的角色數(shù)據(jù)沒有被刪除，從而出現(xiàn)了玩家角色復(fù)制的情況，只能再次回檔，于18點(diǎn)再次開啟服務(wù)器。事故影響：

合服服務(wù)器H6和H7延后6小時(shí)才正式開放，對(duì)玩家的耐心和信心都有很大打擊。

涉及數(shù)據(jù)錯(cuò)誤的玩家角色合計(jì)100多個(gè)，且全部為付費(fèi)玩家，這些玩家在之后的一周內(nèi)流失了30%。合服后的收入比合服前收入還要低，完全失去了合服的效果。DNB合服事故—事故總結(jié)避免慣性思維

由于之前合服一直非常順利，沒有出現(xiàn)過任何數(shù)據(jù)方面的問題，因此本次合服的驗(yàn)收工作做的也不到位，只進(jìn)行了很常規(guī)的驗(yàn)收工作，對(duì)近期更新的內(nèi)容并沒有很好的警惕性。

“猶太人的生意經(jīng)上，明確地寫著一條：永遠(yuǎn)都是第一次交易”關(guān)聯(lián)問題的排查

在第一次因?yàn)檠b備出問題后，并沒有對(duì)裝備相關(guān)的所有程序進(jìn)行排查，最終裝備上還是出現(xiàn)了第二次問題。

寒酸的補(bǔ)償

一錯(cuò)再錯(cuò)已經(jīng)讓玩家非常不滿，而之后我們公布的補(bǔ)償方案過于寒酸，更是招致玩家強(qiáng)烈反彈。DNB重陽節(jié)活動(dòng)—事故記錄事故時(shí)間—2009年10月28日DNB處于不斷的衰退期，收入銳減，面臨KPI的壓力，運(yùn)營向研發(fā)申請制作了英雄轉(zhuǎn)生卡和屬性重置卡，形成新的付費(fèi)點(diǎn)，來拉升游戲后期的收益。

英雄轉(zhuǎn)生卡設(shè)計(jì)過程中忽視了轉(zhuǎn)生后英雄屬性會(huì)變垃圾的問題，且英雄轉(zhuǎn)生前后沒有日志記錄，這成為后繼事故另一個(gè)爆發(fā)點(diǎn)。出于盈利最大化的考慮，運(yùn)營決定在重陽節(jié)通過寶箱進(jìn)行新付費(fèi)點(diǎn)的首次投放（而此時(shí)上一個(gè)寶箱活動(dòng)才剛剛結(jié)束1天），并在最后臨上線前拍腦袋決定通過登陸送給免費(fèi)玩家也送幾個(gè)寶箱，很顯然，這個(gè)測試并不充分，只關(guān)注了活動(dòng)獎(jiǎng)勵(lì)發(fā)放是否正確，卻沒有看到登陸送之間的銜接問題。運(yùn)營活動(dòng)開始后，在新付費(fèi)點(diǎn)的強(qiáng)烈刺激下，收益呈現(xiàn)爆發(fā)式增長，沉浸在喜悅中的運(yùn)營組萬萬沒有想到，問題即將出現(xiàn)。10月29日凌晨1點(diǎn)，杯具發(fā)生了。登陸送任務(wù)出現(xiàn)嚴(yán)重漏洞，玩家可以無限領(lǐng)取任務(wù)獎(jiǎng)勵(lì)，原因正是臨時(shí)新增的綁定寶箱導(dǎo)致，于是贈(zèng)送的寶箱泛濫成災(zāi)。

凌晨3點(diǎn)多，運(yùn)營得到玩家反饋，立即通知技術(shù)，但很遺憾，手機(jī)關(guān)機(jī)了。

于是，事故處理的最佳時(shí)間段就這么過去了，隨著時(shí)間的流逝，事故升級(jí)了。DNB重陽節(jié)活動(dòng)—事故記錄10月29日9點(diǎn)

運(yùn)營開始協(xié)調(diào)各關(guān)聯(lián)部門進(jìn)行緊急應(yīng)對(duì)。因?yàn)槭鹿室呀?jīng)發(fā)生近10個(gè)小時(shí)，玩家獲益已經(jīng)被大量消耗和轉(zhuǎn)移，根本無法進(jìn)行跟蹤，而事故之前的最后一次備份則是在28日凌晨4點(diǎn)，距離現(xiàn)在已經(jīng)有30個(gè)小時(shí)。

此時(shí)無論回不回檔，都很難處理，對(duì)此非常糾結(jié)。10月29日9點(diǎn)30分

經(jīng)過和項(xiàng)目組和關(guān)聯(lián)部門的討論，考慮到轉(zhuǎn)生卡等高端道具的大量產(chǎn)生對(duì)整個(gè)游戲破壞性的影響，游戲體驗(yàn)會(huì)被迅速透支，付費(fèi)用戶的消費(fèi)會(huì)極大的貶值，最終決定進(jìn)行回檔處理，并立即進(jìn)行停服。10月29日16點(diǎn)回檔工作處理完畢，數(shù)據(jù)一切正常，服務(wù)器再次對(duì)外開啟。

然而，這僅僅是事故處理的第一步，更棘手的問題隨后出現(xiàn)：回檔期間，用戶的概率獲益如何處理？活動(dòng)購買寶箱后開到極品道具、使用轉(zhuǎn)生卡后獲取極品英雄屬性、副本掉落極品裝備等等。

由于受影響的均為游戲內(nèi)的大戶，運(yùn)營無法承擔(dān)這些用戶流失的風(fēng)險(xiǎn)，于是只能吃下這枚苦果——對(duì)回檔期間寶箱開啟的極品道具給予補(bǔ)償DNB重陽節(jié)活動(dòng)—事故影響高負(fù)荷的工作量

項(xiàng)目組成員承受了巨大的壓力，超負(fù)荷的處理了一周才基本完成玩家補(bǔ)償審核、發(fā)放工作。付費(fèi)需求被嚴(yán)重削弱

付費(fèi)玩家通過補(bǔ)償獲取了大量的極品道具，付費(fèi)需求大幅削弱。

而轉(zhuǎn)生卡的導(dǎo)致的英雄屬性變垃圾更是讓事情火上澆油，由于沒有轉(zhuǎn)生前后的日志記錄，根本無法對(duì)轉(zhuǎn)生英雄進(jìn)行重置，運(yùn)營不得不再次做出讓步——贈(zèng)送屬性重置卡。經(jīng)過這一系列的折騰，新增的2個(gè)付費(fèi)點(diǎn)名存實(shí)亡，還沒來得及盈利就已經(jīng)被廢掉了。游戲口碑蕩然無存盡管運(yùn)營對(duì)玩家做出了重大的讓步，給予了足夠多的補(bǔ)償，并對(duì)所有的付費(fèi)用戶進(jìn)行單獨(dú)電話回訪，但玩家還是不買賬，不滿情緒、不信任感導(dǎo)致了玩家在游戲內(nèi)的停止消費(fèi)，再加上付費(fèi)需求的不足，11月DNB的收入相比10月下降了64.19%。DNB重陽節(jié)活動(dòng)—事故影響再多的補(bǔ)償也安慰不了玩家那顆受傷的心。DNB重陽節(jié)活動(dòng)—事故影響11月DNB的收入高臺(tái)跳水，之后再也沒有恢復(fù)。DNB重陽節(jié)活動(dòng)—事故總結(jié)處理不及時(shí)

事故處理最有價(jià)值的黃金時(shí)段往往就在問題出現(xiàn)后的3小時(shí)以內(nèi)。

這次事故雖然發(fā)現(xiàn)及時(shí)，但因?yàn)槿狈κ鹿侍幚眍A(yù)案，最后只能手足無措的看著事故擴(kuò)散，寶貴的時(shí)間被白白的浪費(fèi)了。

說一千道一萬，流程最重要

沒有按流程嚴(yán)格執(zhí)行活動(dòng)上線流程，是出現(xiàn)問題最主要的原因，運(yùn)營對(duì)此責(zé)無旁貸。急功近利的運(yùn)營思路，讓活動(dòng)的制作和測試都無法得到保證那時(shí)所有的活動(dòng)都是技術(shù)手動(dòng)去配置，本身就存在很大的事故隱患，再