騰訊游戲產(chǎn)品運營事故課件

騰訊大講堂第五十一期研發(fā)管理部大講堂主頁：Walker游戲產(chǎn)品運營事故案例介紹講述事故背后的故事，從案例了解網(wǎng)游運營騰訊游戲發(fā)布軌跡2004年2005年2006年2003年2007年2008年2009年從2003年到2008年，騰訊游戲的發(fā)展已經(jīng)走過了5年多的歷程。2003-08QQ游戲大廳發(fā)布凱旋公測《凱旋》產(chǎn)品

《凱旋》是騰訊代理IMAZIC的一款3D大型網(wǎng)游，也是我們試水網(wǎng)絡游戲市場的第一款產(chǎn)品。為此騰訊在上海專門組建了網(wǎng)絡游戲事業(yè)部來負責該產(chǎn)品的運營工作，該游戲從2003年8月1日正式公測上市?！秳P旋》產(chǎn)品《凱旋》在當時是一款非常高端的產(chǎn)品，3D畫面效果優(yōu)秀出色，采用了無縫地圖技術(shù)，真實裝備Avatar，任務鏈設計，寵物系統(tǒng)等等，設計理念新穎，市場影響力大。

《凱旋》公測之后，為了迎接十一長假，策劃希望策劃一些線上活動，繼續(xù)沖高在線，MiniBoss活動就此出爐?！秳P旋》產(chǎn)品MiniBoss事故記錄由策劃部提出希望在國慶節(jié)期間開展一個在線活動，營造游戲中的節(jié)日氣氛，并提高節(jié)日期間在線；活動策劃案需求轉(zhuǎn)交韓方后，韓方回復他們正好新開發(fā)了一個類似的活動包，可供我們使用；這個活動包的內(nèi)容主要是將游戲內(nèi)地底深處的超級BOSS縮小后隨機放到地面刷出，供普通玩家挑戰(zhàn)，并且還有機會獲得珍貴寶石；策劃部門同意采用該活動包，作為國慶期間節(jié)日活動的一部份，并相應準備了相關(guān)的網(wǎng)站宣傳內(nèi)容；活動包由韓方提供給海外部，同時策劃部之前提供了測試需求給海外部，海外部測試后認為符合需求，因此交給了技術(shù)部，然后技術(shù)部安排了自動更新的腳本，在10月1日凌晨自動啟動。MiniBoss事故記錄10.1期間，部門放假，活動自動執(zhí)行，結(jié)果因為一些細節(jié)設計問題和寶石產(chǎn)出幾率過高，導致活動期間珍貴寶石大量產(chǎn)出，玩家采用自動化方法大量獲取珍貴寶石后對整個經(jīng)濟系統(tǒng)產(chǎn)生巨大影響；流通道具的大量產(chǎn)生導致了一系列問題，游戲體驗被迅速透支，流失玩家數(shù)量驚人；假期結(jié)束后，整個游戲在線由4W多下跌到不足2W，游戲內(nèi)經(jīng)濟崩潰，物價異常變動，大量忠實玩家離開，流失玩家數(shù)量巨大。因此事故時間太久，無法回檔，官方已經(jīng)沒有任何辦法消除事故影響；經(jīng)此打擊之后，凱旋的游戲在線一直未能得到恢復，之后再未突破過4W水平，在線持續(xù)下跌至目前水平?！秳P旋》產(chǎn)品在MiniBoss事件中，錯誤究竟發(fā)生在哪里呢？似乎每個部門都有錯，但是每個部門卻又沒有能力去發(fā)現(xiàn)和制止錯誤，似乎大家一起努力的結(jié)果就是朝錯誤的方向越跑越遠；在錯誤產(chǎn)生之后，卻很難找到責任人，甚至沒有一個直接責任人出現(xiàn)。事故之后，團隊沒有收獲任何經(jīng)驗教訓，只能繼續(xù)這樣運轉(zhuǎn)?！秳P旋》產(chǎn)品白裝備事件記錄2004年1月15日凱旋發(fā)布一個新的版本的時候出現(xiàn)的一個BUG，導致部分玩家背包中的帶屬性的綠色藍色等高級裝備變成沒有屬性的白色裝備，同時還出現(xiàn)部分玩家角色消失問題；在我方測試時，未及時發(fā)現(xiàn)此問題。更新后，開始陸續(xù)接到玩家投訴，技術(shù)部檢查后確認是游戲BUG造成，于是通過商務部向韓方提出緊急修復的需求，同時開始逐個手工處理玩家投訴；當天下午的時候，玩家投訴量達到400單，技術(shù)部門開始通宵處理，到次日凌晨投訴量已經(jīng)上升到1500單，手工處理已經(jīng)無法承擔。這時候因為北京的展會緣故，相關(guān)領(lǐng)導均不在公司，一直無人拍板最終處理方案，只能繼續(xù)手工處理。白裝備事件記錄等到下午，韓方發(fā)來一個統(tǒng)計工具，用于統(tǒng)計受損的賬戶數(shù)量；經(jīng)過統(tǒng)計后發(fā)現(xiàn)受影響賬號竟然在10萬以上，于是又經(jīng)過漫長討論，最終決定回檔。此時距離發(fā)現(xiàn)問題已經(jīng)過了30多個小時，需回檔時間近2天，受影響活躍玩家?guī)资f人；回檔過程中，再次發(fā)現(xiàn)數(shù)據(jù)異常，無法啟動服務器，游戲停機時間一再延長，在18個多小時后才恢復了服務；經(jīng)此打擊，更多的活躍玩家離開了凱旋，游戲在線下跌到1萬余?！秳P旋》產(chǎn)品在白裝備事件中，我們得到了哪些教訓呢？對于網(wǎng)游產(chǎn)品，測試部門是一定需要專業(yè)重點建設的；對于緊急事故必須有完備的處理預案和責任人制度；對于重大的備份恢復操作，平時要經(jīng)常演習熟悉；對于風險評估和具體應對，我們還需要更多的經(jīng)驗；對于用戶管理和運營維護方面的經(jīng)驗缺乏，輿論導向控制不力，用戶反饋收集緩慢，信息不全，用戶體驗很差；最重要的是，我們需要一個符合網(wǎng)游產(chǎn)品運營特點的團隊管理結(jié)構(gòu)。只有合理的將一個整體任務的結(jié)果責任賦予某人，才能讓其擁有與這個責任對等的權(quán)力來制約和控制整個事情。經(jīng)驗必須是沉積在每個人身上，而不是整個團隊，富有經(jīng)驗的的產(chǎn)品經(jīng)理是一個團隊的重要財富?，F(xiàn)在的運營團隊工作模型一個運營團隊的三層工作模型客服市場運維渠道網(wǎng)站研發(fā)用戶……現(xiàn)在的運營團隊內(nèi)部工作模型運營項目A運營項目B運營項目C《凱旋》產(chǎn)品后續(xù)《凱旋》之后，公司在很長時間一直沒有再代理海外的游戲產(chǎn)品；QQGame的崛起讓公司決策方面決定加強自研網(wǎng)游產(chǎn)品的投入，上海團隊主要力量被拆散，大部分骨干人員流失，騰訊在大型網(wǎng)游市場的第一步就摔了一個不小的跟頭；自研QQGame產(chǎn)品獲得成功后，公司決定繼續(xù)研發(fā)更加高端的游戲產(chǎn)品，第一款ACG產(chǎn)品《QQ堂》2004年中正式立項了。騰訊游戲發(fā)布軌跡2004年2005年2006年2003年2007年2008年2003-08QQ游戲大廳發(fā)布凱旋公測2009年2004-12QQ堂公測《QQ堂》產(chǎn)品QQ堂產(chǎn)品第一次建立了產(chǎn)品運營團隊，雖然才3個產(chǎn)品人員，但是已經(jīng)開始建立項目和產(chǎn)品的負責制。同時，部門也逐漸開始嘗試將技術(shù)主導型的工作模式轉(zhuǎn)變產(chǎn)品運營主導型的工作模式；QQ堂如果誕生在別的公司，注定將成為一個沒有任何市場反應就會迅速失敗的產(chǎn)品，但是我們的平臺給這個產(chǎn)品源源不斷的送去了用戶，讓產(chǎn)品研發(fā)運營團隊得以生存，得以學習和提高。在運營了7個月后，產(chǎn)品運營團隊開始逐漸找到了感覺，終于開始學會如何掌控這個產(chǎn)品，7月的正式版本之后，QQ堂慢慢發(fā)力，在線開始節(jié)節(jié)上升；產(chǎn)品團隊信心十足，甚至開始變得有點急功近利了《QQ堂》產(chǎn)品QQ堂“歡樂幸運星”抽獎2005年8~9月間，因為互娛BU另外一款重量級產(chǎn)品《QQ幻想》的跳票，互娛系統(tǒng)的月度考核指標遇到了極大的挑戰(zhàn)，領(lǐng)導層號召各個產(chǎn)品設法拉高收入，嚴守KPI底線；QQ堂產(chǎn)品當時在線狀況發(fā)展良好，如何轉(zhuǎn)換成為收入的問題于是變得更加重要，大家開始群策群力的貢獻點子，力求幫系統(tǒng)更多承擔一些收入；在幾次風暴會議后，多個營銷性質(zhì)項目開始啟動。其中，有一個博彩類的項目非常被大家看好，這個項目叫做QQ堂“歡樂幸運星”抽獎活動?！禥Q堂》產(chǎn)品2005年9月29日晚8點，在經(jīng)過研發(fā)測試等同事加班加點的緊張開發(fā)之后，“歡樂幸運星”活動如期開發(fā)完畢，并按照版本計劃，更新到了外網(wǎng)環(huán)境；8點半鐘，運營團隊接客服報告，聲稱有兩名玩家已經(jīng)中到一千萬游戲幣的大獎。運營團隊按照緊急預案召集所有相關(guān)人員趕回公司處理；9點多，客服方面再次匯報，已經(jīng)確認BUG存在，有大量玩家重復中獎。運營負責人要求立即關(guān)閉道具售賣系統(tǒng)；10點前，運維同事關(guān)閉了道具售賣服務器，產(chǎn)品，研發(fā)，運維，測試等各線人員趕到，馬上召開了事故分析處理會議，并通知平臺線方面同事協(xié)助；11點，事故原因查明，得到事故初步損失統(tǒng)計，參與得利玩家第一批名單也已經(jīng)獲得，運營團隊開始要求各方面協(xié)助攔截非法游戲幣。事故過程原因在抽獎活動的設置中，集齊一套道具(7塊多Q幣)，可能中獎1000萬游戲幣(相當于1000Q幣)，一般情況概率應該是萬分之零點六，但是策劃文檔幾經(jīng)修改后中獎表格已經(jīng)出現(xiàn)了很多錯誤。而策劃評審，運營評審，程序?qū)崿F(xiàn)各個環(huán)節(jié)中居然都沒有發(fā)現(xiàn)中獎列表的機率加起來已經(jīng)不是100%了；程序?qū)崿F(xiàn)后提交測試組測試兩輪，在測試中因為沒有使用大量QB來進行真實的模擬測試，所以居然沒有發(fā)現(xiàn)概率方面存在異常；種種錯誤累加起來使26%概率的特等獎終于出現(xiàn)在了外網(wǎng)環(huán)境中；從當晚8點多發(fā)布活動到10點之前關(guān)閉這個活動,僅一個多小時共產(chǎn)生游戲幣21個億，有700多名用戶參與了刷取游戲幣；由于錢的數(shù)量巨大，玩家四處轉(zhuǎn)移游戲幣。而凍結(jié)賬戶方面沒有預案，雖然緊急處理及時，但凍結(jié)不徹底，扣款程序又出問題等,最終損失還是構(gòu)成了一級事故；事故發(fā)生后對員工和相關(guān)領(lǐng)導都受到了處罰。事后總結(jié)需求文檔需要更仔細check，評審環(huán)節(jié)的疏漏非常嚴重；任何概率類設計都需要設置總量控制，設置多級閥門控制，不要把能廣泛流通的貨幣或者道具直接及時的交到玩家手上，不要獎勵；緊急預案不夠完善，只考慮到產(chǎn)品范圍內(nèi)的各種處理方案，沒有考慮如果在部門或者公司級平臺上出現(xiàn)問題后的處理措施。在處理過程中，產(chǎn)品人員才驚奇的發(fā)現(xiàn)我們原來還有游戲幣銀行這樣的東西。在要求各個方面協(xié)助凍結(jié)相關(guān)賬戶的時候，各系統(tǒng)才開始編寫相關(guān)的程序進行掃描和回扣，這其中又發(fā)生新的BUG，但是多次扣款失敗，使損失額度沒有能得到很好的控制?！禥Q堂》產(chǎn)品后續(xù)“歡樂幸運星”事件之后，互娛停止了所有涉及抽獎Q幣，游戲幣的活動，再不涉及任何通過平臺渠道發(fā)放Q幣的活動，以避免風險；QQ堂團隊也停止了這種直接通過抽獎獲利的營銷活動，開始繼續(xù)專注于游戲內(nèi)容的設計和付費挖掘；2006年2月份，QQ堂一系列游戲活動獲得成功，同時在線達到22萬高點，收入也實現(xiàn)了連續(xù)翻番，QQ堂道具營銷方面經(jīng)驗讓很多產(chǎn)品學習得益。騰訊游戲發(fā)布軌跡2004年2005年2006年2003年2007年2008年2003-08QQ游戲大廳發(fā)布凱旋公測2009年2005-06QQ寵物發(fā)布2005-10QQ幻想公測2004-12QQ堂公測QQ幻想產(chǎn)品

《QQ幻想》是騰訊的一款戰(zhàn)略級產(chǎn)品，是互娛自主研發(fā)了三年多的首款MMOG產(chǎn)品。這款產(chǎn)品也是互娛在凱旋項目失利之后，再次嘗試運營的MMOG產(chǎn)品。該款產(chǎn)品2005年10月25日公測，最高同時在線用戶數(shù)一度達到66萬，是互娛重要的收入產(chǎn)品。QQ幻想產(chǎn)品《QQ幻想》產(chǎn)品是一款探索獲取經(jīng)驗的產(chǎn)品，雖然我們投入了大量的人力和時間在這款產(chǎn)品上，但是也畢竟暴露出了我們的很多經(jīng)驗不足之處；雖然借助騰訊平臺的強大力量，《QQ幻想》獲得了公測的良好效果，但是游戲設計，運營理念方面的一些不足還是讓產(chǎn)品在線不斷下挫。在收費后，產(chǎn)品在線已經(jīng)不足公測時的一半；在一年多運營過程中，這個項目也不斷出現(xiàn)過一些不同程度的事故，在線活動的投訴率一直居高不下。QQ幻想道具復制漏洞事故記錄2006年11月12日下午3點，客服方面報告，在游戲中出現(xiàn)一個開店售賣的BUG，會導致開店商人顯示的物品列表和實際不符。有玩家利用此漏洞進行欺詐，導致大量用戶投訴，已經(jīng)構(gòu)成一級突發(fā)事故，事故已經(jīng)分派到三線；接報后，產(chǎn)品經(jīng)理和PM（兼服務端主程）趕到公司處理。經(jīng)過分析，發(fā)現(xiàn)是因為客戶端BUG導致看到的要買的寵物和實際要買的寵物不一致，從而被玩家利用進行欺詐。產(chǎn)品方面分析了具體過程和投訴單據(jù)后認為該問題比較嚴重必須盡快解決，因此打電話通知測試組運維組，準備進行緊急更新；因為客戶端方面人員一時聯(lián)系不到，因此PM決定從服務端解決該問題。PM提出兩個臨時解決方案，一個是帶寵物商品交易會直接失敗，一個是帶寵物商品交易，寵物商品會自動回到玩家背包。產(chǎn)品方面建議采用后者方案，比如不容易引起玩家困惑。QQ幻想產(chǎn)品下午5點，臨時修改完畢，程序在內(nèi)網(wǎng)更新，測試組進行了測試。6點，更新到外網(wǎng)一臺服務器，經(jīng)過一個小時觀察感覺正常，7點半進行了全服更新，產(chǎn)品方面在官網(wǎng)和論壇發(fā)布了暫停交易公告；再繼續(xù)觀察了半小時無異常，產(chǎn)品方面和客服方面溝通之后，大家回家吃晚飯。其實這時一個嚴重的BUG已經(jīng)被引入到整個游戲世界中問題開始蔓延一個游戲道具復制漏洞實際上已經(jīng)被部分玩家發(fā)現(xiàn)，玩家在不斷利用這個BUG復制道具的同時，開始通過各種途徑傳播這個問題：游戲內(nèi)/各種論壇/QQ群越來越多的用戶開始利用這個BUG復制道具，而且用戶開始意識到大量非法道具一定會被官方查處，因此開始設法用各種各樣的方式轉(zhuǎn)移復制出來的非法道具。QQ幻想道具復制漏洞事故記錄晚上8點多，客服報告，開店售賣可能還是存在問題。程序組測試組趕回公司處理，分析后認為下午的修改，有極低概率可能導致道具復制，并且及時修改了這個問題；晚上9點半，程序方面回報問題已經(jīng)解決完畢，按問題出現(xiàn)概率來看，帶來影響應該不大。因此產(chǎn)品方面就沒有將此問題升級到事故處理流程進行分析處理；處理問題最有價值的黃金時段就這樣過去了QQ幻想道具復制漏洞事故記錄次日上午，產(chǎn)品方面發(fā)現(xiàn)用戶反饋意見很多，問題比較嚴重，于是要求程序組重新分析原因，要求運維組統(tǒng)計道具復制問題的程度。測試組重現(xiàn)BUG后發(fā)現(xiàn)還有更簡單的重現(xiàn)辦法，復制門檻很低。運維統(tǒng)計的初步結(jié)果也表現(xiàn)涉及復制玩家多達千名，于是召集事故處理會議進行討論；事故處理會議決定先對嫌疑最大的963個賬號進行查封處理，以防止復制道具進一步流傳，同時開始進行掃描分析；因為事故發(fā)生已經(jīng)過去10多個小時，復制物品游戲內(nèi)流向已經(jīng)非常復雜，但是最近的數(shù)據(jù)備份時間卻是在凌晨四點，在事故發(fā)生之后，再近一次的備份時間是前天的凌晨四點。運營方面陷入兩難境地，無論是否回檔都面臨重大損失。QQ幻想道具復制漏洞事故記錄事故處理小組無法迅速做出回檔決定，于是一方面向BU層面報告，一方面決定采用保守方案，掃描全服務器數(shù)據(jù)，以查找并凍結(jié)復制裝備；到中午時間，數(shù)千個擁有復制裝備的賬號已經(jīng)被凍結(jié)，但是游戲內(nèi)仍然有大量復制道具仍然還在流通，整個游戲的物價受到劇烈影響，經(jīng)濟系統(tǒng)陷入混亂之中；為了穩(wěn)定玩家情緒，運營團隊通過官網(wǎng)發(fā)布公告，道歉并宣稱不會回檔處理，官方有能力收回非法裝備，希望大家給與支持；到下午時間，掃描數(shù)據(jù)的工作已很難取得成效，大量無意購買復制裝備被封號的玩家也開始激烈投訴。各渠道的一線客服壓力劇增，大量人力被調(diào)派來協(xié)助處理，數(shù)以千計的投訴單據(jù)給產(chǎn)品方面增加了巨大壓力；在這樣巨大的壓力下，運營組決定先停止服務器，然后再決定具體處理方案。11月13日幻想玩家在游戲內(nèi)各大城市聚集，示威游行，強烈要求官方回檔。QQ幻想道具復制漏洞事故記錄一邊是運營方已經(jīng)做出的不回檔保證、超越48小時的回檔帶來的損失、回檔全部57組服務大區(qū)數(shù)據(jù)的難度和風險、回檔后會產(chǎn)生的各種用戶的海量投訴；另一邊是玩家越來越激烈的抗議情緒、游戲內(nèi)混亂的經(jīng)濟系統(tǒng)、接近崩潰的物價和無數(shù)根本就無法處理的投訴；系統(tǒng)和部門領(lǐng)導都參加了第二輪的事故處理討論會議，會議到晚上1點鐘做出決定，最終決定不惜一切損失和風險進行回檔；接著運維組開始連夜準備回檔方案，程序組開始制作各種工具，產(chǎn)品組開始準備相關(guān)公告和補償方案；那天深夜，回檔的公告在經(jīng)過了無數(shù)人的反復的，斟字酌句的修改后，最后終于在向玩家承諾公布處理方案時限的最后半小時放到了官方網(wǎng)站上；早晨8點，回檔成功，服務器分批開始重新開放。QQ幻想產(chǎn)品QQ幻想道具復制漏洞事故記錄回檔公告告訴玩家：整個QQ幻想世界全部57組服務器將在此次停機維護結(jié)束之后恢復到11月12日凌晨4：00左右的狀態(tài)，所有玩家的游戲數(shù)據(jù)也將全部回檔到同一時間，所有玩家都需要回檔48小時；我們需要補償玩家大量的經(jīng)驗值，道具，金幣，寵物，游戲點卡，玩家寄售卡等等；我們贈送給玩家兩天免費游戲，兩天雙倍經(jīng)驗雙倍掉率等等；對于用戶的一切概率事件，我們均無法復原。之后數(shù)千單的各種投訴還困擾了項目組將近一個月的時間，此次事故流失的玩家難以估量，直接經(jīng)濟損失數(shù)百萬計。在幻想游戲本來進入衰退期之前，此次事故無疑是起到了加速產(chǎn)品老化的效果。在線損失收入損失南方都市報11月16日刊登題為“騰訊付費游戲停擺玩家討伐如潮”的負面報道，其后被很多媒體競相轉(zhuǎn)載。輿論危機工作影響事故善后歷經(jīng)2周，打亂原定的資料片開發(fā)計劃；程序、策劃、測試、運維、客服，全體團隊成員都超負荷運轉(zhuǎn)；客服一線從其他各個產(chǎn)品抽調(diào)人力組織力量突擊消滅海量的投訴單據(jù)，一個多月后所有積單才基本被清理完畢；事后，此次事故被確定為一級重大運營事故，相關(guān)責任人都受到了處罰。QQ幻想產(chǎn)品事故總結(jié)對于道具復制類型問題不夠敏感，游戲內(nèi)缺乏自動監(jiān)測報警機制，導致事故之初沒有得到足夠重視；事故分析速度較慢，對于道具復制問題需要進行長達數(shù)小時的全庫掃描才能得到結(jié)論，過慢的分析能力影響了對事故的定性和處理決策速度；游戲內(nèi)嚴重缺乏防止物品復制的機制，缺乏各種有效的安全開關(guān)，缺乏各種不同的運行模式，使運營決策上處處為難；游戲數(shù)據(jù)的備份回退機制不夠靈活，無法實現(xiàn)根據(jù)賬單回滾，游戲數(shù)據(jù)備份周期過長，回檔過程缺乏演練，很多必備工具缺乏；游戲測試機制不夠完善，緊急發(fā)布流程存在很多隱患。事故總結(jié)需要在游戲產(chǎn)品設計之初就考慮到未來的可運營性可監(jiān)控性單純通過用戶反饋來發(fā)現(xiàn)問題并不足夠迅速，還是要系統(tǒng)本身對于各種異常現(xiàn)象有自動監(jiān)控和報警的機制，比如關(guān)鍵道具的產(chǎn)生量，異常交易量等等可管理性在產(chǎn)品開發(fā)設計中需要加入設置可由產(chǎn)品運營人員進行配置操作的開關(guān)量，如允許/禁止某類物品買賣的開關(guān)。在游戲中出現(xiàn)某些問題時，可以直接由運營人員通過配置操作來解決，而不需通過修改程序來解決?？苫謴托栽诋a(chǎn)品設計中就需要考慮靈活的備份機制，針對單用戶，用戶群的部分數(shù)據(jù)回退機制，單系統(tǒng)的復原機制等等QQ幻想產(chǎn)品后續(xù)QQ幻想游戲在經(jīng)歷了這次波折之后，游戲衰退速度明顯加快，到次年3月份在線人氣已經(jīng)跌破10萬，游戲產(chǎn)品生命周期臨近。這之后，QQ幻想還經(jīng)歷了一次727寵物捕捉系統(tǒng)事故，幻想產(chǎn)品正式進入快速衰退期；項目組從07年初開始探索免費網(wǎng)游運營模式，制定了幻想“突圍”研發(fā)計劃，利用幻想已有資源在3個月內(nèi)制作出一款采用免費運營模式的《QQ自由幻想》產(chǎn)品迅速推出；《QQ自由幻想》取得了不錯的運營成績，將流失的幻想用戶挽留了回來，到08年，QQ自由幻想重回10萬在線，并創(chuàng)造收入新高。4月3日，QQ自由幻想承載了團隊的希望，將正式上市公測，以期重續(xù)QQ幻想的昔日輝煌。QQ幻想產(chǎn)品MMOG產(chǎn)品有其獨特的復雜性，在各種復雜因素的作用下，有其無法避免的風險，一點點人為因素就有可能立即造成重大損失，所以只能讓每位運營人員都要學會如履薄冰，隨時提高警惕；我們在技術(shù)上也不斷的加強防范，現(xiàn)在的游戲安全機制已經(jīng)比一年前要更加完善，各種安全開關(guān)，自動監(jiān)測機制，防復制設置，更快的客服反饋制度，玩家的預警組織等等能幫助我們更早更快的發(fā)現(xiàn)問題，分析問題，更及時正確的作出處理決定。但是，只要網(wǎng)游運營一天，事故風險就會如影隨行，總會有各種BUG逃過我們的重重攔截，隨時等待爆發(fā)?；仡櫸覀兊慕?jīng)驗在管理層面上合理的運營組織架構(gòu)，確保產(chǎn)品責任/項目責任/設計責任/資源責任/日常工作責任等等都明確到人，工作流程清晰條理，關(guān)鍵環(huán)節(jié)多人審批，多人監(jiān)督；建立完善的事故預警/升級/處理機制，事先準備各級事故處理預案，指定各級事故召集人，建立事故召集處理會議制度；加強用戶管理，增加玩家層面預警能力，建立多種用戶組織，加強輿論控制和引導能力，加強危機公關(guān)應對能力；重視測試環(huán)節(jié)，保證充分的測試時間和規(guī)范的測試過程，測試用例需要各方面共同制定，高風險項目一定經(jīng)過充分的外部測試?；仡櫸覀兊慕?jīng)驗在技術(shù)層面上在產(chǎn)品設計之初就應該考慮產(chǎn)品的“可運營性”，預知未來可能的運營需求和風險，在架構(gòu)設計上留有足夠考慮；完善靈活的備份機制，各種記錄完善細致，各種統(tǒng)計和還原類工具齊備；對于重大風險事故需要定期演練，各種處理手段機制制定詳細的技術(shù)預案，做到有備無患。在策劃層面上在任何產(chǎn)品設計和活動設計的評審環(huán)節(jié)加入運營風險評估部分，重視安全性設計，共同回避可能發(fā)生的問題。自由幻想“絳紫寶箱”事故1月10日早上8點，《QQ自由幻想》停機更新版本；10點多開機后，玩家研究院玩家首先報告，發(fā)現(xiàn)連續(xù)開啟付費道具“絳紫寶箱”會產(chǎn)生復制道具。用戶管理客服初步驗證后迅速通知了產(chǎn)品負責人；產(chǎn)品方面評估后認為應按重大事故處理，通知運維組立即關(guān)閉所有服務器，同時召集研發(fā)，測試，客服等方面參加的事故分析處理會議，組成事故處理小組；10點30分左右，所有自由幻想服務器關(guān)閉，運維組按照預案開始使用工具掃描全區(qū)產(chǎn)生的復制道具，并統(tǒng)計影響用戶總量，產(chǎn)品組發(fā)布緊急停機公告，客服組通知一線相應口徑話術(shù)，同時通知所有玩家組織，準備輿論引導方案；11點，程序方面BUG原因查明，運維第一次掃描結(jié)束，復制道具用戶被定位，根據(jù)實際情況，事故處理會議決定采用不回檔，采用刪除復制道具的方案來進行處理；12點，程序BUG修復完畢，啟動緊急發(fā)布流程，測試組開始進行發(fā)布前測試1點，運維全服掃描完畢，所有復制道具及相關(guān)賬號被定位；2點，事故處理會議確定最終處理方案，開始刪除復制道具，還原對等交易；3點，新的腳本測試完畢并完成更新發(fā)布；4點，所有用戶數(shù)據(jù)處理完畢，產(chǎn)品發(fā)布開服公告；4點半，所有服務器恢復運營，產(chǎn)品組開始協(xié)助處理后續(xù)疑難投訴，外部玩家輿論持續(xù)監(jiān)測。自由幻想“絳紫寶箱”事故充分信息監(jiān)測收集，事故分級，指定召集協(xié)調(diào)人和事故處理會議的機制保證了我們能在最短時間和獲知問題，并有效分析，快速應對各種意外事故，隨著經(jīng)驗累積，事故的處理速度和方法也能得以不斷改善客服用戶運營測試研發(fā)運維運營事故處理會議停機/掃描通報分析/測試分析/解決召集解決方案事故召集人信息源QQMiniGame平臺QQMiniGame平臺（QQ游戲平臺）是互娛最大的休閑游戲平臺，最高在線已經(jīng)接近450萬，注冊用戶3億，日活躍用戶數(shù)近2300萬，包含60多款休閑游戲；QQ游戲平臺是以休閑游戲為主，無用戶交易系統(tǒng)，道具物品不流通，因此運營事故的發(fā)生風險與大型MMOG相比大大降低；QQ游戲平臺的運營事故主要與提供海量用戶服務產(chǎn)生的壓力相關(guān)。Dir雪崩事件記錄：1月14日中午13：40分，接到dircoredump告警。登陸發(fā)現(xiàn)大部分dirserver已經(jīng)coredump。簡單查看了下發(fā)現(xiàn)問題很難定位。同時從運營同事側(cè)了解到中午12點左右增加了目錄樹的節(jié)點，于是讓運營同事回退配置文件，然后拉起所有core掉的dir服務器。

大約在2：30左右所有服務器被拉起，由于大量用戶不斷登陸，使得網(wǎng)卡流量到達極限。查看dir日志發(fā)現(xiàn)工作是正常的。但是用戶就是無法登陸。

3：00查看dir的負載正常，每分鐘處理7萬個以上登陸請求。再查看前端tcpsvrd接入進程的日志，發(fā)現(xiàn)下行數(shù)據(jù)使用的共享內(nèi)存隊列已滿，而下行數(shù)據(jù)在最高的時候單臺機器每分鐘有2G左右。同時也