企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道

企業(yè)創(chuàng)新管理--騰訊海量服務(wù)之道2024/3/12企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道1.4億在線背后的故事

騰訊科技（深圳）有限公司即通平臺(tái)部高級(jí)技術(shù)總監(jiān)icezhuang——QQIM后臺(tái)架構(gòu)的演化與啟示企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道7億活躍賬戶1.4億同時(shí)在線過萬臺(tái)IM服務(wù)器百億級(jí)的關(guān)系鏈對(duì)數(shù)每天千億級(jí)的服務(wù)請(qǐng)求99.99%的可用性團(tuán)隊(duì)經(jīng)歷了QQ在線從10萬到1.4億的整個(gè)過程，吸取了很多教訓(xùn)對(duì)海量服務(wù)的理解是長(zhǎng)期積累的結(jié)果企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道目錄從十萬級(jí)到百萬級(jí)在線千萬級(jí)在線億級(jí)在線總結(jié)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)1.0適用情況同時(shí)在線數(shù)較低（十萬級(jí)）業(yè)務(wù)功能非常簡(jiǎn)單接入服務(wù)器存儲(chǔ)服務(wù)器企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道UIN10003,[FriendUin,Flag]升序FList,L1FList,L2FList,L31.0接入服務(wù)器的核心數(shù)據(jù)結(jié)構(gòu)0110001100021000310004POS0POS1POS2POS3UIN10001LEVEL1,POS1UIN10004LEVEL1,POS3UIN10002LEVEL2,POS2UIN10003LEVEL3,POS1UIN，標(biāo)志位，資料在線狀態(tài)，IP/Port好友表位置OnlineIndexOnlineRecord企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)1.0的典型業(yè)務(wù)流程登錄實(shí)時(shí)通知定期拉取在線狀態(tài)的獲取接入服務(wù)器存儲(chǔ)服務(wù)器企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)1.5需要更好地支持業(yè)務(wù)支持視頻、語音、傳文件等實(shí)時(shí)寬帶業(yè)務(wù)支持更多類型的用戶資料增加長(zhǎng)連接服務(wù)器為無法直連的客戶端進(jìn)行實(shí)時(shí)寬帶數(shù)據(jù)中轉(zhuǎn)對(duì)存儲(chǔ)服務(wù)器進(jìn)行輕重分離核心服務(wù)器保證穩(wěn)定擴(kuò)展服務(wù)器快速支持業(yè)務(wù)長(zhǎng)連接服務(wù)器擴(kuò)展存儲(chǔ)服務(wù)器接入服務(wù)器核心存儲(chǔ)服務(wù)器企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道第一代架構(gòu)難以支持百萬級(jí)在線達(dá)到一百萬在線時(shí)，老架構(gòu)會(huì)有各方面的瓶頸出現(xiàn)以接入服務(wù)器的內(nèi)存為例，單個(gè)在線用戶的存儲(chǔ)量約為2KB索引和在線狀態(tài)50字節(jié)好友表400個(gè)好友*5字節(jié)/好友=2000字節(jié)大致來說，2G內(nèi)存只能支持一百萬在線用戶進(jìn)一步地，還有CPU/網(wǎng)卡包量和流量/交換機(jī)流量等瓶頸其他服務(wù)器也有類似情況單臺(tái)服務(wù)器支撐不下所有在線用戶/注冊(cè)用戶第一代架構(gòu)無以為繼，必須升級(jí)！企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)2.0單臺(tái)服務(wù)器擴(kuò)展成集群增加狀態(tài)同步服務(wù)器在接入服務(wù)器之間同步在線狀態(tài)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道UIN10001LEVEL1,POS1UIN10004LEVEL1,POS32.0接入服務(wù)器的核心數(shù)據(jù)結(jié)構(gòu)0110001100021000310004LocalPOS0LocalPOS1RemotePOS2RemotePOS3OnlineIndexLocalOnlineRecordUIN10002@ServerID3UIN10003@ServerID5RemoteOnlineRecordUIN在線狀態(tài)，IP/Port接入服務(wù)器ID企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)2.0的典型業(yè)務(wù)流程2001年，QQ同時(shí)在線突破一百萬登錄定期拉取實(shí)時(shí)通知在線狀態(tài)的獲?。ㄈN方式）企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)2.5支持QQ群等新業(yè)務(wù)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道啟示：十萬級(jí)到百萬級(jí)在線的關(guān)鍵技術(shù)高性能；7乘24小時(shí)連續(xù)服務(wù)Kenny“違抗”PonyMa的故事ARPU對(duì)比：中國移動(dòng)73，騰訊2.5PCU/Box：某著名IM數(shù)萬；QQ數(shù)十萬CTO：IT成本的高低決定互聯(lián)網(wǎng)企業(yè)的存亡只用傳統(tǒng)IT行業(yè)1/10到1/100的IT成本

高性能OICQ的故事用戶忍耐度對(duì)比：信用卡系統(tǒng)維護(hù)VS用腳投票

7乘24小時(shí)連續(xù)服務(wù)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道QQ后臺(tái)如何實(shí)現(xiàn)高性能絕不使用企業(yè)級(jí)解決方案邏輯層多進(jìn)程萬有一失的無鎖設(shè)計(jì)用戶態(tài)IPCMySQL分庫分表好友表自寫文件存儲(chǔ)……接入服務(wù)器接入進(jìn)程登錄進(jìn)程好友進(jìn)程狀態(tài)進(jìn)程用戶10003，好友表：10001,0x0；10020,0x0用戶10003，好友表：10001,0x0；10020,0x1用戶10003，好友表：10001,0x0；10005,0x1；10020,0x0企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道QQ后臺(tái)如何實(shí)現(xiàn)高性能絕不使用企業(yè)級(jí)解決方案邏輯層多進(jìn)程萬有一失的無鎖設(shè)計(jì)用戶態(tài)IPCMySQL分庫分表好友表自寫文件存儲(chǔ)……UIN10001UIN10001FList,L2FList,L3UIN10001LEVEL1,POS1UIN10004LEVEL1,POS3OnlineRecordUIN10004UIN1000？企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道QQ后臺(tái)如何實(shí)現(xiàn)7乘24小時(shí)連續(xù)服務(wù)大系統(tǒng)小做平滑重構(gòu)在高速行駛的列車上更換發(fā)動(dòng)機(jī)核心數(shù)據(jù)放入共享內(nèi)存接入層與邏輯層分離命令分發(fā)動(dòng)態(tài)配置化企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道目錄從十萬級(jí)到百萬級(jí)在線千萬級(jí)在線億級(jí)在線總結(jié)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道第二代架構(gòu)難以支持千萬級(jí)在線同步流量太大，狀態(tài)同步服務(wù)器遇到單機(jī)瓶頸所有在線用戶的在線狀態(tài)信息量太大，單臺(tái)接入服務(wù)器存不下如果在線數(shù)進(jìn)一步增加，則甚至單臺(tái)狀態(tài)同步服務(wù)器也存不下單臺(tái)狀態(tài)同步服務(wù)器支撐不下所有在線用戶單臺(tái)接入服務(wù)器支撐不下所有在線用戶的在線狀態(tài)信息第二代架構(gòu)無以為繼，必須再次升級(jí)！企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)3.0狀態(tài)同步服務(wù)器改造成同步集群其他集群也做相應(yīng)的改造2005年，QQ同時(shí)在線突破一千萬企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道根本來不及高興：我們?cè)僖彩懿涣肆?！手機(jī)從不敢離身發(fā)布新代碼提心吊膽時(shí)不時(shí)要擴(kuò)容，又煩又怕時(shí)不時(shí)要緊急恢復(fù)服務(wù)時(shí)不時(shí)被用戶罵、被老板K到底怎么了？企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道深入分析，我們發(fā)現(xiàn)了什么后臺(tái)機(jī)器越來越多，單機(jī)死機(jī)/故障經(jīng)常出現(xiàn)，IDC故障也不少，影響服務(wù)，也影響人員生活每周有新代碼發(fā)布，BUG不斷出現(xiàn)，嚴(yán)重影響服務(wù)監(jiān)控機(jī)制原始、報(bào)警設(shè)置不全，出事了都不知道運(yùn)維操作通過vim或者mysql進(jìn)行，非常容易失誤企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道問題分析和解決（1）后臺(tái)機(jī)器越來越多，單機(jī)死機(jī)/故障經(jīng)常出現(xiàn)，IDC故障也不少，影響服務(wù)，也影響人員生活傳統(tǒng)行業(yè)設(shè)備少單價(jià)高，故障很少出現(xiàn)互聯(lián)網(wǎng)行業(yè)設(shè)備多單價(jià)低，故障是常態(tài)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)3.0的容錯(cuò)/容災(zāi)分析每個(gè)集群只有一份機(jī)器選擇全人工配置集中在一個(gè)IDC企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IDC的實(shí)際可用性只有2個(gè)9老架構(gòu)沒前途，必須進(jìn)行容災(zāi)改造！租來的IDC的級(jí)別：B或C企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道容災(zāi)改造的思路存儲(chǔ)集群：半自動(dòng)切換模式主/從服務(wù)器從服務(wù)器死機(jī)，業(yè)務(wù)不受影響主服務(wù)器死機(jī)，多數(shù)命令不受影響，修改資料命令受影響業(yè)務(wù)集群、接入集群、同步集群：自動(dòng)切換模式迅速應(yīng)對(duì)死機(jī)等情況，基本不影響業(yè)務(wù)分布在兩套IDC可以應(yīng)對(duì)IDC整體故障企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道業(yè)務(wù)集群的容災(zāi)改造業(yè)務(wù)命令流設(shè)備狀態(tài)流接入集群業(yè)務(wù)集群@IDC1業(yè)務(wù)集群@IDC2指揮中心@IDC1指揮中心@IDC2企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道問題分析和解決（2）每周有新代碼發(fā)布，BUG不斷出現(xiàn)，嚴(yán)重影響服務(wù)大部分子系統(tǒng)每周發(fā)布一個(gè)版本的新代碼解決方法代碼review灰度發(fā)布企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道第一周周末灰度發(fā)布演示號(hào)段7-8號(hào)段7-8號(hào)段5-6號(hào)段5-6號(hào)段3-4號(hào)段3-4號(hào)段1-2號(hào)段1-2第一周周一第一周周二第一周周三第一周周四第一周原來周一周二周三周四企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道問題分析和解決（3）監(jiān)控機(jī)制原始、報(bào)警設(shè)置不全，出事了都不知道CPU100%的故事解決方法完善監(jiān)控和報(bào)警企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道完善監(jiān)控和報(bào)警企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道完善監(jiān)控和報(bào)警企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道完善監(jiān)控和報(bào)警企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道完善監(jiān)控和報(bào)警企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道完善監(jiān)控和報(bào)警企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道問題分析和解決（4）運(yùn)維操作通過vim或者mysql進(jìn)行，非常容易失誤Grandy的故事解決方法運(yùn)維操作Web化（半自動(dòng)化）、自動(dòng)化IM后臺(tái)3.5的運(yùn)維頁面已經(jīng)廢除，后面有IM后臺(tái)4.0的運(yùn)維頁面截圖企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道服務(wù)可用性終于提升到了行業(yè)先進(jìn)水平企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)3.5架構(gòu)長(zhǎng)連接集群同步集群接入集群存儲(chǔ)集群若干個(gè)業(yè)務(wù)集群長(zhǎng)連接集群同步集群接入集群存儲(chǔ)集群若干個(gè)業(yè)務(wù)集群容災(zāi)指揮集群IDC1IDC2運(yùn)維控制集群監(jiān)控報(bào)警集群容災(zāi)指揮集群運(yùn)維控制集群監(jiān)控報(bào)警集群運(yùn)維控制集群監(jiān)控報(bào)警集群監(jiān)控報(bào)警集群運(yùn)維控制集群監(jiān)控報(bào)警集群運(yùn)維控制集群監(jiān)控報(bào)警集群運(yùn)維控制集群監(jiān)控報(bào)警集群容災(zāi)指揮集群運(yùn)維控制集群監(jiān)控報(bào)警集群運(yùn)維控制集群監(jiān)控報(bào)警集群容災(zāi)指揮集群容災(zāi)指揮集群運(yùn)維控制集群監(jiān)控報(bào)警集群運(yùn)維控制集群監(jiān)控報(bào)警集群企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道啟示：千萬級(jí)在線的關(guān)鍵技術(shù)對(duì)外提供高可用性的服務(wù)對(duì)內(nèi)提供高可運(yùn)維性的系統(tǒng)灰度發(fā)布運(yùn)營監(jiān)控容災(zāi)運(yùn)維自動(dòng)化/半自動(dòng)化高可用性；高可運(yùn)維性企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道目錄從十萬級(jí)到百萬級(jí)在線千萬級(jí)在線億級(jí)在線總結(jié)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道隨著億時(shí)代的接近，新煩惱又來了靈活性：“昵稱”長(zhǎng)度增加一半，需要兩個(gè)月增加“故鄉(xiāng)”字段，需要兩個(gè)月最大好友數(shù)從500變成1000，需要三個(gè)月億時(shí)代的重要能力：上萬好友隱私權(quán)限控制PCQQ與手機(jī)QQ別互踢微信與QQ互通異地容災(zāi)IM后臺(tái)從1.0到3.5都是在原來基礎(chǔ)上做改造升級(jí)，但是：持續(xù)打補(bǔ)丁已經(jīng)難以支撐億級(jí)在線IM后臺(tái)4.0必須從頭開始，重新設(shè)計(jì)實(shí)現(xiàn)！太差！想都別想！企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)4.0存儲(chǔ)系統(tǒng)架構(gòu)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)4.0存儲(chǔ)系統(tǒng)運(yùn)維頁面企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)4.0存儲(chǔ)系統(tǒng)成果歷時(shí)3年完成千萬級(jí)好友隱私權(quán)限控制靈活擴(kuò)展字段高可運(yùn)維性運(yùn)維操作組件化負(fù)載自動(dòng)轉(zhuǎn)移高性能自寫存儲(chǔ)層企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)4.0通信系統(tǒng)邏輯架構(gòu)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)4.0通信系統(tǒng)物理架構(gòu)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)4.0通信系統(tǒng)運(yùn)維頁面企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道IM后臺(tái)4.0通信系統(tǒng)階段成果歷時(shí)2+年完成多點(diǎn)登錄支持5至10億個(gè)實(shí)例同時(shí)在線方便接入微信等多種業(yè)務(wù)區(qū)域自治高可運(yùn)維性物理架構(gòu)詳細(xì)到機(jī)架故障分析智能化企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道啟示：億級(jí)在線的關(guān)鍵技術(shù)提供高靈活性的業(yè)務(wù)支持傳統(tǒng)IT行業(yè)可以半年到兩年出一個(gè)新版本互聯(lián)網(wǎng)行業(yè)要求每個(gè)月出一個(gè)新版本同時(shí)保持高性能、高可用性、高可運(yùn)維性高性能；高可用性；高可運(yùn)維性；高靈活性企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道騰訊IM服務(wù)的未來之路全球化分布高效率的研發(fā)監(jiān)控告警的智能化企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道目錄從十萬級(jí)到百萬級(jí)在線千萬級(jí)在線億級(jí)在線總結(jié)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道QQIM后臺(tái)技術(shù)演化的啟示1.0十萬級(jí)、2.0百萬級(jí)高性能；7乘24小時(shí)連續(xù)服務(wù)3.0千萬級(jí)高可用性；高可運(yùn)維性4.0億級(jí)高性能；高可用性；高可運(yùn)維性；高靈活性企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道QQIM后臺(tái)技術(shù)演化的啟示只實(shí)現(xiàn)功能，不難高性能/低成本高可用性高可運(yùn)維性高靈活性很難！在線量每提升一個(gè)量級(jí)，技術(shù)難度也提升一個(gè)量級(jí)企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道7億活躍賬戶1.4億同時(shí)在線過萬臺(tái)IM服務(wù)器百億級(jí)的關(guān)系鏈對(duì)數(shù)每天千億級(jí)的服務(wù)請(qǐng)求99.99%的可用性團(tuán)隊(duì)經(jīng)歷了QQ在線從10萬到1.4億的整個(gè)過程，吸取了很多教訓(xùn)對(duì)海量服務(wù)的理解是長(zhǎng)期積累的結(jié)果企業(yè)創(chuàng)新管理騰訊海量服務(wù)之道互聯(lián)網(wǎng)與傳統(tǒng)IT行業(yè)區(qū)別很大互聯(lián)網(wǎng)行業(yè)有自己的技術(shù)規(guī)律，需要做自己的技術(shù)積累傳統(tǒng)IT行業(yè)互聯(lián)網(wǎng)行業(yè)ARPU數(shù)十元低于三元IT成本的重要性只占總成本的不