億在線背后的故事騰訊最新PPT.ppt

1、騰訊大講堂走進(jìn)北航,2011.10.31 D,1.4億在線背后的故事,騰訊科技（深圳）有限公司 即通平臺部高級技術(shù)總監(jiān) icezhuang,QQ IM后臺架構(gòu)的演化與啟示,自我介紹,2001-中國科學(xué)技術(shù)大學(xué)計算機(jī)系本科畢業(yè),2004-中國科學(xué)院計算技術(shù)研究所碩士畢業(yè),2004-進(jìn)入騰訊，參與IM后臺研發(fā)運(yùn)營,T4專家 即通平臺部 高級技術(shù)總監(jiān) 公司軟件開發(fā)通道分會 會長 經(jīng)歷了QQ在線從千萬級到億級的過程,7億活躍賬戶,1.4億同時在線,過萬臺IM服務(wù)器,百億級的關(guān)系鏈對數(shù),每天千億級的服務(wù)請求,99.99%的可用性,團(tuán)隊經(jīng)歷了QQ在線從10萬到1.4億的整個過程，吸取了很多教訓(xùn),對海量服務(wù)

2、的理解是長期積累的結(jié)果,目錄,從十萬級到百萬級在線 千萬級在線 億級在線 總結(jié),IM后臺1.0,適用情況,同時在線數(shù)較低（十萬級） 業(yè)務(wù)功能非常簡單,1.0接入服務(wù)器的核心數(shù)據(jù)結(jié)構(gòu),OnlineIndex,OnlineRecord,IM后臺1.0的典型業(yè)務(wù)流程,登錄,實時通知 定期拉取,在線狀態(tài)的獲取,IM后臺1.5,需要更好地支持業(yè)務(wù) 支持視頻、語音、傳文件等實時寬帶業(yè)務(wù) 支持更多類型的用戶資料 增加長連接服務(wù)器 為無法直連的客戶端進(jìn)行實時寬帶數(shù)據(jù)中轉(zhuǎn) 對存儲服務(wù)器進(jìn)行輕重分離 核心服務(wù)器保證穩(wěn)定 擴(kuò)展服務(wù)器快速支持業(yè)務(wù),第一代架構(gòu)難以支持百萬級在線,達(dá)到一百萬在線時，老架構(gòu)會有各方面的瓶頸

3、出現(xiàn) 以接入服務(wù)器的內(nèi)存為例，單個在線用戶的存儲量約為2KB 索引和在線狀態(tài) 50字節(jié) 好友表 400個好友 * 5字節(jié)/好友 = 2000字節(jié) 大致來說，2G內(nèi)存只能支持一百萬在線用戶 進(jìn)一步地，還有CPU/網(wǎng)卡包量和流量/交換機(jī)流量等瓶頸 其他服務(wù)器也有類似情況 單臺服務(wù)器支撐不下所有在線用戶/注冊用戶,第一代架構(gòu)無以為繼，必須升級！,IM后臺2.0,單臺服務(wù)器擴(kuò)展成集群 增加狀態(tài)同步服務(wù)器 在接入服務(wù)器之間同步在線狀態(tài),2.0接入服務(wù)器的核心數(shù)據(jù)結(jié)構(gòu),0,1,10001,10002,10003,10004,OnlineIndex,LocalOnlineRecord,RemoteOnlin

4、eRecord,UIN 在線狀態(tài)，IP/Port 接入服務(wù)器ID,IM后臺2.0的典型業(yè)務(wù)流程,2001年，QQ同時在線突破一百萬,登錄,定期拉取 實時通知,在線狀態(tài)的獲取,（三種方式）,IM后臺2.5,支持QQ群等新業(yè)務(wù),啟示：十萬級到百萬級在線的關(guān)鍵技術(shù),高性能；7乘24小時連續(xù)服務(wù),Kenny“違抗”PonyMa的故事 ARPU對比：中國移動73，騰訊2.5 PCU/Box：某著名IM數(shù)萬；QQ 數(shù)十萬 CTO：IT成本的高低決定互聯(lián)網(wǎng)企業(yè)的存亡 只用傳統(tǒng)IT行業(yè)1/10到1/100的IT成本 高性能 OICQ的故事 用戶忍耐度對比：信用卡系統(tǒng)維護(hù)VS用腳投票 7乘24小時連續(xù)服務(wù),QQ

5、后臺如何實現(xiàn)高性能,絕不使用企業(yè)級解決方案 邏輯層多進(jìn)程 萬有一失的無鎖設(shè)計 用戶態(tài)IPC MySQL分庫分表 好友表自寫文件存儲 ,用戶10003，好友表：10001,0 x0；10020,0 x0,用戶10003，好友表：10001,0 x0；10020,0 x1,用戶10003，好友表：10001,0 x0；10005,0 x1；10020,0 x0,QQ后臺如何實現(xiàn)高性能,絕不使用企業(yè)級解決方案 邏輯層多進(jìn)程 萬有一失的無鎖設(shè)計 用戶態(tài)IPC MySQL分庫分表 好友表自寫文件存儲 ,UIN 10001,UIN 10001,FList, L2,FList, L3,UIN 10001 L

6、EVEL 1, POS 1,UIN 10004 LEVEL 1, POS 3,OnlineRecord,UIN 10004,UIN 1000？,QQ后臺如何實現(xiàn)7乘24小時連續(xù)服務(wù),大系統(tǒng)小做 平滑重構(gòu) 在高速行駛的列車上更換發(fā)動機(jī) 核心數(shù)據(jù)放入共享內(nèi)存 接入層與邏輯層分離 命令分發(fā)動態(tài)配置化,目錄,從十萬級到百萬級在線 千萬級在線 億級在線 總結(jié),第二代架構(gòu)難以支持千萬級在線,同步流量太大，狀態(tài)同步服務(wù)器遇到單機(jī)瓶頸 所有在線用戶的在線狀態(tài)信息量太大，單臺接入服務(wù)器存不下 如果在線數(shù)進(jìn)一步增加，則甚至單臺狀態(tài)同步服務(wù)器也存不下 單臺狀態(tài)同步服務(wù)器支撐不下所有在線用戶 單臺接入服務(wù)器支撐不下所

7、有在線用戶的在線狀態(tài)信息,第二代架構(gòu)無以為繼，必須再次升級！,IM后臺3.0,狀態(tài)同步服務(wù)器改造成同步集群 其他集群也做相應(yīng)的改造,2005年，QQ同時在線突破一千萬,根本來不及高興：我們再也受不了了！,手機(jī)從不敢離身 發(fā)布新代碼提心吊膽 時不時要擴(kuò)容，又煩又怕 時不時要緊急恢復(fù)服務(wù) 時不時被用戶罵、被老板K 到底怎么了？,深入分析，我們發(fā)現(xiàn)了什么,后臺機(jī)器越來越多，單機(jī)死機(jī)/故障經(jīng)常出現(xiàn)，IDC故障也不少，影響服務(wù)，也影響人員生活 每周有新代碼發(fā)布，BUG不斷出現(xiàn)，嚴(yán)重影響服務(wù) 監(jiān)控機(jī)制原始、報警設(shè)置不全，出事了都不知道 運(yùn)維操作通過vim或者mysql進(jìn)行，非常容易失誤,問題分析和解決（1

8、）,后臺機(jī)器越來越多，單機(jī)死機(jī)/故障經(jīng)常出現(xiàn)，IDC故障也不少，影響服務(wù)，也影響人員生活 傳統(tǒng)行業(yè)設(shè)備少單價高，故障很少出現(xiàn) 互聯(lián)網(wǎng)行業(yè)設(shè)備多單價低，故障是常態(tài),IM后臺3.0的容錯/容災(zāi)分析,每個集群只有一份 機(jī)器選擇全人工配置 集中在一個IDC,IDC的實際可用性只有2個9,老架構(gòu)沒前途，必須進(jìn)行容災(zāi)改造！,租來的IDC的級別： B或C,容災(zāi)改造的思路,存儲集群：半自動切換模式 主/從服務(wù)器 從服務(wù)器死機(jī)，業(yè)務(wù)不受影響 主服務(wù)器死機(jī)，多數(shù)命令不受影響，修改資料命令受影響 業(yè)務(wù)集群、接入集群、同步集群：自動切換模式 迅速應(yīng)對死機(jī)等情況，基本不影響業(yè)務(wù) 分布在兩套IDC 可以應(yīng)對IDC整體故障

9、,業(yè)務(wù)集群的容災(zāi)改造,業(yè)務(wù)命令流,設(shè)備狀態(tài)流,接入集群,業(yè)務(wù)集群 IDC1,業(yè)務(wù)集群 IDC2,指揮中心 IDC1,指揮中心 IDC2,問題分析和解決（2）,每周有新代碼發(fā)布，BUG不斷出現(xiàn)，嚴(yán)重影響服務(wù) 大部分子系統(tǒng)每周發(fā)布一個版本的新代碼 解決方法 代碼review 灰度發(fā)布,第一周 周末,灰度發(fā)布演示,號段7-8,號段7-8,號段5-6,號段5-6,號段3-4,號段3-4,號段1-2,號段1-2,第一周 周一,第一周 周二,第一周 周三,第一周 周四,第一周 原來,周一,周二,周三,周四,問題分析和解決（3）,監(jiān)控機(jī)制原始、報警設(shè)置不全，出事了都不知道 CPU 100%的故事 解決方法 完善監(jiān)控和報警,完善監(jiān)控和報警,完善監(jiān)控和報警,完善監(jiān)控和報警,完善監(jiān)控和報警,完善監(jiān)控和報警,問題分析和解決（4）,運(yùn)維操作通過vim或者mysql進(jìn)行，非常容易失誤 Grandy的故事 解決方法 運(yùn)維操作Web化（