新浪微博redis技術(shù)架構(gòu)優(yōu)化

1、新浪微博redis技術(shù)架構(gòu)優(yōu)化大綱業(yè)務(wù)場(chǎng)景Redis存儲(chǔ)架構(gòu)演進(jìn)一些經(jīng)驗(yàn)Q&A業(yè)務(wù)場(chǎng)景-業(yè)務(wù)Redis在新浪微博的應(yīng)用計(jì)數(shù) (counter)關(guān)系 (graph)通知提醒業(yè)務(wù)場(chǎng)景-數(shù)據(jù)一些數(shù)據(jù)6 IDC500+servers3700+ instances千億條記錄24T+內(nèi)存7千億cmds/day1.2萬(wàn)億read/day2千億write/dayRedis存儲(chǔ)前時(shí)代Redis前時(shí)代熱數(shù)據(jù)mc全量落地mysql數(shù)據(jù)量不大：Graph mc 10G，計(jì)數(shù)器 mc 2G開(kāi)發(fā)速度問(wèn)題出現(xiàn)2010年，Graph mc 30G+，峰值 10wTPSMysql成為瓶頸線程阻塞，訪問(wèn)卡頓List類型業(yè)務(wù)不適合

2、mysql新的關(guān)系計(jì)算需求實(shí)現(xiàn)困難大量關(guān)系計(jì)算：從MC取全量+本地計(jì)算-超時(shí)解決方案初期方案增大mc容量到40G，Graph db 增至一主六從監(jiān)控并及時(shí)清理僵死線程關(guān)系計(jì)算性能問(wèn)題暫時(shí)無(wú)解最終方案引入Redis做storage (graph/counter)關(guān)系計(jì)算 在redis實(shí)現(xiàn) O(1)促進(jìn)更多復(fù)雜需求Graph db恢復(fù)一主三從小結(jié)項(xiàng)目初期30G- 日PV5kw-技術(shù)選型 熟悉度拼的是開(kāi)發(fā)速度產(chǎn)品需求與新技術(shù)相 互促進(jìn)Redis存儲(chǔ)初期Redis初期Redis 2.0Graph存hash，40G 10w TPS，4 ServerCounter:20G 2w TPS，2 Server問(wèn)

3、題出現(xiàn)2011年，初期使用經(jīng)驗(yàn)不足數(shù)據(jù)分片過(guò)少，擴(kuò)容困難部分?jǐn)?shù)據(jù)類型使用不當(dāng)，內(nèi)存超預(yù)期多業(yè)務(wù)混放，拆分不便可用性不夠小業(yè)務(wù)初期沒(méi)有slave，server故障服務(wù)異常大業(yè)務(wù)掛載3-4個(gè)slave，高峰期write超時(shí)，請(qǐng)求失敗重啟耗時(shí)，10-20分鐘服務(wù)異常解決方案容量規(guī)劃提前預(yù)估容量，上線前預(yù)拆足夠的數(shù)據(jù)分片選擇合適的數(shù)據(jù)類型，慎用zset業(yè)務(wù)獨(dú)立存儲(chǔ)，拒絕混放解決方案提高可用性所有Redis全部增加SlaveMaster掛載slave不超過(guò)2個(gè)，采用M-S-S方式掛 載多IDC 單Master，復(fù)制同步凌晨低峰升級(jí)，訪問(wèn) IP域名不完美，但基本可work問(wèn)題升級(jí)2011年底，Graph

4、100G+ 靈異事件凌晨3點(diǎn)低峰期，redis無(wú)征兆崩潰批量升級(jí)、擴(kuò)容拆分，引發(fā)其他業(yè)務(wù)異常報(bào)警多個(gè)slave嚴(yán)重負(fù)載不均，請(qǐng)求數(shù)最大差1-2個(gè)數(shù)量級(jí)，峰值 響應(yīng)從 不足1ms-3ms在線版本增多最多6個(gè)版本BUG重復(fù)修復(fù)，運(yùn)維困難問(wèn)題分析崩潰：讀寫會(huì)用pageCache，導(dǎo)致redis進(jìn)swap而崩潰其他服務(wù)報(bào)警：復(fù)制 全量推送導(dǎo)致網(wǎng)絡(luò)阻 塞負(fù)載不均：client通過(guò)域名訪問(wèn)，域名解析 返回隨機(jī)ip，結(jié)果連接不均衡，最終導(dǎo)致負(fù) 載不均衡問(wèn)題解決緊急方案超過(guò)物理內(nèi)存3/5遷移端口錯(cuò)峰升級(jí)/擴(kuò)容 對(duì)網(wǎng)絡(luò)仍然有一定沖擊開(kāi)發(fā)ClientBalancer組件，保持域名下IP連接均衡，負(fù)載均衡進(jìn)一步優(yōu)化

5、方案：及時(shí)清理pagecache，減少對(duì)正常業(yè)務(wù)影響Aof去掉rewrite，改用rotate類似mysql，獨(dú)立IO線程對(duì)rdb、aof轉(zhuǎn)發(fā)復(fù)制（社區(qū)版psync, repl-backlog-size, repl-backlog-ttl）支持熱升級(jí)，避免重啟，提高可運(yùn)維性O(shè)thers小結(jié)小規(guī)模 50G 1-2個(gè)集群人肉運(yùn)維中規(guī)模 100G+，3+集群可運(yùn)維性-重要開(kāi)源組件-熟悉架構(gòu)實(shí)現(xiàn)Redis存儲(chǔ)爆發(fā)期Redis存儲(chǔ)爆發(fā)期完全增量復(fù)制在線熱升級(jí)SLAVE均衡訪問(wèn)大量子業(yè)務(wù)切入單業(yè)務(wù)數(shù)百G穩(wěn)定問(wèn)題出現(xiàn)2013年，Graph海量規(guī)模數(shù)據(jù)T級(jí)，MS 十T級(jí)數(shù)百臺(tái)server，而且還在快速增加Gr

6、aph用Hash結(jié)構(gòu)，存儲(chǔ)效率不高問(wèn)題出現(xiàn)Counter 業(yè)務(wù)增加，增長(zhǎng)迅猛日增：計(jì)數(shù)億條 內(nèi)存5G+總數(shù)據(jù)百G級(jí)， MS T級(jí)Feed請(qǐng)求 計(jì)數(shù)近百倍讀放大，高峰超時(shí)報(bào) 警存儲(chǔ)效率低 質(zhì)變，極端業(yè)務(wù)定制大規(guī)模集群 T級(jí) 3+idc 成本單個(gè)請(qǐng)求成本總擁有成本Redis存儲(chǔ)高速穩(wěn)定期Redis存儲(chǔ)高速穩(wěn)定期Graph 定位cache 定制longset內(nèi)存降為 1/10性能接近Counter 定制cdb內(nèi)存降為 1/5 -性能增3-5倍Redis存儲(chǔ)高速穩(wěn)定期繼續(xù)定制Counter 落地SSD，容量提升20倍，8個(gè)月10年VectorOthers問(wèn)題出現(xiàn)2014，SLA 目標(biāo)6個(gè)9數(shù)千關(guān)聯(lián)Se

7、rver 6+IDC 跨地域分布海量數(shù)據(jù) 24T+峰值 5000w+ TPS，響應(yīng)毫秒級(jí)硬件/網(wǎng)絡(luò)故障時(shí)有發(fā)生，如何實(shí)現(xiàn)？問(wèn)題解決資源服務(wù)化 Configserver用于服務(wù)的發(fā)布與訂閱CacheService 用于集群管理數(shù)據(jù)路由負(fù)載均衡數(shù)據(jù)在線遷移服務(wù)治理（生命周期 故障轉(zhuǎn)移etc.）運(yùn)維標(biāo)準(zhǔn)化、自動(dòng)化 （擴(kuò)/縮容etc.）服務(wù)化服務(wù)化服務(wù)化 業(yè)務(wù)服務(wù)化 motan 資源服務(wù)化 c a c h e Se rvic em cssd c a c h edbdbmysqldbdbhbasedbhdbbasein vo ke rm ce d ise d isc o n fig se rve rm cm ce d ise d ism crrre d ism crrre d isc o n fig se rve rssd c a c h essd c a c