騰訊大章節(jié)堂19系統(tǒng)優(yōu)化方向ppt課件

1、sunshinexiong 2019-01-15系統(tǒng)優(yōu)化的方向？系統(tǒng)優(yōu)化的方向？監(jiān)控對研發(fā)的支持監(jiān)控對研發(fā)的支持系統(tǒng)優(yōu)化的驅(qū)動力系統(tǒng)優(yōu)化的驅(qū)動力 問題問題 監(jiān)控監(jiān)控 自我實現(xiàn)和挑戰(zhàn)自我實現(xiàn)和挑戰(zhàn)監(jiān)控監(jiān)控 被動式監(jiān)控被動式監(jiān)控 運維監(jiān)控，運維監(jiān)控，Port、CPU、Memory、Disk IO、Net IO、FileSize、DiskSize 自動式監(jiān)控自動式監(jiān)控 HttpWatch工具工具 Cgi自動化測試自動化測試 立體化監(jiān)控體系立體化監(jiān)控體系 運營數(shù)據(jù)采集運營數(shù)據(jù)采集isd.itil每天自動郵件，紀(jì)錄每臺設(shè)備的運維情況每天自動郵件，紀(jì)錄每臺設(shè)備的運維情況綜合負(fù)載綜合負(fù)載CPU占用率占用率網(wǎng)

2、絡(luò)流量出、入網(wǎng)絡(luò)流量出、入網(wǎng)絡(luò)包出、入網(wǎng)絡(luò)包出、入Load Average/5min磁盤磁盤Block in/out監(jiān)控郵件、監(jiān)控郵件、url地址地址HttpWatch工具工具Cgi自動化測試平臺自動化測試平臺itil.isd3.0結(jié)果展現(xiàn)結(jié)果展現(xiàn)Cgi自動化測試原理自動化測試原理模擬前臺模擬前臺JS代碼發(fā)送代碼發(fā)送cgi懇求，并接納前往，紀(jì)錄呼應(yīng)時間，并懇求，并接納前往，紀(jì)錄呼應(yīng)時間，并分析前往包分析前往包本質(zhì)是一種黑盒集成測試本質(zhì)是一種黑盒集成測試監(jiān)控結(jié)果存在某種程度的失真監(jiān)控結(jié)果存在某種程度的失真建議在前往包中，提供前往碼建議在前往包中，提供前往碼立體化監(jiān)控立體化監(jiān)控LogServer立

3、體化監(jiān)控立體化監(jiān)控運營數(shù)據(jù)分析運營數(shù)據(jù)分析isdstatIDC測試平臺測試平臺idcspeed.oa優(yōu)化任務(wù)根底優(yōu)化任務(wù)根底數(shù)據(jù)分析數(shù)據(jù)分析 舉例：猜?lián)淇伺婆e例：猜?lián)淇伺芿num card cardA,card2,card3,card4,card5,card6,card7,card8,card9,card10,cardJ,cardQ,cardK;enum card i,j,k;for ( i = cardA, i cardK, i+)for ( j= cardA, j cardK, j+)for ( k = cardA, k cardK, k+)if ( 3=func(i,j,k) ) Pri

4、nt(i,j,k), return 0; int func(int x, int y, int z);如何優(yōu)化？如何優(yōu)化？func(A,A,A)func(A,A,2)func(A,A,3)func(A,A,4)func(A,2,A)func(A,2,2)func(A,2,3)func(A,2,4)func(2,A,A)func(2,A,2)func(2,A,3)func(2,A,4)int func(int x, int y, int z);enum card cA,c2,c3,c4,c5,c6,c7,c8,c9,c10,cJ,cQ,cK;enum card i;int count=0,ret

5、;for ( i = cA, i cK, i+ )if ( ret=func(i,i,i) != 0 ) Print(i,ret), 3=count+ret?return 0, count+=ret;日志優(yōu)化日志優(yōu)化新新cache優(yōu)化后效果優(yōu)化后效果 日志回復(fù)日志回復(fù)CACHE上線后，上線后，CACHE頂峰期處置的平均延時由頂峰期處置的平均延時由200500ms左右降至左右降至20ms左右；目前日志左右；目前日志title的命中率在的命中率在92%左右，其左右，其平均延時在平均延時在8ms左右，以前頂峰期在左右，以前頂峰期在50-60ms左右左右 目前日志目前日志title還需還需8ms的緣由

6、，應(yīng)該與目前日志的緣由，應(yīng)該與目前日志title的數(shù)據(jù)有關(guān)，的數(shù)據(jù)有關(guān)，每次每次DB的的IO操作的數(shù)據(jù)量比較大影響的操作的數(shù)據(jù)量比較大影響的 后臺數(shù)據(jù)后臺數(shù)據(jù)CACHE的性能提升，減少了前臺的性能提升，減少了前臺WEB接入的接入的httpsvr的的壓力，用戶體驗提升，同時也相應(yīng)帶來了系統(tǒng)穩(wěn)定性的提升壓力，用戶體驗提升，同時也相應(yīng)帶來了系統(tǒng)穩(wěn)定性的提升舊系統(tǒng)構(gòu)造舊系統(tǒng)構(gòu)造 模塊 日志回復(fù) 日志標(biāo)題 日志計數(shù) 優(yōu)點 CACHE內(nèi)存化，提升性能 多進(jìn)程號段分布處置 業(yè)務(wù)異步化 缺陷 CACHE量有限，命中率低，對DB的性能依賴比較重 模塊相互獨立，容易呵斥數(shù)據(jù)不一致現(xiàn)網(wǎng)數(shù)據(jù)分析現(xiàn)網(wǎng)數(shù)據(jù)分析數(shù)據(jù)量數(shù)據(jù)

7、量日志標(biāo)題日志標(biāo)題cache 10臺臺 約約69G 命中率：約命中率：約90%DB 5臺臺 約約340G日志回復(fù)日志回復(fù)cache 20臺臺 約約68G 命中率：約命中率：約50%DB 20臺臺 約約9T日志計數(shù)日志計數(shù)cache 10臺臺 約約122G 命中率：約命中率：約100%DB 4臺臺 約約100G訪問量訪問量日志標(biāo)題日志標(biāo)題頂峰期：頂峰期：7100次次/秒秒日志回復(fù)日志回復(fù)頂峰期：頂峰期：5000次次/秒秒日志計數(shù)日志計數(shù)頂峰期：頂峰期：7000次次/秒秒新系統(tǒng)構(gòu)造新系統(tǒng)構(gòu)造系統(tǒng)分三個模塊：日志信息、日志標(biāo)題、訪問計數(shù)CGI層對日志標(biāo)題、訪問計數(shù)模塊有讀/寫權(quán)限；對日志標(biāo)題模塊只需

8、讀權(quán)限，其數(shù)據(jù)來源于日志信息模塊新新cache優(yōu)化后效果優(yōu)化后效果 日志回復(fù)日志回復(fù)CACHE上線后，上線后，CACHE頂峰期處置的平均延時由頂峰期處置的平均延時由200500ms左右降至左右降至20ms左右；目前日志左右；目前日志title的命中率在的命中率在92%左右，其左右，其平均延時在平均延時在8ms左右，以前頂峰期在左右，以前頂峰期在50-60ms左右左右 目前日志目前日志title還需還需8ms的緣由，應(yīng)該與目前日志的緣由，應(yīng)該與目前日志title的數(shù)據(jù)有關(guān)，的數(shù)據(jù)有關(guān)，每次每次DB的的IO操作的數(shù)據(jù)量比較大影響的操作的數(shù)據(jù)量比較大影響的 后臺數(shù)據(jù)后臺數(shù)據(jù)CACHE的性能提升，減少

9、了前臺的性能提升，減少了前臺WEB接入的接入的httpsvr的的壓力，用戶體驗提升，同時也相應(yīng)帶來了系統(tǒng)穩(wěn)定性的提升壓力，用戶體驗提升，同時也相應(yīng)帶來了系統(tǒng)穩(wěn)定性的提升日志信息模塊性能日志信息模塊性能單臺機(jī)器單臺機(jī)器4個個CACHE，包容，包容6000萬個存儲節(jié)點，萬個存儲節(jié)點，CACHE數(shù)據(jù)量數(shù)據(jù)量為為210G左右空間，每秒中的處置懇求約左右空間，每秒中的處置懇求約900次其中讀次其中讀800/寫寫100，平均延時為，平均延時為100ms，每分鐘內(nèi)處置超越，每分鐘內(nèi)處置超越1秒的懇求為秒的懇求為32個個，占這分鐘內(nèi)訪問約，占這分鐘內(nèi)訪問約1/1000現(xiàn)網(wǎng)規(guī)劃：現(xiàn)網(wǎng)規(guī)劃：15臺臺cache 6臺臺DB日志容量擴(kuò)容日志容量擴(kuò)容日志數(shù)據(jù)幾何級數(shù)增長，每日志數(shù)據(jù)幾何級數(shù)增長，每12個月數(shù)據(jù)容量翻一番個月數(shù)據(jù)容量翻一番DB設(shè)備越來越多，舊架構(gòu)需求翻倍增長設(shè)備越來越多，舊架構(gòu)需求翻倍增長日志正文同回復(fù)的存儲在一同日志正文同回復(fù)的存儲在一同新日志存儲新日志存儲日志不再按照日志不再按照QQ ID存