騰訊大講堂19系統(tǒng)優(yōu)化的方向.ppt

sunshinexiong 2008-01-15,系統(tǒng)優(yōu)化的方向？,監(jiān)控對研發(fā)的支持,系統(tǒng)優(yōu)化的驅(qū)動力,問題,監(jiān)控,自我實現(xiàn)和挑戰(zhàn),監(jiān)控,被動式監(jiān)控 運維監(jiān)控，Port、CPU、Memory、Disk IO、Net IO、FileSize、DiskSize 主動式監(jiān)控 HttpWatch工具 Cgi自動化測試 立體化監(jiān)控體系 運營數(shù)據(jù)采集, 每天自動郵件，紀(jì)錄每臺設(shè)備的運維情況 綜合負(fù)載 CPU占用率 網(wǎng)絡(luò)流量（出、入） 網(wǎng)絡(luò)包（出、入） Load Average/5min 磁盤Block in/out,監(jiān)控郵件、url地址,HttpWatch工具,Cgi自動化測試平臺, 3.0結(jié)果展示,Cgi自動化測試原理,模擬前臺JS代碼發(fā)送cgi請求，并接收返回，紀(jì)錄響應(yīng)時間，并分析返回包 實質(zhì)是一種黑盒集成測試 監(jiān)控結(jié)果存在某種程度的失真 建議在返回包中，提供返回碼,立體化監(jiān)控,LogServer,立體化監(jiān)控,運營數(shù)據(jù)分析,,IDC測試平臺,,優(yōu)化工作基礎(chǔ),數(shù)據(jù)分析,舉例：猜?lián)淇伺?enum card cardA,card2,card3,card4,card5,card6,card7,card8,card9,card10,cardJ,cardQ,cardK; enum card i,j,k; for ( i = cardA, i cardK, i+) for ( j= cardA, j cardK, j+) for ( k = cardA, k cardK, k+) if ( 3=func(i,j,k) ) Print(i,j,k), return 0;,int func(int x, int y, int z);,如何優(yōu)化？,func(A,A,A) func(A,A,2) func(A,A,3) func(A,A,4) ,func(A,2,A) func(A,2,2) func(A,2,3) func(A,2,4) ,func(2,A,A) func(2,A,2) func(2,A,3) func(2,A,4) ,int func(int x, int y, int z); enum card cA,c2,c3,c4,c5,c6,c7,c8,c9,c10,cJ,cQ,cK; enum card i; int count=0,ret; for ( i = cA, i cK, i+ ) if ( ret=func(i,i,i) != 0 ) Print(i,ret), 3=count+ret?return 0, count+=ret;,日志優(yōu)化,新cache優(yōu)化后效果,日志回復(fù)CACHE上線后，CACHE高峰期處理的平均延時由200500ms左右降至20ms左右；目前日志title的命中率在92%左右，其平均延時在8ms左右，以前高峰期在50-60ms左右 目前日志title還需8ms的原因，應(yīng)該與目前日志title的數(shù)據(jù)有關(guān)，每次DB的IO操作的數(shù)據(jù)量比較大影響的 后臺數(shù)據(jù)CACHE的性能提升，減少了前臺WEB接入的httpsvr的壓力，用戶體驗提升，同時也相應(yīng)帶來了系統(tǒng)穩(wěn)定性的提升,舊系統(tǒng)結(jié)構(gòu),模塊 日志回復(fù) 日志標(biāo)題 日志計數(shù) 優(yōu)點 CACHE內(nèi)存化，提升性能 多進(jìn)程號段分布處理 業(yè)務(wù)異步化 缺點 CACHE量有限，命中率低，對DB的性能依賴比較重 模塊相互獨立，容易造成數(shù)據(jù)不一致,現(xiàn)網(wǎng)數(shù)據(jù)分析,數(shù)據(jù)量 日志標(biāo)題 cache 10臺 約69G 命中率：約90% DB 5臺 約340G 日志回復(fù) cache 20臺 約68G 命中率：約50% DB 20臺 約9T 日志計數(shù) cache 10臺 約122G 命中率：約100% DB 4臺 約100G 訪問量 日志標(biāo)題 高峰期：7100次/秒 日志回復(fù) 高峰期：5000次/秒 日志計數(shù) 高峰期：7000次/秒,新系統(tǒng)結(jié)構(gòu),系統(tǒng)分三個模塊：日志信息、日志標(biāo)題、訪問計數(shù) CGI層對日志標(biāo)題、訪問計數(shù)模塊有讀/寫權(quán)限；對日志標(biāo)題模塊只有讀權(quán)限，其數(shù)據(jù)來源于日志信息模塊,新cache優(yōu)化后效果,日志回復(fù)CACHE上線后，CACHE高峰期處理的平均延時由200500ms左右降至20ms左右；目前日志title的命中率在92%左右，其平均延時在8ms左右，以前高峰期在50-60ms左右 目前日志title還需8ms的原因，應(yīng)該與目前日志title的數(shù)據(jù)有關(guān)，每次DB的IO操作的數(shù)據(jù)量比較大影響的 后臺數(shù)據(jù)CACHE的性能提升，減少了前臺WEB接入的httpsvr的壓力，用戶體驗提升，同時也相應(yīng)帶來了系統(tǒng)穩(wěn)定性的提升,日志信息模塊性能,單臺機(jī)器4個CACHE，容納6000萬個存儲節(jié)點，CACHE數(shù)據(jù)量為210G左右空間，每秒中的處理請求約900次（其中讀800/寫100），平均延時為100ms，每分鐘內(nèi)處理超過1秒的請求為32個，占這分鐘內(nèi)訪問約1/1000 現(xiàn)網(wǎng)布局：15臺cache 6臺DB,日志容量擴(kuò)容,日志數(shù)據(jù)幾何級數(shù)增長，每12個月數(shù)據(jù)容量翻一番 DB設(shè)備越來越多，舊架構(gòu)需要翻倍增長 日志正文同回復(fù)的存儲在一起,新日志存儲,日志不再按照QQ ID存儲,謝謝！,Qzone 網(wǎng)管監(jiān)控：coatizhao、johnzhao Cgi 自