案例-短信廳性能問題分析

“短信廳〞故障分析匯報

科來軟件陳金絢背景介紹故障描述“短信廳〞應(yīng)用由于后臺數(shù)據(jù)庫負(fù)載比較高，導(dǎo)致今年以來以出現(xiàn)了數(shù)次故障已采取措施通過排除法，定位到數(shù)據(jù)庫負(fù)載過高來源于“sale-dxt_c2qT〞和“sale-dxt_c3sss〞這兩個應(yīng)用效勞；把這兩個應(yīng)用效勞指定到一臺數(shù)據(jù)庫效勞器，其他效勞指定到另外一臺數(shù)據(jù)庫效勞器，確保這兩個效勞不影響其他進(jìn)程將數(shù)據(jù)庫網(wǎng)卡升級至萬兆進(jìn)一步的故障定位分析數(shù)據(jù)庫網(wǎng)卡升級到萬兆后，業(yè)務(wù)峰值時刻的流量在200kpps左右，接近IBM廠商給的處理峰值，處于高風(fēng)險狀態(tài)；為了進(jìn)一步分析為何這兩個進(jìn)程會產(chǎn)生這么大的流量，我們在交換機上采用旁路鏡像的方式，部署了科來網(wǎng)絡(luò)回溯分析系統(tǒng)，對“短信廳〞效勞器和后臺數(shù)據(jù)庫之間的通信流量進(jìn)行7*24小時不間斷的監(jiān)控分析，定位產(chǎn)生高負(fù)載數(shù)據(jù)庫流量的真正原因。設(shè)備部署設(shè)備信息“數(shù)據(jù)庫1〞：負(fù)載較低的數(shù)據(jù)庫，三張網(wǎng)卡對應(yīng)的地址分別為：、、“數(shù)據(jù)庫2〞：負(fù)載高的數(shù)據(jù)庫，三張網(wǎng)卡對應(yīng)的地址分別為：、、應(yīng)用效勞器的網(wǎng)段：、“科來網(wǎng)絡(luò)回溯分析效勞器〞部署將兩臺9603的鏡像數(shù)據(jù)〔上下行分開〕進(jìn)行會聚分析在不改變網(wǎng)絡(luò)結(jié)構(gòu)的情況下實現(xiàn)7*24小時監(jiān)控海量記錄應(yīng)用效勞器與數(shù)據(jù)庫的通信信息，并提供逐層挖掘與回溯TCP/UDP數(shù)據(jù)流復(fù)原，通過時延、重傳、異常語句和錯誤碼等信息定位應(yīng)用性能問題負(fù)載分析在實際的通信過程中，應(yīng)用效勞器分別訪問了：“數(shù)據(jù)庫1〞的網(wǎng)卡、“數(shù)據(jù)庫2〞網(wǎng)卡在12：30至16：30業(yè)務(wù)時段平均每秒數(shù)據(jù)包為102.34Kpps，平均包長為321B字節(jié)10.182.38.32平均每秒數(shù)據(jù)包為45.25Kpps，平均包長為507B字節(jié)“數(shù)據(jù)庫2〞網(wǎng)卡負(fù)載是“數(shù)據(jù)庫1〞的2.3倍，而且平均包長偏小數(shù)據(jù)分析“數(shù)據(jù)庫1〞負(fù)載分析在7月22號一天24小時中，“數(shù)據(jù)庫1〞在業(yè)務(wù)時段無明顯突發(fā)訪問“數(shù)據(jù)庫1〞的應(yīng)用效勞器包括、、、、、、、所有訪問“數(shù)據(jù)庫1〞的應(yīng)用效勞器一天的流量在80GB字節(jié)至100字節(jié)左右，負(fù)載偏差不大數(shù)據(jù)分析“數(shù)據(jù)庫2〞負(fù)載分析在7月22號一天24小時中，早上9：40左右出現(xiàn)流量峰值，是其他業(yè)務(wù)時段的兩倍“短信廳〞應(yīng)用效勞器中和的訪問量遠(yuǎn)大于其他應(yīng)用效勞器，分別到達(dá)385GB字節(jié)和338GB字節(jié)，“數(shù)據(jù)庫2〞負(fù)載過高是有這兩臺效勞器引起的數(shù)據(jù)分析“數(shù)據(jù)庫2〞與應(yīng)用效勞器、之間存在著100多個TCP長連接，每個TCP一天能產(chǎn)生14-16GB字節(jié)的流量而“數(shù)據(jù)庫1〞那么不存在這樣的長鏈接數(shù)據(jù)分析通過流量遞增和連接狀態(tài)可以判斷“數(shù)據(jù)庫2〞的這些長連接可以保持幾天的時間不中斷長鏈接內(nèi)容分析一選取流量最大的長連接“：〞進(jìn)行詳細(xì)的分析：該TCP會話出現(xiàn)流量突發(fā)的頻率非常的高，突發(fā)包率在2Kpps到4Kpps之間平均包長度較小，只有315字節(jié)長鏈接內(nèi)容分析一該TCP鏈接在效勞器上查詢到的信息：長鏈接內(nèi)容采樣分析一正常數(shù)據(jù)庫查詢：數(shù)據(jù)庫響應(yīng)的數(shù)據(jù)量大于應(yīng)用效勞器請求數(shù)據(jù)量：長鏈接內(nèi)容采樣分析一正常數(shù)據(jù)庫查詢：請求和響應(yīng)內(nèi)容可大致復(fù)原長鏈接內(nèi)容采樣分析一異常的TCP長連接數(shù)據(jù)：0.1毫秒左右產(chǎn)生一次應(yīng)答請求和回應(yīng)都是一個數(shù)據(jù)包請求和回應(yīng)的都是小包長鏈接內(nèi)容采樣分析一異常的TCP長連接數(shù)據(jù)：請求的語句無法復(fù)原請求1：請求2：請求3：響應(yīng)1：響應(yīng)2：響應(yīng)3：長鏈接內(nèi)容分析二選取流量較大的長連接“：〞進(jìn)行詳細(xì)的分析：該TCP會話出現(xiàn)流量突發(fā)的頻率非常的高，突發(fā)包率在2Kpps到4Kpps之間平均包長度較小，只有315字節(jié)〔情況根本與上一個TCP長連接情況一致〕長鏈接內(nèi)容采樣分析二正常數(shù)據(jù)庫查詢：請求和響應(yīng)內(nèi)容可大致復(fù)原長鏈接內(nèi)容分析二存在同樣的異常TCP查詢數(shù)據(jù)請求一：響應(yīng)一：長鏈接內(nèi)容分析二請求二響應(yīng)二長鏈接內(nèi)容分析三選取流量最大的長連接“：〞進(jìn)行詳細(xì)的分析：該TCP會話出現(xiàn)流量突發(fā)的頻率非常的高，突發(fā)包率在2Kpps到4Kpps之間平均包長度較小，只有315字節(jié)情況與前兩個TCP長連接根本一致長鏈接內(nèi)容分析三存在同樣的異常TCP查詢數(shù)據(jù)：長鏈接內(nèi)容分析三請求一：響應(yīng)一：小結(jié)與討論故障小結(jié)“數(shù)據(jù)庫2〞與應(yīng)用效勞器、之間存在100多個TCP長連接每個TCP長連接經(jīng)常出現(xiàn)高頻率的小包應(yīng)答突發(fā)，包率在2Kpps至4Kpps100多個TCP長連接會聚起來，“數(shù)據(jù)庫2〞的包率就持續(xù)在100Kpps之上了7月25號初步討論集體研究發(fā)現(xiàn)高頻率小包應(yīng)答的特點：請求包都是21字節(jié)每一個請求包和下一個請求包的大局部內(nèi)容都是重復(fù)