《CSNA網(wǎng)絡(luò)分析認(rèn)證專家實(shí)戰(zhàn)案例》課件-第4章

第4章某供電局營銷應(yīng)用服務(wù)中斷問題分析案例4.1故障描述4.2問題分析過程4.3分析結(jié)論

4.1.1故障現(xiàn)象

某供電局隨著業(yè)務(wù)的拓展，信息水平不斷提升，信息化應(yīng)用越發(fā)突顯其關(guān)鍵價(jià)值。盡管經(jīng)過嚴(yán)格測試，各業(yè)務(wù)用戶在上線后還是會(huì)遇到許多無法預(yù)測的問題。網(wǎng)絡(luò)帶寬、網(wǎng)元健康狀況、網(wǎng)絡(luò)策略、終端性能、用戶使用習(xí)慣、服務(wù)器性能、程序設(shè)計(jì)等眾多相互關(guān)聯(lián)的因素，都會(huì)影響到業(yè)務(wù)的質(zhì)量，任何一種環(huán)境的改變都可能造成業(yè)務(wù)質(zhì)量的下降。4.1故障描述某供電局作為供電企業(yè)最關(guān)鍵業(yè)務(wù)應(yīng)用之一的營銷應(yīng)用出現(xiàn)了多次偶發(fā)性死機(jī)現(xiàn)象，對該局電網(wǎng)業(yè)務(wù)造成極大影響。信息部門希望通過這次分析服務(wù)，排查故障期間訪問過營銷系統(tǒng)服務(wù)器的主機(jī)行為，協(xié)助對異?，F(xiàn)象進(jìn)行分析定位，并為網(wǎng)絡(luò)與應(yīng)用的運(yùn)行管理提供優(yōu)化依據(jù)。

下面結(jié)合科來網(wǎng)絡(luò)產(chǎn)品，對該供電局信息部門的網(wǎng)絡(luò)應(yīng)用系統(tǒng)的故障問題進(jìn)行詳細(xì)分析。4.1.2網(wǎng)絡(luò)拓?fù)?/p>

用戶的網(wǎng)絡(luò)環(huán)境示意圖如圖4-1所示。

圖4-1本案例中部署科來回溯分析系統(tǒng)的目的是對網(wǎng)絡(luò)進(jìn)行全面的監(jiān)控和分析，并不是單純?yōu)榱私鉀Q營銷服務(wù)器的問題，因此采用的是核心交換全端口鏡像的方式。如果單純?yōu)榻鉀Q營銷服務(wù)器的問題，只需要鏡像服務(wù)器區(qū)接口的雙向流量就可以實(shí)現(xiàn)。

2013年某日下午17時(shí)00分左右，營銷系統(tǒng)服務(wù)器無法訪問。通過FTP登錄到服務(wù)器，發(fā)現(xiàn)磁盤空間已經(jīng)被兩個(gè)heapdump文件占滿。刪除heapdump文件，重啟營銷weblogicserver，服務(wù)于17時(shí)20分恢復(fù)正常。4.2問題分析過程4.2.1服務(wù)器流量分析

我們獲取營銷服務(wù)器的訪問流量并進(jìn)行分析(如圖4-2所示)，發(fā)現(xiàn)從16時(shí)48分開始流量持續(xù)下降，至17時(shí)10分流量達(dá)到最低值，接近于0。

圖4-2

圖4-3這段時(shí)間共有251個(gè)客戶端訪問了營銷服務(wù)器，其中流量最大的是客服中心的兩臺客戶端10.XXX.XXX.165和10.XXX.XXX.157，流量分別達(dá)到408.77MB和269.25MB；流量第三的是服務(wù)器10.XXX.XXX.121，達(dá)到184MB；需要注意的是，流量使用前15名的主機(jī)中，多是屬于客服中心網(wǎng)段的客戶端，大多數(shù)流量均超過100MB；大部分訪問營銷服務(wù)器的用戶流量不會(huì)太高，在8MB左右，如圖4-4所示。

圖4-44.2.2客戶端流量分析

故障發(fā)生期間，流量最大的客戶端是10.XXX.XXX.165和10.XXX.XXX.157，我們針對其流量作了進(jìn)一步的分析。

客戶端10.XXX.XXX.165使用流量情況如圖4-5所示。

圖4-5如上圖所示，在異常發(fā)生期間，客戶端10.XXX.XXX.165和營銷服務(wù)器10.XXX.XXX.11共產(chǎn)生了3591個(gè)會(huì)話，會(huì)話流量從數(shù)十KB至數(shù)百KB不等，按會(huì)話產(chǎn)生的流量進(jìn)行排序，如圖4-6所示。

圖4-6流量最大的客戶端通過4530端口訪問服務(wù)器7001端口的會(huì)話，共產(chǎn)生了2665個(gè)數(shù)據(jù)報(bào)文，流量為2.259MB，對其進(jìn)行解碼時(shí)發(fā)現(xiàn)了異常情況，如圖4-7所示。

圖4-7如圖4-7所示，該會(huì)話過程持續(xù)了25秒，會(huì)話開始客戶端與營銷服務(wù)器10.XXX.XXX.11建立連接后，客戶端在0.017秒后發(fā)送了GET請求，請求內(nèi)容為

GET/j2yd/_assembleLib/systim/fmGrid/lookAndFell/image/btn.jpg

服務(wù)器在0.001秒內(nèi)進(jìn)行了應(yīng)答，并開始傳輸數(shù)據(jù)，數(shù)據(jù)內(nèi)容在0.03秒內(nèi)傳輸完畢，客戶端又發(fā)起了相同的請求，如圖4-8所示。

圖4-8如圖4-8的①處所示，對比上一次的發(fā)送時(shí)間可知，每隔0.03秒客戶端會(huì)向服務(wù)器發(fā)起一個(gè)重復(fù)的GET請求，請求的對象是“btn.jpg”文件。

我們對相關(guān)的會(huì)話過程進(jìn)行了排查整理，發(fā)現(xiàn)3591個(gè)會(huì)話過程中，有3330個(gè)會(huì)話都一直在請求該文件，剩余261個(gè)會(huì)話都是故障發(fā)生期間客戶端發(fā)起的TCP連接請求。如此大量的請求數(shù)據(jù)，客戶端是在做什么呢？

“jpg”是以24位顏色存儲單個(gè)光柵圖像的一種圖片格式，同時(shí)我們發(fā)現(xiàn)某些客戶端請求相同的文件，卻并沒有同樣的異常行為，見圖4-9。

圖4-9如圖4-9所示，該客戶端請求相同的對象，但是僅重復(fù)了3次，會(huì)話過程沒有出現(xiàn)前文所述的異常。

如果不了解應(yīng)用特征，則很有可能找錯(cuò)方向。供電局負(fù)責(zé)營銷應(yīng)用的工程師為我們講述了該文件的作用：從某供電局營銷系統(tǒng)應(yīng)用的角度來看，這些請求的發(fā)出，代表的是營銷應(yīng)用客戶端模擬點(diǎn)擊按鈕的操作，我們知道請求了“btn.jpg”文件，要找到其關(guān)聯(lián)的“.do”或者“.js(p)”文件。通過數(shù)據(jù)解碼，如圖4-10中②處所示，我們發(fā)現(xiàn)該請求是

referer：“1:7001/j2yd/dfScatterRecomShouldAction.do?actionType=GENSHOULD”。也就是說該動(dòng)作導(dǎo)致了客戶端發(fā)起“GET…btn.jpg”指令。

圖4-10為了得到更直觀的指向，我們針對所有會(huì)話進(jìn)行了排查，發(fā)現(xiàn)在某些會(huì)話過程中(如圖4-11所示)，開始期間客戶端與服務(wù)器的數(shù)十次的請求應(yīng)答，雙方行為都較為正?？墒堑降?3次請求的時(shí)候，客戶端向服務(wù)器發(fā)送“POSTj2yd/dfScatterRecomShouldAction.do”的請求，收到服務(wù)器200OK應(yīng)答后，就開始了不斷地請求btn.jpg文件。

圖4-11因此我們認(rèn)為，這些大量的異常重復(fù)的“GET…btn.jpg”的請求，與j2yd/dfScatterRecomShouldAction.do有關(guān)。

另外，客戶端10.XXX.XXX.157和10.XXX.XXX.149與服務(wù)器的會(huì)話情況分別如圖4-12、圖4-13所示。

圖4-12

圖4-13我們發(fā)現(xiàn)，只要“GET…btn.jpg”是referer：“http://10.XXX.XXX.11:7001/j2yd/dfScatterRecomShouldAction.do”的操作，均會(huì)出現(xiàn)前文所述的不斷密集重復(fù)請求的異常。

大量的異常請求，很有可能導(dǎo)致應(yīng)用系統(tǒng)的異常，建議管理員對該操作進(jìn)行排查。

(從英文字符的意思來看，df表示電費(fèi)，Scatter表示分散，Recom含義不詳)4.2.3營銷應(yīng)用其他服務(wù)器的排查

相同的異常在營銷應(yīng)用的其他服務(wù)器上也有體現(xiàn)。如圖4-14所示，某些客戶端流量遠(yuǎn)高于與這臺服務(wù)器相連接的兩臺數(shù)據(jù)庫服務(wù)器10.XXX.XXX.14和10.XXX.XXX.16的流量。

圖4-14這些客戶端也是在向服務(wù)器大量重復(fù)請求“btn.jpg”文件，見圖4-15。

圖4-15

4.3.1故障說明

經(jīng)過排查，定位出錯(cuò)的程序?yàn)椤半娰M(fèi)管理系統(tǒng)”的“分散復(fù)核明細(xì)查詢”功能模塊。4.3分析結(jié)論4.3.2優(yōu)化后監(jiān)測

我們在監(jiān)測后期看到各客戶端訪問營銷服務(wù)器的流量持續(xù)下降，異常流量的減少，很有可能與故障發(fā)生后系統(tǒng)管理員對營銷應(yīng)用進(jìn)行了一系列的優(yōu)化調(diào)整有關(guān)，如圖4-16所示。

圖4-16發(fā)生故障時(shí)，