案例分析-DNS故障引發(fā)子網(wǎng)流量異常

案例分析:DNS故障引發(fā)子網(wǎng)流量異常1、癥狀描述

客戶來(lái)電報(bào)告中心主網(wǎng)絡(luò)則基本正常，而一個(gè)子網(wǎng)突然變慢。這是本地鐵通網(wǎng)絡(luò)服務(wù)公司，該公司為普通用戶提供Web服務(wù)和Internet接入服務(wù)。前幾天其服務(wù)的一個(gè)片區(qū)的用戶反映網(wǎng)絡(luò)速度很慢，發(fā)Email也需要等待超過(guò)60秒以上的時(shí)間才能聯(lián)通。這個(gè)片區(qū)被劃分為一個(gè)子網(wǎng)，從主機(jī)房的網(wǎng)管系統(tǒng)上觀察發(fā)現(xiàn)除了該片區(qū)(子網(wǎng))路由器流量很高以外(測(cè)試為97%)，中心網(wǎng)絡(luò)的路由器與其它子網(wǎng)的交互流量均為40%以下。此外，沒(méi)有其它特別現(xiàn)象。

2、診斷過(guò)程

鐵通的維護(hù)人員自行進(jìn)行了網(wǎng)絡(luò)排錯(cuò)可惜沒(méi)有找到故障所在，由于不能斷開(kāi)網(wǎng)絡(luò)停止用戶服務(wù)來(lái)進(jìn)行檢查，于是求助于我們，本人被派出診。應(yīng)該說(shuō)，從癥狀上看這個(gè)故障比較簡(jiǎn)單，只要查出子網(wǎng)的路由流量來(lái)源就可以很快確定故障方向，進(jìn)一步則立即可以查出流量源。

從網(wǎng)絡(luò)拓?fù)鋱D上看，故障子網(wǎng)與中心網(wǎng)絡(luò)為E1鏈路。故障子網(wǎng)下面有一個(gè)營(yíng)業(yè)廳，一般只與中心網(wǎng)絡(luò)交互一些業(yè)務(wù)數(shù)據(jù)應(yīng)該不會(huì)有太大的流量。此外，該子網(wǎng)下的Web服務(wù)器數(shù)量為45臺(tái)，中心的網(wǎng)管系統(tǒng)報(bào)告97%的流量肯定是過(guò)高的。

筆者考慮只有一種情況可以比較多地占用E1通道的有效流量，那就是故障子網(wǎng)下的網(wǎng)站與中心網(wǎng)絡(luò)的網(wǎng)站或服務(wù)器之間有多媒體文檔的傳輸或者下載業(yè)務(wù)才會(huì)造成這種情況。不過(guò)詢問(wèn)管理人員得知中心網(wǎng)絡(luò)并不提供諸如多媒體視頻的播放和下載服務(wù)，那只能借助工具進(jìn)行檢測(cè)了。

由于故障網(wǎng)絡(luò)規(guī)模比較小，中心網(wǎng)絡(luò)的網(wǎng)管系統(tǒng)只支持到路由器一級(jí)的管理，交換機(jī)和服務(wù)器等采用的是廉價(jià)的桌面交換機(jī)，所以無(wú)法支持網(wǎng)絡(luò)管理。將網(wǎng)絡(luò)測(cè)試儀接入交換機(jī)進(jìn)行測(cè)試，啟動(dòng)便攜網(wǎng)管功能，可以看到路由器的流量和網(wǎng)管系統(tǒng)觀測(cè)的到的流量是相同的，均為97%左右。

查看中心網(wǎng)絡(luò)處與此相連的路由器流量，也是997%左右，這說(shuō)明路由器通道鏈路性能基本正常。不過(guò)這樣高的通道流量必然導(dǎo)致路由器擁塞和丟包，所以從流量的角度看又是不正常的。現(xiàn)在需要了解的是，如此高的路由流量是從哪里來(lái)的，以及數(shù)據(jù)包到達(dá)路由器以后的去向等。這樣就可以很快定位導(dǎo)致如此之高的通道流量的數(shù)據(jù)源和擁塞源。

將網(wǎng)絡(luò)流量分析儀接入網(wǎng)絡(luò)的路由器通道進(jìn)行監(jiān)測(cè)和分析，結(jié)果顯示95%流量流向了業(yè)務(wù)數(shù)據(jù)服務(wù)器，且多數(shù)為HTTP和Email方面應(yīng)用。其中，Internet訪問(wèn)流量占88%，本地流量占7%。查看流量分析儀指示的流量來(lái)源分布圖，沒(méi)有發(fā)現(xiàn)集中的流量應(yīng)用，IP地址分布比較均衡，的流量只占0.5%。這些數(shù)據(jù)表明，用戶的應(yīng)用比例均衡，故障原因應(yīng)該在應(yīng)用過(guò)程中而不是某個(gè)集中的用戶“轟擊”比如黑客等。也就是說(shuō)，應(yīng)該是應(yīng)用的過(guò)程和通道出了問(wèn)題。其原因是這些流量按通道設(shè)計(jì)不應(yīng)該到達(dá)營(yíng)業(yè)廳網(wǎng)絡(luò)的業(yè)務(wù)服務(wù)器，而是應(yīng)該直接從中心網(wǎng)絡(luò)的Internet主路由器進(jìn)入互聯(lián)網(wǎng)。那么，這些流量是如何被引導(dǎo)到營(yíng)業(yè)廳服務(wù)器方向上來(lái)的呢?

下面我們進(jìn)行進(jìn)一步的分析，大家知道IP數(shù)據(jù)包在傳輸過(guò)程中會(huì)在路由器中作地址解析(ARP)，或是在本地DNS中進(jìn)行域名分析。如果這些分析路徑出問(wèn)題，則IP數(shù)據(jù)包的傳輸和交換就會(huì)出問(wèn)題。根據(jù)流量分析儀的指示，筆者任意選擇了10個(gè)IP地址做路由追蹤測(cè)試，用網(wǎng)絡(luò)測(cè)試儀追蹤的結(jié)果是，他們都要經(jīng)過(guò)一個(gè)DNS服務(wù)器。而模仿?tīng)I(yíng)業(yè)廳網(wǎng)絡(luò)成員分別對(duì)已知的本地和外地用戶做ICMP監(jiān)測(cè)和路由追蹤測(cè)試，結(jié)果發(fā)現(xiàn)ICMP監(jiān)測(cè)中重定向數(shù)據(jù)包占82%，目標(biāo)不可達(dá)數(shù)據(jù)包數(shù)量占13%。這表明，只有約2%的用戶能一次性出入正常路由到達(dá)目標(biāo)站點(diǎn)，其余95%的IP數(shù)據(jù)包都要經(jīng)過(guò)路由競(jìng)爭(zhēng)或重新發(fā)送才能有部分機(jī)會(huì)到達(dá)目的地。

由此，可以重點(diǎn)檢查主路由器的路由表和DNS的轉(zhuǎn)換表。由于多數(shù)Internet訪問(wèn)流量被引導(dǎo)到了營(yíng)業(yè)廳業(yè)務(wù)服務(wù)器，所以可以重點(diǎn)檢查DNS服務(wù)器。用網(wǎng)絡(luò)測(cè)試儀對(duì)DNS服務(wù)器做查詢，觀察查詢結(jié)果，發(fā)現(xiàn)DNS轉(zhuǎn)換表有相當(dāng)大的比例指向了營(yíng)業(yè)廳子網(wǎng)中的業(yè)務(wù)服務(wù)器。筆者懷疑是DNS服務(wù)器出了問(wèn)題!

于是通知中心網(wǎng)絡(luò)的網(wǎng)管人員將DNS服務(wù)器重新啟動(dòng)并快速設(shè)置一次，稍后網(wǎng)絡(luò)管理人員報(bào)告網(wǎng)絡(luò)業(yè)務(wù)恢復(fù)正常。用網(wǎng)絡(luò)測(cè)試儀的Internet工具包查詢DNS服務(wù)器，可以看到指向營(yíng)業(yè)廳業(yè)務(wù)服務(wù)器的數(shù)據(jù)已經(jīng)全部消失，這表明網(wǎng)絡(luò)已經(jīng)完全恢復(fù)了正常工作。但好景不長(zhǎng)，約3分鐘后，故障重新出現(xiàn)，仍有97%的通道流量被指向了子網(wǎng)。

由于DNS服務(wù)器只設(shè)置了一臺(tái)，沒(méi)有備份或備用服務(wù)器，于是不得不立即來(lái)到中心網(wǎng)絡(luò)機(jī)房，對(duì)DNS服務(wù)器及其周圍設(shè)備進(jìn)行檢查。測(cè)試服務(wù)器網(wǎng)卡和與路由器的電纜正常。為了不中斷服務(wù)，筆者讓網(wǎng)管人員在另一臺(tái)備用服務(wù)器上臨時(shí)安裝設(shè)置了DNS服務(wù)器。經(jīng)過(guò)短暫的業(yè)務(wù)中斷后，更換上的新DNS服務(wù)器開(kāi)始投入適用。只見(jiàn)子網(wǎng)路由器的流量立刻降低到了1.5%。經(jīng)過(guò)30分鐘的穩(wěn)定工作后，所有用戶均恢復(fù)到正常工作狀態(tài)，故障消除。

3、故障原因

大家知道，DNS服務(wù)器用于將用戶域名轉(zhuǎn)換為IP地址，一般來(lái)說(shuō)不會(huì)出現(xiàn)什么問(wèn)題。但由于某些原因，造成了類似本例的中轉(zhuǎn)換地址統(tǒng)統(tǒng)指向了營(yíng)業(yè)廳子網(wǎng)的業(yè)務(wù)服務(wù)器。業(yè)務(wù)服務(wù)器不具備路由處理功能，對(duì)發(fā)送來(lái)的IP數(shù)據(jù)包要么拒收并置之不理，要么返回目標(biāo)不可達(dá)或需要重定向的報(bào)告數(shù)據(jù)包。這就是我們?cè)贗CMP監(jiān)測(cè)時(shí)經(jīng)常觀察到的現(xiàn)象。

本地鐵通的用戶數(shù)量并不多，而且與上級(jí)網(wǎng)絡(luò)的鏈路帶寬為155M的ATM鏈路，大有富余，所以上Internet的用戶其上網(wǎng)速度主要受子網(wǎng)帶寬的影響。因?yàn)樵S多的用戶要經(jīng)過(guò)擁擠的無(wú)效E1鏈路，造成路由重定向和嚴(yán)重的時(shí)延。大量的IP數(shù)據(jù)包擁向只有2M帶寬的子網(wǎng)路由器，流量達(dá)到了97%，造成子網(wǎng)工作速度突然變慢，路由器出現(xiàn)嚴(yán)重?fù)砣痊F(xiàn)象。

4、兩點(diǎn)建議

(1).DNS服務(wù)器要定期“體檢”

基為了防止DNS服務(wù)不穩(wěn)定造成業(yè)務(wù)中斷或出錯(cuò)，不少網(wǎng)管人員在設(shè)置DNS服務(wù)器時(shí)都安裝了備用DNS服務(wù)器，亦即安裝不只一臺(tái)DNS服務(wù)器。但這樣做也會(huì)帶來(lái)一個(gè)潛在的危險(xiǎn)，即主DNS服務(wù)器出問(wèn)題，備用自動(dòng)服務(wù)器投入運(yùn)行，這樣會(huì)犧牲一定的網(wǎng)絡(luò)帶寬，使得系統(tǒng)總體性能有所下降。危險(xiǎn)在于，性能的下降常常是在不知不覺(jué)中來(lái)到的。所以，為了保證網(wǎng)絡(luò)經(jīng)常處于良好的工作狀態(tài)，網(wǎng)絡(luò)管理人員需要定期檢查DNS服務(wù)器的轉(zhuǎn)換表。

本故障中的DNS指向錯(cuò)誤導(dǎo)致用戶的IP數(shù)據(jù)包對(duì)準(zhǔn)了子網(wǎng)服務(wù)器，但如果對(duì)準(zhǔn)的不是服務(wù)器而是中心網(wǎng)絡(luò)本地網(wǎng)段中的某臺(tái)機(jī)器，則故障強(qiáng)度會(huì)減弱，用戶不會(huì)感到非常明顯的速度變慢。這樣可能不會(huì)感到明顯的“身體不適”從而使得網(wǎng)絡(luò)長(zhǎng)期帶病運(yùn)行。就象人一樣，定期的體檢對(duì)及時(shí)發(fā)現(xiàn)疾病及其隱患是非常必要的。而如何及時(shí)發(fā)現(xiàn)路由優(yōu)化方面的問(wèn)題，也是網(wǎng)絡(luò)定期項(xiàng)目測(cè)試中的內(nèi)容之一，對(duì)大型網(wǎng)絡(luò)則更有必要，必須堅(jiān)持定期維護(hù)和測(cè)試。

(2).網(wǎng)絡(luò)狀況的實(shí)時(shí)監(jiān)控

許多網(wǎng)絡(luò)設(shè)備如路由器、交換機(jī)、只能集線器等都支持SNMP網(wǎng)管功能，但為了全面監(jiān)測(cè)網(wǎng)絡(luò)通道功能，還需要網(wǎng)絡(luò)設(shè)備支持全面的RMON和RMON2。用這樣的設(shè)備組建起來(lái)的網(wǎng)絡(luò)其管理和故障診斷功能是很不錯(cuò)的。但現(xiàn)實(shí)的問(wèn)題是，這樣的網(wǎng)絡(luò)設(shè)備價(jià)格是普通網(wǎng)絡(luò)設(shè)備的6～10倍左右，用戶難以接受。因此，為了隨時(shí)監(jiān)測(cè)網(wǎng)絡(luò)的服務(wù)應(yīng)用流量及其比例、來(lái)源，工作記錄以及必要時(shí)進(jìn)行解包分析，建議用戶在重要的服務(wù)器通道或路由通道上安裝監(jiān)測(cè)接口。以便必要時(shí)可以隨時(shí)將流量分析儀、網(wǎng)絡(luò)測(cè)試儀接入通道進(jìn)行監(jiān)測(cè)和分析。這樣，本故障的查找時(shí)間可以縮短到20分鐘左右。當(dāng)