《帶寬測(cè)量綜述》ppt課件

1、 Bandwidth Measuring and a tool : Nettimer辜煒東2004.11提綱l帶寬丈量綜述l丈量技術(shù)和工具l帶寬丈量模型lOne packetlPacket pairlPacket tailgatingl帶寬丈量綜述l丈量技術(shù)和工具l帶寬丈量模型lOne packetlPacket pairlPacket tailgating帶寬丈量概述l普通定義l指數(shù)據(jù)傳輸速率，即線路上每秒能傳輸多少字節(jié)(Byte/s)。l為何需求丈量帶寬l雖然網(wǎng)絡(luò)帶寬不斷添加，但由于用戶數(shù)不斷添加，運(yùn)用程序需求的帶寬也越來越大，所以必需采用相應(yīng)的技術(shù)來讓網(wǎng)絡(luò)更加暢通帶寬丈量是其根底l難點(diǎn)l

2、準(zhǔn)確性l對(duì)各種不同的網(wǎng)絡(luò)情況的丈量l布置丈量軟件的靈敏性l如何降低丈量耗費(fèi)l一些定義l帶寬容量(bandwidth capacity):網(wǎng)絡(luò)環(huán)境中或者端對(duì)端途徑上的鏈路層上實(shí)際上能到達(dá)的最大帶寬l當(dāng)前運(yùn)用帶寬(bandwidth utilization)：當(dāng)前在某個(gè)hop或者某條途徑上曾經(jīng)被占用的帶寬的總和l可用帶寬(available bandwidth)：帶寬容量-當(dāng)前運(yùn)用帶寬l可達(dá)帶寬(achievable bandwidth):指兩個(gè)端之間的吞吐量，這兩個(gè)端處于特定的網(wǎng)絡(luò)條件下，例如傳輸協(xié)議，主機(jī)的硬件配置，操作系統(tǒng)，系統(tǒng)設(shè)置等。l延遲(delay)：?jiǎn)蜗蜓舆t(OWD),往返延遲(RT

3、T)。l丟包(loss)：在兩個(gè)節(jié)點(diǎn)間喪失的包分片。同樣包括單向和往返。丈量帶寬的主要場(chǎng)景l(fā)自動(dòng)丈量、被動(dòng)丈量l單向、雙向l長(zhǎng)途徑、短途徑l帶寬丈量綜述l丈量技術(shù)和工具l帶寬丈量模型lOne packetlPacket pairlPacket tailgating當(dāng)前丈量帶寬的主要技術(shù)lThroughputlTCP throughput丈量法是不充分的，由于它不包括由鏈路層頭、IP頭、TCP頭和重傳所耗費(fèi)的帶寬。lOne packetlPacket pairlPacket tailgating當(dāng)前比較流行的帶寬丈量工具l丈量一條途徑上一切鏈接的帶寬lpathchar、clink、pchar、t

4、ailgaterl缺陷:耗時(shí),對(duì)只需丈量瓶頸帶寬的運(yùn)用來說是沒有必要的l還有，這些工具加上bprobe，都只能在單向上丈量帶寬l自動(dòng)發(fā)送探測(cè)包ltcpanaly、pathratel比被動(dòng)丈量更加準(zhǔn)確，但是負(fù)載重lnettimerl丈量瓶頸帶寬lLibdpcap發(fā)包抓包庫:允許在遠(yuǎn)程機(jī)器上丈量，以減少本地機(jī)器的計(jì)算量l采用被動(dòng)方式實(shí)時(shí)測(cè)試長(zhǎng)路經(jīng)上的安靜帶寬l能丈量?jī)蓚€(gè)方向上的帶寬大部分技術(shù)/工具的缺陷l準(zhǔn)確度低l都是用樣本統(tǒng)計(jì)的方法，近似地丈量l在網(wǎng)絡(luò)擁塞嚴(yán)重的情況下，測(cè)不準(zhǔn)l可丈量性差l丈量速度慢l有的網(wǎng)絡(luò)情況無法丈量、或者只能丈量單向l有些結(jié)果不支持統(tǒng)計(jì)學(xué)的規(guī)律l靈敏性差l很難有一種方法對(duì)一

5、切的網(wǎng)絡(luò)情況(網(wǎng)絡(luò)類型、途徑長(zhǎng)短、數(shù)據(jù)流向等)都適用l有的需求在丈量的兩端都配置丈量軟件l加大網(wǎng)絡(luò)擁塞l由于需求多次丈量進(jìn)展統(tǒng)計(jì)，所以發(fā)數(shù)據(jù)包多nettimerl用于丈量瓶頸銜接帶寬l在如下的環(huán)境下測(cè)試過l19.2Kb/s100Mb/s的帶寬l有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)l對(duì)稱帶寬、非對(duì)稱帶寬l局域網(wǎng)、廣域網(wǎng)l測(cè)試結(jié)果l誤差小于10%l最壞情況誤差為40%(超越17hop的長(zhǎng)路經(jīng))l測(cè)試時(shí)耗費(fèi)小于7%的網(wǎng)絡(luò)帶寬lnettimer采用packet pair模型l帶寬丈量綜述l丈量技術(shù)和工具l帶寬丈量模型lOne packetlPacket pairlPacket tailgatingone packet模

6、型(1)12536000226000MMone packet模型(2)l關(guān)于傳輸延遲 和傳播延遲l傳輸延遲是由路由器復(fù)制一個(gè)包到其緩沖區(qū)里并且將它按順序地傳送到一個(gè)鏈路上的時(shí)間決議的。l傳播延遲是由信號(hào)的傳輸時(shí)間(光速)，路由器從路由表里查找路由的時(shí)間，以及路由器在轉(zhuǎn)發(fā)此包之前轉(zhuǎn)發(fā)其他包所帶來的延遲時(shí)間所決議的。l單包模型是建立在如下前提上的：l傳輸時(shí)間跟包的大小成線性比例(根本合理)l路由器都是存儲(chǔ)轉(zhuǎn)發(fā)的(根本合理)l鏈接是單通道的(single-channel)(有某些多通道的鏈路)l傳輸途徑上沒有其他網(wǎng)絡(luò)流量導(dǎo)致丈量包的排隊(duì)阻塞(不大合理)經(jīng)過取最小延遲的樣本作為正確的樣本，來處理這個(gè)問

7、題ibs0idone packet模型(3)one packet模型(4)l單包技術(shù)的存在問題l每個(gè)鏈接上都必需用上圖的方法計(jì)算帶寬(斜率的倒數(shù))，因此能夠發(fā)包數(shù)量多為了過濾去不正確的丈量樣本l單包技術(shù)需求路由器及時(shí)確實(shí)認(rèn)包(ack)l(ICMP或者UDP)有些路由器不支持l網(wǎng)橋，有些網(wǎng)橋(節(jié)點(diǎn))并不對(duì)TTL做減一的操作。application-kernel,kernel-NIC,NIC-kernel三種傳輸延遲沒有被扣除l依賴于ack，所以要計(jì)算往返延遲，加倍了被其他包影響而阻塞的誤差l后面說到的Packet tailgating技術(shù)正是能處理以上一切問題的技術(shù)l帶寬丈量綜述l丈量技術(shù)和工具

8、l帶寬丈量模型lOne packetlPacket pairlPacket tailgatingPacket Pair 模型(1)Packet Pair模型(2)Packet Pair特性:假設(shè) 是0到l各個(gè)鏈接中帶寬最小的一個(gè)，假設(shè)在很小的間隔時(shí)間內(nèi)( - ，n是途徑上最小帶寬鏈路的下一hop)發(fā)出兩個(gè)大小一樣 ( = )的包，那么這兩個(gè)包到達(dá)n的時(shí)間間隔 將是 。)min(lb10t00t)1min(1nbs0s1s01tnnt)1min(1nbsPacket Pair模型(3)l運(yùn)用此技術(shù)的前提l傳輸延遲與包的大小成正比l路由器都是存儲(chǔ)轉(zhuǎn)發(fā)的lReceive bandwidthllSen

9、d bandwidth(注:以為是延續(xù)發(fā)出的包)l011bnnltts00101bttslPacket Pair模型(4)l過濾技術(shù)過濾去不正常的丈量樣本lA:正常;B:中間插入新包;lC:第一個(gè)包被前面的包阻塞; D:初始間隔時(shí)間太長(zhǎng)Packet Pair模型(5)l兩種過濾技術(shù)：密度估計(jì)技術(shù)、基于接納/發(fā)送帶寬比率的過濾技術(shù)l密度估計(jì)技術(shù)011rBnntts00101sBttsBrBs，不正常Packet Pair模型(6)l計(jì)算密度的方法kernel density estimationl中心函數(shù)K(t)l 滿足l對(duì)于receive Bandwidth的一個(gè)樣本x,其密度函數(shù)為llc稱為

10、中心帶寬比率，0 c 1，n為c*x中的點(diǎn)的個(gè)數(shù)。c取值越大，計(jì)算越準(zhǔn)確，但是計(jì)算耗費(fèi)越大。普通地，取c=0.1。Packet Pair模型(7)l基于接納/發(fā)送帶寬比率的過濾技術(shù)l定義關(guān)于接納帶寬樣本x的接納/發(fā)送帶寬比率為lp(x) = 1 -ll其中s(x)是x的發(fā)送帶寬l但是，假設(shè)給定具有一樣發(fā)送帶寬的兩個(gè)不同的樣本，上面的公式更偏向于接納帶寬小者(x越小,ln(x)越小,p(x)越大)。因此定義接納帶寬比率如下：)(ln()ln(xsxPacket Pair模型(8)l綜合的過濾算法l取f(x)的最大值為瓶頸帶寬的值。lf(x)中各項(xiàng)取何種比例最好，還尚在研討中。l另外一點(diǎn)，普通地，

11、都運(yùn)用最后w個(gè)樣本，這樣可以更矯捷地丈量瓶頸帶寬(不過w越小，測(cè)得越不準(zhǔn)確)。丈量機(jī)器數(shù)的問題l雙主機(jī)lReceiver Based Packet Pair(RBPP)l單主機(jī)lSender Based Packet Pair(SBPP)l 運(yùn)用運(yùn)用層的ACK信息取代RBPP需求的包lOnly Packet Pair(ROPP)l 只運(yùn)用包的到達(dá)時(shí)間分包和抓包技術(shù)(1)lserver抓包，計(jì)算l益處：無法分發(fā)，節(jié)省帶寬lserver抓包，分發(fā)，client計(jì)算l益處：server計(jì)算負(fù)少l client可以靈敏編寫性能丈量的代碼l 減少必需在root權(quán)限下執(zhí)行的代碼數(shù)量分包和抓包技術(shù)(2)lL

12、ibdpcap庫l基于libpcap庫l啟動(dòng)libdpcap server時(shí)，需指定如下4個(gè)參數(shù)lsend_thresh 包頭部的字節(jié)數(shù)lsend_interval 包頭部發(fā)送間隔lfilter_cmd 指定這個(gè)server必需抓取哪些包lcap_len 指定抓取的包的長(zhǎng)度l啟動(dòng)libdpcap client時(shí)，lfilter_cmd 指定要銜接的效力器的集合分包和抓包技術(shù)(3)l當(dāng)client銜接上一個(gè)server時(shí)，server前往cap_len和clock resolution。不同機(jī)器有不同的clock resolution，如linux=2.2.0的resolution是20micr

13、oseconds。Nettimer的實(shí)驗(yàn)結(jié)果(1)Nettimer的實(shí)驗(yàn)結(jié)果(2)提綱l帶寬丈量綜述l丈量技術(shù)和工具l帶寬丈量模型lOne packetlPacket pairlPacket tailgating帶寬丈量：包延遲確實(shí)定性模型(1)l先前模型l用數(shù)據(jù)庫來存放帶寬，無法跟上路由情況的變化速率。路由器不報(bào)告鏈接帶寬(link bandwidths)，由于要求路由器回應(yīng)帶寬訊問懇求，會(huì)大大加重其負(fù)擔(dān)。最好的方法是終端主機(jī)本人丈量，并且可以跟其他主機(jī)分享丈量信息。l單丈量包模型l需求路由器一直如一地處置ICMP包，以及及時(shí)傳輸?shù)腁CK信息l并且占用可觀的帶寬，能夠丈量速度較慢包延遲確實(shí)定

14、性模型(2)l包延遲的決議性模型l運(yùn)用packet tailgating技術(shù)丈量internet上一條途徑上各個(gè)鏈接的帶寬lpacket tailgating技術(shù)l經(jīng)過在特定鏈接間引起包的排隊(duì)，來獲取該鏈接的特性l對(duì)于每個(gè)鏈接，發(fā)送一個(gè)大的包，同時(shí)把它的TTL設(shè)為在該鏈接處中止的值，隨后接著發(fā)送一個(gè)很小的包，該包會(huì)在前面的大包后面排隊(duì)，直到大包被丟棄。l實(shí)際上，packet tailgating可以偵查到多通道的鏈接，可以在多播樹上運(yùn)轉(zhuǎn)。包延遲確實(shí)定性模型(3)l此模型交融了兩種技術(shù)的優(yōu)點(diǎn)：lFIFO排隊(duì)網(wǎng)絡(luò)的packet pair特性l自動(dòng)丈量鏈路層帶寬的packet tailgating技

15、術(shù)lPacket tailgating技術(shù)相比于之前的其他技術(shù)：l耗費(fèi)更少的網(wǎng)絡(luò)帶寬。發(fā)送更少數(shù)量的包，而堅(jiān)持同樣準(zhǔn)確的丈量效果l不依賴路由器(不需求路由器繼續(xù)地處置ICMP包)l不需求及時(shí)確實(shí)認(rèn)信息(ACK)l缺陷l在長(zhǎng)路經(jīng)上的帶寬的丈量上依然不夠準(zhǔn)確包延遲確實(shí)定性模型(4)l用多包延遲模型來滿足FIFO排隊(duì)網(wǎng)絡(luò)的packet pair特性。Packet pair本是用于公平排隊(duì)(fair-queueing)網(wǎng)絡(luò)的，而非FIFO排隊(duì)網(wǎng)絡(luò)。multi-packet模型l一致了one packet和packet pair模型的優(yōu)點(diǎn)，能很好地丈量一條路經(jīng)上一切鏈接的帶寬multi-packet延遲

16、公式(1)假定第一個(gè)包從不排隊(duì)，即與one packet模型的公式：的不同是，對(duì)于第k個(gè)包，它思索了前面k-1個(gè)包所帶來的排隊(duì)延遲0.q0100nq假設(shè)沒有pcaket k-1的阻塞而導(dǎo)致排隊(duì)，packet k應(yīng)該從此刻開場(chǎng)傳送multi-packet延遲公式(2)綜合這兩個(gè)式子:得到鏈接帶寬丈量運(yùn)用multi-packet技術(shù)(1)鏈接帶寬丈量運(yùn)用multi-packet技術(shù)(2)定義:那么上頁式子解出qlbPacket tailgating技術(shù)(1)l這個(gè)技術(shù)分為兩種情況：lsigma情況：丈量整條途徑的特性ltailgating情況：獨(dú)立丈量每一個(gè)鏈接的特性lsigma情況：l發(fā)送不同大

17、小的包，選擇每個(gè)包延遲最小的樣本作為正確樣本，不斷發(fā)送包，直到線性回歸超越99%ltailgating情況：l假定我們可以發(fā)送不被排隊(duì)的第一個(gè)包，然后發(fā)送在鏈接 排隊(duì)、而以后的鏈接中再也不排隊(duì)的第二個(gè)包。l為了做到這一點(diǎn)，我們先發(fā)送盡量大的(不被分片)的包，這個(gè)包帶有一個(gè)TTL值，設(shè)定到 時(shí)TTL變?yōu)?。然后這個(gè)包后面緊跟著一個(gè)小的包。小包的傳輸延遲遠(yuǎn)遠(yuǎn)小于第一個(gè)的大包。l這就導(dǎo)致了小包(稱為tailgater)在大包(tailgated)后面阻塞排隊(duì)。而由于大包在 處被丟棄，因此小包在以后的鏈接中再也不會(huì)因阻塞而排隊(duì)。l同樣地取小包的多個(gè)延遲樣本中的最小值作為正確值，從TTL=1開場(chǎng)，啟動(dòng)這

18、個(gè)過程，就可以丈量到各個(gè)鏈接的帶寬。qlqlqlPacket tailgating技術(shù)(2)l必需處理的擔(dān)任問題l1. 如何確保大包小包的發(fā)送間隔足夠短，已使得小包會(huì)在某個(gè)鏈接因大包而阻塞排隊(duì)。假設(shè)我們要包k在鏈接 排隊(duì)，即 ，也即ll運(yùn)用前面的公式，可以得到：l化簡(jiǎn)得：ql0qklqPacket tailgating技術(shù)(3)2. 假設(shè)只能在一段安頓丈量程序，那么必需依托另一端的ACK包，如何讓對(duì)方發(fā)ACK包？3. 丈量包喪失該怎樣辦？加序列號(hào)？4. 不可見節(jié)點(diǎn)有時(shí)包經(jīng)過的節(jié)點(diǎn)有延遲，但是卻不把TTL減一Packet tailgating技術(shù)優(yōu)缺陷分析(1)l優(yōu)點(diǎn)l快速l 由于整條途徑，只執(zhí)行一次線性回歸過程，而不是每個(gè)鏈接上都執(zhí)行一次。Tailgating過程那么必需在每個(gè)鏈接上都做一次，但是這只需求找到每一對(duì)packet的最小的延遲，而不是找1664對(duì)不同size的包的最小的延遲?？梢赃\(yùn)用nettimerl可以偵查到多通道的鏈接l經(jīng)過發(fā)送packet串填滿一切channel，發(fā)送一個(gè)大包，后面跟著假設(shè)干小包，假設(shè)通道數(shù)為c，發(fā)送的小包數(shù)為c，那么最后一個(gè)小包就會(huì)在大包后面排隊(duì)。假設(shè)發(fā)送了第c個(gè)小包后，延遲明顯增大，那么闡明該鏈接上的通道數(shù)為c。所以可以丈量多通道的鏈接的帶寬。Packet tailgating技術(shù)優(yōu)缺陷分析(2)l缺陷l源端必需能在極短的間隔內(nèi)發(fā)出丈量包l