云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)性能測(cè)試

1、云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)性能測(cè)試云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)測(cè)試主要包含虛擬化測(cè)試、安全測(cè)試、高可靠測(cè)試和性能測(cè)試四個(gè)部分。前三者重 點(diǎn)在于對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的功能設(shè)計(jì)進(jìn)行測(cè)試驗(yàn)證，性能測(cè)試則是度量整個(gè)云網(wǎng)絡(luò)的關(guān)鍵，用以確認(rèn)其能夠 提供的服務(wù)能力基線。云計(jì)算技術(shù)目前很多應(yīng)用在大型的高性能計(jì)算（超算）數(shù)據(jù)中心中，在此類數(shù)據(jù)中 心內(nèi)部，性能處于業(yè)務(wù)保障的第一關(guān)鍵位置。本文重點(diǎn)關(guān)注性能測(cè)試的部分，從測(cè)試設(shè)計(jì)方面進(jìn)行探討。測(cè)試設(shè)計(jì)數(shù)據(jù)中心網(wǎng)絡(luò)性能測(cè)試手段很多，業(yè)務(wù)仿真測(cè)試是最能體現(xiàn)實(shí)際應(yīng)用情況的測(cè)試方法。業(yè)務(wù)仿真測(cè)試 往往需要利用大量服務(wù)器和存儲(chǔ)設(shè)備，通過(guò)部署仿真應(yīng)用環(huán)境來(lái)測(cè)試網(wǎng)絡(luò)針對(duì)此類型應(yīng)用的轉(zhuǎn)發(fā)性能。但 此方法受

2、成本和測(cè)試復(fù)雜度影響，一般只在超大型且應(yīng)用較為單一的數(shù)據(jù)中心測(cè)試時(shí)使用，如百度/SOHU 搜索業(yè)務(wù)仿真、QQ/MSN實(shí)時(shí)通訊業(yè)務(wù)仿真、石油勘探/氣象預(yù)報(bào)計(jì)算業(yè)務(wù)仿真等。除了上述專用測(cè)試方法外，還可以通過(guò)測(cè)試儀器模擬一些基本的應(yīng)用流量來(lái)測(cè)試其主要性能。此方式 由于實(shí)施簡(jiǎn)便、通用型強(qiáng)，在數(shù)據(jù)中心網(wǎng)絡(luò)性能測(cè)試中應(yīng)用較多。受當(dāng)前整個(gè)Internet應(yīng)用使用情況影響， 測(cè)試儀模擬的網(wǎng)絡(luò)應(yīng)用以TCP的HTTP為主，有時(shí)會(huì)根據(jù)具體的實(shí)際業(yè)務(wù)情況添加Mail、FTP和HTTPS 進(jìn)行補(bǔ)充，這種測(cè)試設(shè)計(jì)也符合當(dāng)前云計(jì)算數(shù)據(jù)中心的實(shí)際應(yīng)用情況。測(cè)試環(huán)境在測(cè)試數(shù)據(jù)中心網(wǎng)絡(luò)性能時(shí)，通常使用成對(duì)的測(cè)試儀器端口，連接到數(shù)

3、據(jù)中心網(wǎng)絡(luò)兩端，將整個(gè)網(wǎng)絡(luò) 視為黑盒進(jìn)行端到端的性能結(jié)果測(cè)試。典型測(cè)試組網(wǎng)設(shè)計(jì)如圖1所示。圖1數(shù)據(jù)中心性能典型測(cè)試組網(wǎng)圖1中的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)采用典型的3層雙冗余結(jié)構(gòu)。核心層設(shè)備采用高端交換設(shè)備進(jìn)行三層路由 轉(zhuǎn)發(fā)，其與匯聚層設(shè)備間通過(guò)OSPF動(dòng)態(tài)路由協(xié)議互連，以提供多路冗余保障，同時(shí)通過(guò)只發(fā)布缺省路由 到匯聚層設(shè)備的方式來(lái)減輕匯聚層設(shè)備的路由壓力；匯聚層設(shè)備作為模擬服務(wù)器設(shè)備的網(wǎng)關(guān)提供三層轉(zhuǎn)發(fā) 功能，使能VRRP等網(wǎng)關(guān)冗余協(xié)議來(lái)保證雙機(jī)熱備，并通過(guò)VLANTRUNK方式與接入層設(shè)備相連；接入 層設(shè)備部署為二層轉(zhuǎn)發(fā)模式，通過(guò)MSTP協(xié)議確保多VLAN環(huán)境下的冗余鏈路備份功能。測(cè)試儀器通過(guò)多個(gè)接口

4、分別與核心層設(shè)備和接入層設(shè)備連接，并模擬Client和Server進(jìn)行有狀態(tài)的流 量轉(zhuǎn)發(fā)性能測(cè)試。測(cè)試模擬的協(xié)議類型盡量與使用環(huán)境貼近，最常見(jiàn)的是使用HTTP協(xié)議進(jìn)行基于L7的 業(yè)務(wù)流量模擬。另外為了確保數(shù)據(jù)中心測(cè)試的仿真度，還需要模擬大量的路由、VLAN和流數(shù)量。例如測(cè)試的為一個(gè) 大型的企業(yè)云數(shù)據(jù)中心，則需要定義以下背景環(huán)境參量：首先設(shè)置背景路由，在核心設(shè)備上模擬發(fā)布1萬(wàn)條OSPF散列路由，其發(fā)起源為50個(gè)Router，路由模擬調(diào)配比例為 NetworkLSA： SummaryLSA： ExternalLSA=1: 3： 16然后設(shè)置背景VLAN與模擬服務(wù)器，在匯聚層與接入層設(shè)備上部署8個(gè)M

5、STP的Instance，每個(gè) Instance中包含8個(gè)VLAN，使用測(cè)試儀器在每個(gè)VLAN中模擬100個(gè)HostServer，總共64個(gè)VLAN， 6400 個(gè) Servero最后構(gòu)造測(cè)試流量，定義1萬(wàn)個(gè)Client源IP地址一一對(duì)應(yīng)到模擬的1萬(wàn)條散列OSPF路由中，目 的IP地址64個(gè)，分別為模擬的64個(gè)VLAN中每個(gè)VLAN隨機(jī)抽取的各一個(gè)HostServer地址?？偣矠?64萬(wàn)條IP測(cè)試流。上述測(cè)試參數(shù)定義均可通過(guò)測(cè)試儀器配置完成。當(dāng)測(cè)試環(huán)境部署完畢后，即可使用測(cè)試儀器進(jìn)行整網(wǎng)性能指標(biāo)的測(cè)試執(zhí)行工作。關(guān)鍵指標(biāo)及測(cè)試方法衡量云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)性能根據(jù)使用的網(wǎng)絡(luò)設(shè)備不同擁有很多指標(biāo)。常

6、見(jiàn)的關(guān)鍵性能指標(biāo)包括以 下幾項(xiàng)：L4新建速率（CPS）L4并發(fā)數(shù)（CC）L7 吞吐量（GoodPut）L7 響應(yīng)時(shí)間（ResponseTime）其中L4測(cè)試一般使用TCP協(xié)議構(gòu)造流量，L7測(cè)試使用HTTP協(xié)議構(gòu)造流量。下面就這幾項(xiàng)關(guān)鍵指標(biāo) 的測(cè)試方法進(jìn)行介紹。L4新建速率測(cè)試L4新建速率指通過(guò)數(shù)據(jù)中心中間網(wǎng)絡(luò)每秒可以處理的TCPSession速率，單位為CPS （ConnectionsPerSecond）。需要注意的是，這里的“新建”指的是一個(gè)TCPSession成功建立并關(guān)閉的整個(gè)過(guò)程，并不是單純指字 面意義上的連接建立速率。在常見(jiàn)的L4新建速率測(cè)試中，主要使用TCP80端口的HTTP服務(wù)進(jìn)

7、行測(cè)試。 測(cè)試配置中，關(guān)鍵在于以下幾點(diǎn)：將TCP關(guān)閉方式選擇使用TCPFIN報(bào)文觸發(fā)的4次握手關(guān)閉方式。此種方式最符合當(dāng)前普遍的網(wǎng) 絡(luò)協(xié)議應(yīng)用模型。在部分特殊業(yè)務(wù)需求的測(cè)試場(chǎng)景下可以采用TCPRESET方式進(jìn)行快速會(huì)話關(guān)閉，以測(cè) 出網(wǎng)絡(luò)系統(tǒng)能夠支持的極限性能。將TCP的會(huì)話關(guān)閉等待時(shí)間設(shè)置為0ms，既服務(wù)器端收到請(qǐng)求后立刻進(jìn)行回應(yīng)關(guān)閉，避免中間設(shè) 備的表項(xiàng)資源消耗對(duì)測(cè)試結(jié)果的干擾。將HTTP的傳輸數(shù)據(jù)載荷設(shè)置為盡量?。ǔＲ?jiàn)為64byte），以加快測(cè)試儀表模擬的Client和Server 報(bào)文交互速率，便于更準(zhǔn)確地測(cè)試出設(shè)備能力上限。將每TCPConnection中的HTTPTransactio

8、n數(shù)量設(shè)置為1,減小不必要的測(cè)試干擾，得出更精確 的測(cè)試結(jié)果。需要設(shè)定一定長(zhǎng)度的相同新建速率測(cè)試持續(xù)時(shí)間（如3600s），以保證測(cè)試結(jié)果的有效性。在測(cè)試開(kāi)始前記錄網(wǎng)絡(luò)中主要設(shè)備的CPU/Memory等關(guān)鍵性能指標(biāo)，測(cè)試過(guò)程中和結(jié)束后對(duì)這些 指標(biāo)進(jìn)行監(jiān)控，實(shí)時(shí)了解整個(gè)網(wǎng)絡(luò)的運(yùn)行情況。L4新建速率測(cè)試的結(jié)果將主要體現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)中L4-L7設(shè)備的CPU （根據(jù)不同廠商設(shè)備的具體可 以指NP、ASIC和協(xié)處理器等進(jìn)行TCP新建表項(xiàng)計(jì)算的處理單元）運(yùn)算處理能力。其線性關(guān)系如圖2所 示。CPS與CPU的關(guān)系圖2 L4新建速率結(jié)果與網(wǎng)絡(luò)設(shè)備CPU關(guān)系示意圖L4并發(fā)數(shù)測(cè)試L4并發(fā)數(shù)指通過(guò)數(shù)據(jù)中心中間網(wǎng)絡(luò)可以

9、同時(shí)并發(fā)存在的最大TCPSession數(shù)量，單位為CC(Currentconnections)。對(duì)于L4并發(fā)數(shù)測(cè)試來(lái)說(shuō)，尤其需要關(guān)注其上層協(xié)議的具體應(yīng)用，一個(gè)Telnet連接保持1小時(shí)與一個(gè) HTTP連接保持1小時(shí)在協(xié)議處理流程上是有很大不同的，應(yīng)盡量根據(jù)實(shí)際網(wǎng)絡(luò)中的業(yè)務(wù)流量設(shè)計(jì)測(cè)試模 型。以下仍以最常見(jiàn)的HTTP協(xié)議進(jìn)行測(cè)試舉例說(shuō)明。由于實(shí)際的網(wǎng)絡(luò)模型都是在不斷的進(jìn)行TCP連接建立和關(guān)閉，因此并發(fā)數(shù)測(cè)試結(jié)果也要在穩(wěn)定的新建 速率下獲得，而不能同時(shí)將所有TCP連接一起打入再進(jìn)行等待。過(guò)高的新建速率會(huì)導(dǎo)致中間網(wǎng)絡(luò)設(shè)備的處 理能力下降，從而影響到并發(fā)數(shù)的測(cè)試結(jié)果；而較低的新建速率則會(huì)導(dǎo)致超長(zhǎng)的會(huì)話

10、保持時(shí)間，也與實(shí)際 模型相背。舉例：期望的網(wǎng)絡(luò)并發(fā)數(shù)為300萬(wàn)，使用1千CPS的速率進(jìn)行新建，則需要將測(cè)試儀器的會(huì)話回應(yīng)等待 時(shí)間調(diào)整至3, 000，000/1, 000=3000s才能得到接近期望的測(cè)試結(jié)果，而如此長(zhǎng)的會(huì)話保持時(shí)間對(duì)網(wǎng)絡(luò) 中間設(shè)備來(lái)說(shuō)屬于并不符合實(shí)際網(wǎng)絡(luò)業(yè)務(wù)模型的處理方式。因此正確的測(cè)試方法是，先測(cè)試出中間網(wǎng)絡(luò)的極限CPS能力，然后取中間設(shè)備穩(wěn)定運(yùn)行時(shí)(如CPU 使用率在60%)能夠處理的新建速率，再根據(jù)并發(fā)數(shù)期望測(cè)試結(jié)果計(jì)算出測(cè)試儀的會(huì)話回應(yīng)關(guān)閉等待時(shí)間， 通過(guò)調(diào)整此時(shí)間測(cè)試出實(shí)際的設(shè)備并發(fā)數(shù)處理能力。舉例：先測(cè)試出的網(wǎng)絡(luò)新建速率極限值為20萬(wàn)CPS，CPU穩(wěn)定在60%時(shí)的

11、最大新建速率值為15萬(wàn) CPS，期望的最大并發(fā)數(shù)為300萬(wàn)，則在測(cè)試并發(fā)數(shù)時(shí)設(shè)置測(cè)試儀器的新建速率為15萬(wàn)CPS，會(huì)話回應(yīng) 關(guān)閉等待時(shí)間為20s上下調(diào)整，以確認(rèn)網(wǎng)絡(luò)能夠達(dá)到的實(shí)際最大并發(fā)數(shù)。L4并發(fā)數(shù)測(cè)試配置需要注意以下幾點(diǎn):根據(jù)網(wǎng)絡(luò)L4新建速率測(cè)試結(jié)果，設(shè)置穩(wěn)定的新建速率參數(shù)和會(huì)話回應(yīng)關(guān)閉等待時(shí)間參數(shù)?？梢赃m當(dāng)調(diào)整TCP會(huì)話關(guān)閉方式，以減少中間網(wǎng)絡(luò)設(shè)備壓力，如采用Reset方式關(guān)閉。同新建速率測(cè)試一樣，設(shè)置HTTP載荷為盡量小值(如64byte)，并將每個(gè)TCPConnection中的 HTTPTransaction數(shù)量設(shè)置為1，減少對(duì)測(cè)試結(jié)果的干擾。將整個(gè)測(cè)試周期時(shí)間設(shè)置為一個(gè)較長(zhǎng)值(如3

12、600s)，同步驗(yàn)證網(wǎng)絡(luò)的穩(wěn)定性。測(cè)試前中后的整個(gè)過(guò)程中記錄網(wǎng)絡(luò)主要設(shè)備的關(guān)鍵性能指標(biāo)，進(jìn)行比較確認(rèn)。L4并發(fā)數(shù)測(cè)試結(jié)果體現(xiàn)了整網(wǎng)會(huì)話保持與表項(xiàng)存儲(chǔ)的能力，與網(wǎng)絡(luò)中L4-L7處理設(shè)備的內(nèi)存大小有直 接關(guān)系。這里的內(nèi)存大小依據(jù)各個(gè)廠商設(shè)備實(shí)現(xiàn)的不同也指DRAM、接口內(nèi)存和CAM等TCP會(huì)話表項(xiàng)存 儲(chǔ)單元容量。TCP并發(fā)數(shù)與內(nèi)存使用大小的線性關(guān)系如圖3所示。CC與Memory的關(guān)系Memory limit *圖3 L4并發(fā)數(shù)結(jié)果與網(wǎng)絡(luò)設(shè)備Memory使用率關(guān)系示意圖L7吞吐量測(cè)試L7吞吐量指當(dāng)前網(wǎng)絡(luò)可以有效傳輸?shù)淖畲驢TTP數(shù)據(jù)量，也被稱為有效吞吐GoodPut，區(qū)別于傳統(tǒng) 意義上的測(cè)試指標(biāo)L3吞

13、吐量ThroughPut，結(jié)果單位為BPS(BytePerSecond)。L7吞吐量測(cè)試結(jié)果很大程度上依賴于L4新建速率能力，其間關(guān)系類似于傳統(tǒng)L3吞吐量BPS(BitPerSecond)與網(wǎng)絡(luò)設(shè)備包轉(zhuǎn)發(fā)能力PPS(PacketsPerSecond)之間的關(guān)系。在測(cè)試L7吞吐量的過(guò) 程中，首先測(cè)得網(wǎng)絡(luò)的新建速率，然后將新建速率測(cè)試結(jié)果乘以一定比率系數(shù)(例如80%)，作為L(zhǎng)7吞 吐量測(cè)試中使用的的穩(wěn)定新建速率參數(shù)始終不變，測(cè)試時(shí)逐步提高HTTP有效載荷大小，通過(guò)觀察出現(xiàn) HTTP連接出現(xiàn)失敗前的有效載荷最大傳輸速率，得到其L7吞吐量測(cè)試結(jié)果。舉例：采用的穩(wěn)定持續(xù)新建速率為20萬(wàn)CPS,能夠無(wú)失敗

14、傳輸?shù)淖畲笥行лd荷值為500Byte，則系統(tǒng)的 L7 吞吐量為 100MBPS(BytePerSecond)。在L7吞吐量測(cè)試中還需要注意的是可以適當(dāng)提高每TCPConnection中的HTTPTransaction數(shù)量，如 采用1： 10的比例，這樣能夠進(jìn)一步提高L7吞吐量測(cè)試結(jié)果。但需要注意采用多Transaction方式時(shí)，需 要將測(cè)試儀器上的HTTP協(xié)議類型設(shè)置為HTTP1。1，HTTP1。0協(xié)議不支持此種傳輸加載方式。L7吞吐量的測(cè)試結(jié)果除了受L4新建速率的直接影響外，還會(huì)受到網(wǎng)絡(luò)中各設(shè)備的交換架構(gòu)、接口總 線等元件單位間處理能力的限制，其測(cè)試結(jié)果也直接體現(xiàn)了整個(gè)網(wǎng)絡(luò)的應(yīng)用數(shù)據(jù)吞吐轉(zhuǎn)

15、發(fā)能力。L7響應(yīng)時(shí)間測(cè)試L7響應(yīng)時(shí)間指從客戶端發(fā)起http請(qǐng)求，到得到正確數(shù)據(jù)響應(yīng)所經(jīng)歷的時(shí)間，一般用來(lái)衡量中間網(wǎng)絡(luò)的 綜合處理能力，單位為毫秒。L7響應(yīng)時(shí)間與L7延遲時(shí)間的主要區(qū)別是：延遲時(shí)間指客戶端發(fā)出報(bào)文到服務(wù)器接收到此報(bào)文或反向 發(fā)送接收的間隔時(shí)間；響應(yīng)時(shí)間則指的時(shí)一個(gè)完整連接的客戶端于服務(wù)器報(bào)文來(lái)回交互過(guò)程時(shí)間。在數(shù)據(jù) 中心網(wǎng)絡(luò)中，響應(yīng)時(shí)間可以更好的表現(xiàn)出整個(gè)網(wǎng)絡(luò)對(duì)有狀態(tài)的流量處理能力，在HTTP這種需要客戶端與 服務(wù)器進(jìn)行反復(fù)交互的應(yīng)用協(xié)議使用中尤為重要。響應(yīng)時(shí)間的測(cè)試方法主要有兩種：一種是基于真實(shí)服務(wù)器的業(yè)務(wù)響應(yīng)時(shí)間測(cè)試，此測(cè)試結(jié)果包含了中 間網(wǎng)絡(luò)設(shè)備與服務(wù)器兩部分處理延遲時(shí)間；

16、另一種是通過(guò)測(cè)試儀模擬服務(wù)器快速響應(yīng)請(qǐng)求的測(cè)試，這種測(cè) 試方法可以盡量減少服務(wù)器端處理延遲的影響，得到近乎純粹的網(wǎng)絡(luò)處理延遲時(shí)間。L7響應(yīng)時(shí)間測(cè)試要在一定的新建速率下進(jìn)行，這樣做也是為了盡量貼近實(shí)際網(wǎng)絡(luò)情況。但此測(cè)試中的 新建速率需要維持在一個(gè)較低的水平線上，最好是根據(jù)真實(shí)環(huán)境平均值設(shè)定，這是因?yàn)樾陆ㄋ俾瘦^高時(shí)會(huì) 導(dǎo)致CPU資源占用較高，影響設(shè)備對(duì)連接的處理能力。常用測(cè)試工具使用專用測(cè)試工具測(cè)試數(shù)據(jù)中心網(wǎng)絡(luò)性能時(shí)，可以采用軟件與硬件兩類。軟件測(cè)試工具指需要運(yùn)行在例如UNIX、Linux和Windows等開(kāi)放的操作系統(tǒng)及通用的硬件架構(gòu)上， 并且只需對(duì)現(xiàn)有系統(tǒng)做出微小甚至不做改動(dòng)就能夠完成測(cè)試任務(wù)

17、的軟件。部分性能測(cè)試軟件如下：HTTP-HTTPLOAD，WebServerStress，LOADRunner，WebBench，WebStone，SPECweb99MAIL-Loadsim，Medusa(MicrosoftExchange)，DB-BenchmarkFactoryforDatabases, Jetstress, DBstressIPSAN Qmeter, lozone, Bonnie+, dd硬件測(cè)試工具指使用單獨(dú)的硬件設(shè)備配合裝載在PC上的控制軟件完成測(cè)試工作，其性能要遠(yuǎn)優(yōu)于一 般的軟件測(cè)試工具，但相對(duì)的缺點(diǎn)是價(jià)格較高和可擴(kuò)展性較差（功能升級(jí)有時(shí)需要對(duì)硬件產(chǎn)品進(jìn)行改變， 成本很高）?；跀?shù)據(jù)中心以應(yīng)用為根本的網(wǎng)絡(luò)流量特點(diǎn)，通常采用支持L7應(yīng)用的測(cè)試儀器進(jìn)行測(cè)試。目 前主流的測(cè)試儀器廠商有Spirent、IXIA和BreakingPoint等。在云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)性能測(cè)試中，如果需要更好的仿真業(yè)務(wù)應(yīng)用，建議采用軟件集群服務(wù)器安裝測(cè) 試方式；如果希望得到最大的極限能力，建議采用硬件測(cè)試儀器來(lái)進(jìn)行測(cè)試。結(jié)束語(yǔ)在數(shù)據(jù)中心網(wǎng)絡(luò)性能測(cè)試中，還有以下一些常用經(jīng)驗(yàn)可以在測(cè)試設(shè)計(jì)和執(zhí)行中進(jìn)行參考：當(dāng)測(cè)試模擬的流量越接近真實(shí)網(wǎng)絡(luò)，測(cè)試環(huán)境就需