2024OpenCC測試規(guī)范手冊

OpenCC測試規(guī)范1OpenCCOpenCC測試規(guī)范II目錄網(wǎng)卡端開放式擁塞控制算法性能對比測試 1網(wǎng)卡傳統(tǒng)擁塞控制算法性能測試 1靜態(tài)算法參數(shù)業(yè)務時延測試 1靜態(tài)算法混合業(yè)務時延測試 1網(wǎng)卡開放式擁塞控制算法性能測試 2組合算法參數(shù)業(yè)務時延測試 2組合算法混合業(yè)務時延測試 3端到端開放式擁塞控制性能對比測試 4TCP+RoCE流量混跑測試 4混跑4打1測試 4混跑8打1測試 9擁塞隔離性能測試 11擁塞隔離Benchmark時延測試 11擁塞隔離存儲業(yè)務性能測試 13長短距擁塞隔離性能測試 15長短距流量混跑調度準確性測試 15長短距流量混跑HOLB影響測試 17OpenCC測試規(guī)范OpenCC測試規(guī)范11OpenCC測試規(guī)范網(wǎng)卡端開放式擁塞控制算法性能對比測試網(wǎng)卡傳統(tǒng)擁塞控制算法性能測試靜態(tài)算法參數(shù)-業(yè)務時延測試測試項目（同CC算法參數(shù)）測試目的對比測試CC算法參數(shù)對業(yè)務性能的影響。測試環(huán)境測試組網(wǎng)：圖1前置條件：部署4臺服務器，按照以上拓撲進行互聯(lián)。PFC/ECNPFC/ECN置保持固定。測試步驟2，1CC參數(shù)。背景流消息長度64KB，采用不同流數(shù)，要求流數(shù)不少于5條。時延流消息長度4KB。perftestFCT指標。分別測試讀操作和寫操作兩種流量下的時延。預期結果網(wǎng)絡可能出現(xiàn)擁塞，導致大流阻塞小流通過。時延流完成時間較高。測試結果備注靜態(tài)算法-混合業(yè)務時延測試測試項目（OpenCC測試規(guī)范OpenCC測試規(guī)范PAGEPAGE2CC算法）測試目的對比測試不同CC算法對業(yè)務性能的影響。測試環(huán)境測試組網(wǎng)：圖2前置條件：部署4臺服務器，按照以上拓撲進行互聯(lián)。PFC/ECNPFC/ECN置保持固定。測試步驟選擇3臺服務器作為客戶端，最后一臺服務器作為服務端，形成多對一流量，將該流量作為背景流。背景流消息長度64KB，采用不同流數(shù)，要求流數(shù)不少于5條。任選一臺客戶端向服務端打一條時延流，消息長度4KB。perftestFCT指標。分別測試讀操作和寫操作兩種流量下的時延。預期結果網(wǎng)絡中有一定概率出現(xiàn)擁塞，原因是大流阻塞小流通過。時延流完成時間較高。測試結果備注網(wǎng)卡開放式擁塞控制算法性能測試組合算法參數(shù)-業(yè)務時延測試測試項目（同CC算法參數(shù)）測試目的對比測試CC算法參數(shù)對業(yè)務性能的影響。測試環(huán)境測試組網(wǎng)：圖3前置條件：部署4臺服務器，按照以上拓撲進行互聯(lián)。PFC/ECNPFC/ECN置保持固定。測試步驟選擇2臺服務器作為背景流客戶端，1臺服務器作為時延流客戶端，最后一臺服務器作為服務端。CCCC背景流消息長度64KB，采用不同流數(shù)，要求流數(shù)不少于5條。時延流消息長度4KB。perftestFCT指標。分別測試讀操作和寫操作兩種流量下的時延。預期結果由于背景流和時延流分別配置不同參數(shù)，兩類流量獲得不同控速特性。有所降低。測試結果備注組合算法-混合業(yè)務時延測試測試項目（CC算法）測試目的對比測試不同CC算法對業(yè)務性能的影響。測試環(huán)境測試組網(wǎng)：圖4前置條件：部署4臺服務器，按照以上拓撲進行互聯(lián)。PFC/ECNPFC/ECN置保持固定。測試步驟選擇3臺服務器作為客戶端，最后一臺服務器作為服務端，形成多對一流量，將該流量作為背景流。背景流消息長度64KB，采用不同流數(shù)，要求流數(shù)不少于5條。任選一臺客戶端向服務端打一條時延流，消息長度4KB。perftestFCT指標。分別測試讀操作和寫操作兩種流量下的時延。預期結果OpenCC相比較靜態(tài)算法測試，時延流完成時間較有大幅降低。測試結果備注端到端開放式擁塞控制性能對比測試TCP+RoCE41測試項目同一交換機下混跑RoCE和TCP流量4打1測試目的TCP，RoCEv2(1:1)RoCEv2RoCE背景流量影響，保持低延遲。測試環(huán)境測試組網(wǎng)：圖5測試步驟設置sever1-5在同一網(wǎng)段IP地址，設置交換機連接5端口在同一VLAN；交換機側針對Priority3和5配置PFC和ECN；priority3跑RoCE業(yè)務流量，priority5跑RoCElatency流量，priority跑TCP業(yè)務流量，priority6為最高優(yōu)先級跑CNP流量；MNVIDIAMellanox交換機參考配置：trafficpooltesttypelosslesstrafficpooltestmemorypercent50.00trafficpooltestmapswitch-priority35interfaceethernet1/1-1/5qostrustL3interface ethernet 1/1-1/5 traffic-class 3congestion-controlecnminimum-absolute150maximum-absolute1500interfaceethernet1/1-1/5traffic-classcongestion-controlecnminimum-absolute150maximum-absolute1500interfaceethernet1/1-1/5traffic-class6dcbetsstrict交換機側配置WRR,讓priority3上的RoCE流量和priority上的TCP流量帶寬比例為50:50；以下為NVIDIAMellanox機參考配置：interfaceethernet1/1-1/5traffic-class0dcbetswrr1interfaceethernet1/1-1/5traffic-class1dcbetswrr1interfaceethernet1/1-1/5traffic-class2dcbetswrr1interfaceethernet1/1-1/5traffic-class3dcbetswrr47interfaceethernet1/1-1/5traffic-class4dcbetswrr47interfaceethernet1/1-1/5traffic-class5dcbetswrr1interfaceethernet1/1-1/5traffic-class6dcbetsstrictinterfaceethernet1/1-1/5traffic-class7dcbetswrr1網(wǎng)卡側配置RoCE,以下為NVIDIAMellanox網(wǎng)卡參考配置：cma_roce_mode-dmlx5_0-p1-m2cma_roce_tos-dmlx5_0-t106mlnx_qos -i enp216s0f0 --trust=dscp --pfc0,0,0,1,0,1,0,0mlxconfig -d /dev/mst/mt4117_pciconf0 -y ROCE_CC_PRIO_MASK_P1=40mlxconfig -d /dev/mst/mt4117_pciconf0 -y ROCE_CC_PRIO_MASK_P2=40mlxconfig -d /dev/mst/mt4117_pciconf0 -y CNP_DSCP_P1=48mlxconfig -d /dev/mst/mt4117_pciconf0 -y CNP_DSCP_P2=48網(wǎng)卡側配置相同WRR比例，以下為NVIDIAMellanox配置：mlnx_qos-ienp175s0f0--tcbw=1,1,1,47,47,1,1,1--prio_tc=0,0,0,3,4,0,0,0--tsa=ets,ets,ets,ets,ets,ets,ets,ets--pfc=0,0,0,1,0,1,0,0以server1-4為客戶端，server5為服務端，在priority3起RoCE流，字節(jié)大小1024B，QP總數(shù)量為64：Sever1:taskset-c0ib_write_bw--margin=2--port=20001-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96192.168.1.5--report_gbits--run_infinitelyServer2:taskset-c0ib_write_bw--margin=2--port=20002-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96192.168.1.5--report_gbits--run_infinitelyOpenCC測試規(guī)范OpenCC測試規(guī)范77Server3：taskset-c0ib_write_bw--margin=2--port=20003-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96192.168.1.5--report_gbits--run_infinitelyServer4：taskset-c0ib_write_bw--margin=2--port=20004-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96192.168.1.5--report_gbits--run_infinitelyServer5:taskset-c0ib_write_bw--margin=2--port=20001-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96 report_gbits&taskset-c0ib_write_bw--margin=2--port=20002mlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96 report_gbits&taskset-c0ib_write_bw--margin=2--port=20003mlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96 report_gbits&taskset-c0ib_write_bw--margin=2--port=20004mlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96 report_gbits&7)在步驟6發(fā)RoCE流過程中，用iperf3發(fā)送TCP流量，以server1-4為客戶端，server5為服務端，在priority4上發(fā)起TCP流，字節(jié)大小1024B，session總數(shù)量為64,此時有預期結果1：Server1:iperf3-c192.168.1.5-p21001--time1000000l1024-P16--interval1 S128Server2:iperf3-c192.168.1.5-p21002--time1000000l1024-P16--interval1 S128Server3:iperf3-c192.168.1.5-p21003--time1000000l1024-P16--interval1 S128Server4:iperf3-c192.168.1.5-p21004--time1000000l1024-P16--interval1 S128Server5:iperf3-s p21001&OpenCC測試規(guī)范OpenCC測試規(guī)范88iperf3-s-p21002&iperf3-s-p21003&iperf3-s-p21004&8)在步驟6和7共同打TCP和RoCE混合背景流的情況下，以server1-4為客戶端，server5為服務端，在prioriy5上測試RoCE延遲，有預期結果2：Server1:ib_write_lat-dmlx5_0-x3-a-F--port=22001--tclass=160192.168.1.5Server2:ib_write_lat-dmlx5_0-x3-a-F--port=22002--tclass=160192.168.1.5Server3:ib_write_lat-dmlx5_0-x3-a-F--port=22003--tclass=160192.168.1.5Server4:ib_write_lat-dmlx5_0-x3-a-F--port=22004--tclass=160192.168.1.5Server5:ib_write_lat-dmlx5_0-x3-a-F--port=22001tclass=160&ib_write_lat-dmlx5_0-x3-a-F--port=22002tclass=160&ib_write_lat-dmlx5_0-x3-a-F--port=22003tclass=160&ib_write_lat-dmlx5_0-x3-a-F--port=22004tclass=160&保持現(xiàn)有測試拓撲及Priority3464B、1024B4096B，發(fā)端QP數(shù)遍歷14、163264128，DRR調度比重覆蓋1:9，3:7，7:3，9:1。將上述流量作為背景流，選取2臺服務器進行時延測試，時延流與RoCE業(yè)務流使用同一隊寬比例，有預期結果3。預期結果1）Priority3上的RoCEv2總流量和Priority4上的TCP總流量均為端口總帶寬的47%左右，吞吐比例控制在5%誤差范圍內。在priority5上server1-4可測試出RoCETCP:RoCE=1:1比例下控制在1ms內。3）吞吐比例誤差在各測試環(huán)境下均可控制在5%以內。RoCE流量可以保持低時延。OpenCC測試規(guī)范OpenCC測試規(guī)范PAGEPAGE10測試結果備注81測試項目混跑RoCE和TCP流量8打1測試目的TCPROCERoCE時延不受TCP影響保持低時延。測試環(huán)境測試組網(wǎng)：圖6前置條件：根據(jù)以上拓撲設備正常工作。網(wǎng)卡配置PFC、DCQCN。PFC/ECNPFC/ECNTCP03DRR。測試步驟設置server1-9在不同交換機下，保證網(wǎng)絡能互通；Priority3PFCECN；priority3RoCERoCElatency，priority4TCPCNP；Huaweiportdefaultvlan20trustdscpdcbpfcenablemodemanualdcbpfcbuffer3xoffdynamic5hdrm250cellsaienableWRR,priority3RoCEpriority4TCPHuaweiqosdrr34qosqueue3drrweight50qosqueue4drrweight50網(wǎng)卡側配置RoCE,以下為NVIDIAMellanox網(wǎng)卡參考配置：mlnx_qos-i$e_name-f0,0,0,0,0,1,0,0echo1>/sys/class/net/$e_name/ecn/roce_np/enable/3echo1>/sys/class/net/$e_name/ecn/roce_rp/enable/3echo48>/sys/class/net/$e_name/ecn/roce_np/cnp_dscpecho6>/sys/class/net/$e_name/ecn/roce_np/cnp_802p_priocma_roce_mode-d$m_name-p1-m2echo 96 /sys/class/infiniband/$m_name/tc/1/traffic_classcma_roce_tos-d$m_name-t96WRRNVIDIAMellanox置：mlnx_qos-i$e_name-f0,0,0,1,0,0,0,0-p2,2,2,0,1,2,2,2-s ets,ets,ets,ets,ets,ets,strict,strict -t50,50,0,0,0,0,0,0--trustdscpserver2-8priority3RoCE流，字節(jié)大小1024B，QP總數(shù)量為64：服務端：ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p11000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p12000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p13000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p14000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p15000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p16000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p17000-s$size--report_gbits&客戶端：ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p14000-s$size--report_gbits$ip.40.120&6RoCEnetperfTCPserver2-8server9priority4TCP1024B,1：服務端：netserver-p21000&netserver-p22000&netserver-p23000&netserver-p24000&netserver-p25000&netserver-p26000&netserver-p27000&客戶端：netperf-tTCP_STREAM-fg-p24000-H$ip.40.120-l100000-Y128,128 m$size-M$size&67TCPRoCEserver1prioriy3RoCE2：服務端：ib_write_lat-d$m_name-x$gids-R-T96-F s$size&客戶端：ib_write_lat-d$m_name-x$gids-R-T96-Fs$size$ip.40.120&64B512B1024B、QP1481632641:9，3:7，7:3，9:1，記錄帶寬利用率、帶寬比例和時延。預期結果交換機上RoCEv2流量無丟包，除64B外交換機出接口帶寬達到95%以上。吞吐比例控制在5%誤差范圍內。RoCE保持低時延。測試結果備注擁塞隔離性能測試Benchmark測試項目普通讀寫操作時延測試測試目的對alltoall流量模型下傳統(tǒng)時延進行測試。測試環(huán)境測試組網(wǎng)：圖7前置條件：根據(jù)以上拓撲設備正常工作。16TOR測試步驟16alltoall為背景流。消息長度16KB，消息隊列深度8，采用不同流數(shù)。背景流整網(wǎng)吞吐限制為30%、50%和80%?？鏣OR任意兩節(jié)點打一條時延流，消息長度8KB。perftestFCT指標。分別測試讀操作和寫操作兩種流量下的時延。預期結果網(wǎng)絡中有一定概率出現(xiàn)擁塞，原因是大流阻塞小流通過。時延流完成時間較高。測試結果備注測試項目啟動擁塞隔離時延測試測試目的alltoall試。測試環(huán)境測試組網(wǎng)：圖8前置條件：根據(jù)以上拓撲設備正常工作。16TOR測試步驟16alltoall為背景流。消息長度16KB，消息隊列深度8，采用不同流數(shù)。背景流整網(wǎng)吞吐限制為30%、50%和80%?？鏣OR任意兩節(jié)點打一條時延流，消息長度8KB。啟動擁塞隔離機制。perftestFCT指標。分別測試讀操作和寫操作兩種流量下的時延。預期結果因為啟動擁塞隔離機制，大流小流相互間傳輸不受影響。相比較無擁塞隔離測試，時延流完成時間較有大幅降低。測試結果備注擁塞隔離存儲業(yè)務性能測試測試項目傳統(tǒng)分布式存儲磁盤讀寫時延測試測試目的未啟動擁塞隔離情況下，對分布式存儲業(yè)務磁盤讀寫時延進行測試。測試環(huán)境測試組網(wǎng)：圖9前置條件：根據(jù)以上拓撲設備正常工作。16TOR使用FIO+分布式存儲作為測試工具。測試步驟164OSDTOR12client，TOR612clientQoSclient30%/50%/80%幾個級別。client上運行FIO測試程序，測試磁盤讀寫，塊大小分別為/寫等。clientFIO8KB，1。預期結果消息塊時延較高，網(wǎng)絡負載越重，消息塊時延越大。測試結果備注測試項目分布式存儲擁塞隔離時延測試測試目的驗證啟動擁塞隔離機制后，分布式存儲時延性能效果。測試環(huán)境測試