TCESA 1233-2022 基于典型服務(wù)器應(yīng)用場景的固態(tài)盤性能測試方法

ICS35.220CCSL63團(tuán) 體 標(biāo) 準(zhǔn)T/CESA1233—2022基于典型服務(wù)器應(yīng)用場景的固態(tài)盤性能測試方法Applicationperformancetestmethodofsolidstatediskforserverbasedontypicalserverapplicationscenarios2022-11-30發(fā)布 2022-12-30實(shí)施中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會 發(fā)布IIT/CESA1233—2022版權(quán)保護(hù)文件許可可于發(fā)布機(jī)構(gòu)獲取。鏈鏈鏈鏈T/CESA1233—2022目 次前言 1范圍 12規(guī)范性引用文件 13術(shù)語和定義 14縮略語 25概述 26測試用例 2關(guān)系型數(shù)據(jù)庫應(yīng)用場景 2應(yīng)用場景說明 26.1.2硬件環(huán)境 26.1.3軟件環(huán)境 26.1.4應(yīng)用配置 26.1.5測試模型1 36.1.6測試模型2 4非關(guān)系型數(shù)據(jù)庫應(yīng)用場景 4應(yīng)用場景說明 46.2.2硬件環(huán)境 56.2.3軟件環(huán)境 56.2.4應(yīng)用配置 56.2.5測試模型1 5分布式文件系統(tǒng)應(yīng)用場景 6應(yīng)用場景說明 66.3.2硬件環(huán)境 76.3.3軟件環(huán)境 76.3.4應(yīng)用配置 86.3.5測試模型1 86.3.6測試模型2 96.3.7測試模型3 9ⅡT/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈前 言本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由中國電子技術(shù)標(biāo)準(zhǔn)化研究院提出。本文件由中國電子技術(shù)標(biāo)準(zhǔn)化研究院、中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會歸口。本文件起草單位：中國電子技術(shù)標(biāo)準(zhǔn)化研究院、華為技術(shù)有限公司、飛騰技術(shù)有限公司、武漢長江計算科技有限公司、中國長城科技集團(tuán)股份有限公司、新華三技術(shù)有限公司、美光半導(dǎo)體有限責(zé)任公司、杭州華瀾微電子股份有限公司。本文件主要起草人：趙夢晗、孔憲偉、任翔、尹航、鐘偉軍、包振忠、張英橋、吳彤、宋夢濤、陳向明、汪新新、覃貴安、史文科、魏小義、朱荻、高蛟飛。Ⅲ基于典型服務(wù)器應(yīng)用場景的固態(tài)盤性能測試方法范圍本文件描述了基于關(guān)系型數(shù)據(jù)庫應(yīng)用場景、非關(guān)系型數(shù)據(jù)庫應(yīng)用場景、分布式文件系統(tǒng)應(yīng)用場景下的企業(yè)級固態(tài)硬盤的存儲性能測試方法。本文件適用于企業(yè)級固態(tài)硬盤的業(yè)務(wù)場景性能測試。規(guī)范性引用文件本文件沒有規(guī)范性引用文件。本文件沒有規(guī)范性引用文件。3 術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1固態(tài)盤solidstatedisk以電子存儲器或存儲模塊作為主要記錄媒體進(jìn)行數(shù)據(jù)讀寫的存儲設(shè)備。SSDSolidStateDrive的簡寫。SolidStateDrive與本標(biāo)準(zhǔn)所指的固態(tài)盤機(jī)械部分，主要由控制器和存儲單元構(gòu)成。[來源：GB/T36355-2018,2.1.1,有修改]3.2聯(lián)機(jī)事務(wù)處理onlinetransactionprocessing利用計算機(jī)網(wǎng)絡(luò)，將分布于不同地理位置的業(yè)務(wù)處理計算機(jī)設(shè)備或網(wǎng)絡(luò)與業(yè)務(wù)管理中心網(wǎng)絡(luò)連接，以便于在任何一個網(wǎng)絡(luò)節(jié)點(diǎn)上都可以進(jìn)行統(tǒng)一、實(shí)時的業(yè)務(wù)處理活動或客戶服務(wù)。3.3關(guān)系型數(shù)據(jù)庫管理系統(tǒng)relationaldatabasemanagementsystem指包括相互聯(lián)系的邏輯組織和存取這些數(shù)據(jù)的一套程序(數(shù)據(jù)庫管理系統(tǒng)軟件)。注：關(guān)系數(shù)據(jù)庫管理系統(tǒng)就是管理關(guān)系數(shù)據(jù)庫，并將數(shù)據(jù)邏輯組織的系統(tǒng)。3.4分布式文件系統(tǒng)distributedfilesystem文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)（可簡1T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈單的理解為一臺計算機(jī)）相連；或是若干不同的邏輯磁盤分區(qū)或卷標(biāo)組合在一起而形成的完整的有層次的體系?？s略語下列縮略語適用于本文件。DFS：分布式文件系統(tǒng)（DistributedFileSystem）OLTP：聯(lián)機(jī)事務(wù)處理（OnlineTransactionProcessing）POSIX：可移植操作系統(tǒng)接口（PortableOperatingSystemInterface）SSD：固態(tài)盤（SolidStateDisk）概述本測試方法用于評估服務(wù)器用固態(tài)盤在真實(shí)應(yīng)用場景下的性能，測試場景包括關(guān)系型數(shù)據(jù)庫、非本測試方法用于評估服務(wù)器用固態(tài)盤在真實(shí)應(yīng)用場景下的性能，測試場景包括關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫和分布式文件系統(tǒng)。測試結(jié)果用于評估服務(wù)器用固態(tài)盤在真實(shí)應(yīng)用場景下的性能，為服務(wù)器選配固態(tài)盤提供參考。6 測試用例關(guān)系型數(shù)據(jù)庫應(yīng)用場景應(yīng)用場景說明關(guān)系型數(shù)據(jù)庫是指采用了關(guān)系模型來組織數(shù)據(jù)的數(shù)據(jù)庫，其以行和列的形式存儲數(shù)據(jù)，以便于用在測試用服務(wù)器上后，給服務(wù)器上電，然后配置軟硬件環(huán)境進(jìn)行測試。硬件環(huán)境測試硬件環(huán)境為單機(jī)測試，測試前應(yīng)明確測試硬件的參數(shù)配置，包括但不限于品牌、型號、處理器型號、數(shù)量、內(nèi)存型號、數(shù)量、容量等。軟件環(huán)境測試使用MySQL數(shù)據(jù)庫及InnoDB存儲引擎，版本要求見表1。表1 測試用軟件環(huán)境及版本要求軟件環(huán)境版本MySQL8.0.22或以上數(shù)據(jù)庫引擎InnoDB(16kB)測試基準(zhǔn)Sysbench/TPC-C應(yīng)用配置測試應(yīng)用配置見表2，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈表2 測試應(yīng)用配置參數(shù)名稱參數(shù)值sync_binlog1innodb_flush_log_at_trx_commit1innodb_io_capacity2000innodb_buffer_pool_size128MBinnodb_log_file_size256MBinnodb_log_buffer_size16MBinnodb_max_dirty_pages_pct90Innodb_flush_methodO_DIRECT測試模型說明測試模型使用Sysbench多線程性能測試工具進(jìn)行測試。參數(shù)配置測試應(yīng)用配置見表3，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。表3 測試應(yīng)用配置參考測試模型說明測試模型使用Sysbench多線程性能測試工具進(jìn)行測試。參數(shù)配置測試應(yīng)用配置見表3，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。表3 測試應(yīng)用配置參考參數(shù)名稱參數(shù)值threadsa20timeb3600warmup_timec600rated0histogramonpercentilee99report-interval10oltp-tables-countf500oltp-table-sizeg100000000oltp-test-modecomplexathreads為測試進(jìn)程數(shù)量，需要根據(jù)實(shí)際測試SSD配置進(jìn)行設(shè)置，設(shè)置范圍一般在10~20之間。btime為測試時間，建議測試時間預(yù)防冷數(shù)據(jù)對測試結(jié)果影響。cwarmup_time為預(yù)熱時間，建議為10min，表示不限制。drate為平均事務(wù)處理速率，0為1h，以免受到測試數(shù)據(jù)分布不均和數(shù)據(jù)緩存等因素影響。epercentile為指定latency統(tǒng)計百分率參數(shù)。foltp-tables-countwarehousetable50，可根據(jù)實(shí)際業(yè)務(wù)需求設(shè)置，測SSD20SSDgoltp-table-size為每個table中記錄數(shù)量，建議為100000000，可根據(jù)實(shí)際業(yè)務(wù)需求設(shè)置，測試中盡可能滿足數(shù)據(jù)總量達(dá)到SSD容量的20%以上，以獲得更真實(shí)的SSD存儲能力。3T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈6.1.5.3 測試結(jié)果說明測試結(jié)果說明如下：TPS–處理的事務(wù)數(shù)量每秒；QPS–執(zhí)行的查詢數(shù)量每秒；Latencymin/max/avg/99th–每個事務(wù)執(zhí)行的延時情況；CPU使用率-確保CPU沒有成為瓶頸。2測試模型說明測試模型使用TPCC進(jìn)行測試，主要用于OLTP類應(yīng)用的測試。參數(shù)配置測試應(yīng)用配置見表4，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。表4 測試應(yīng)用配置參數(shù)名稱參數(shù)值Warehousea500connectionb50warmup_time600running_time3600aWarehouse為倉庫的數(shù)量，一般不少于100個，視服務(wù)器硬件配置（CPU處理能力），SSD配置（NVMe/SATA,SSD容量）和具體業(yè)務(wù)需求配置。bConnection為訪問數(shù)據(jù)庫線程數(shù)，一般為50。測試結(jié)果說明TPCC有如下5種事務(wù)(對應(yīng)事務(wù)總量的百分比)，測試完成后會輸出這5種事務(wù)的吞吐量和延遲?！狽ew-Order：客戶輸入一筆新的訂貨交易；——Payment(43%)：更新客戶賬戶余額以反應(yīng)其支付狀況；——Delivery(4%)：發(fā)貨；——Order-Status(4%)：查詢客戶最近交易的狀態(tài)；——Stock-Level(4%)：查詢倉庫庫存狀況，以便能夠及時補(bǔ)貨。tpcc-mysql（顯示在RawResults5ms5ms、5ms80mstpcc-mysql90%的事務(wù)的請求延遲在最大延時范圍之內(nèi)。OKNG。非關(guān)系型數(shù)據(jù)庫應(yīng)用場景應(yīng)用場景說明RocksDB是一個嵌入式的K-V（任意字節(jié)流）存儲。架構(gòu)如下,所有的數(shù)據(jù)在引擎中是有序存儲，可以支持Get(key)、Put（Key）、Delete（Key）和NewIterator()。RocksDB的基本組成是memtable、sstfile和logfile。測試前先將被測樣品安裝在測試用服務(wù)器上后，給服務(wù)器上電，然后配置軟硬件環(huán)T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈境進(jìn)行測試。硬件環(huán)境測試硬件環(huán)境為單機(jī)測試，測試前應(yīng)明確測試硬件的參數(shù)配置，包括但不限于品牌、型號、處理器型號、數(shù)量、內(nèi)存型號、數(shù)量、容量等。軟件環(huán)境測試使用軟件環(huán)境見表5。6.2.4 應(yīng)用配置測試應(yīng)用配置見表6，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。6.2.4 應(yīng)用配置測試應(yīng)用配置見表6，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。表6 測試應(yīng)用配置軟件環(huán)境版本RocksDB6.6.3/(5.11.3inYCSB)數(shù)據(jù)庫引擎XFS測試基準(zhǔn)YCSBversion:0.17.0(latestversion)參數(shù)名稱參數(shù)值max_background_compaction4max_background_flushes4max_open_files-1block_size4kBblock_cachefalsewrite_buffer_size256MBmax_write_buffer_number5min_write_buffer_number_to_merge2level0_file_num_compaction_trigger8max_bytes_for_level_base4GBmax_bytes_for_level_multiplier10compression_per_levelL2/L3num_levels41測試模型說明測試模型1為開源NoSQL測試工具YCSB(Yahoo!CloudServingBenchmark),YCSB項目的目標(biāo)是開發(fā)一個框架和一組通用的工作負(fù)載，用于評估不同的“關(guān)鍵價值”和“云”服務(wù)商店的性能。參數(shù)配置測試應(yīng)用配置見表7，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。5T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈6.2.5.3 測試結(jié)果說明測試結(jié)果說明見表8。6.2.5.3 測試結(jié)果說明測試結(jié)果說明見表8。表8 測試結(jié)果說明參數(shù)名稱參數(shù)值Threads注8-16fieldcountdefaultfieldlengthdefaultreadallfields3600readproportiondefaultrecordcount1Billionoperationcount1BillionExecutiontime60mins注：Threads為測試進(jìn)程數(shù)，不同workload略有不同。參數(shù)名稱參數(shù)說明RunTime(ms)運(yùn)行總時間Throughput(ops/sec)吞吐量，每秒操作數(shù)[TOTAL_GC*]區(qū)顯示垃圾回收情況（JVM有關(guān)垃圾回收機(jī)制的配置）[TOTAL_GCS_PS_Scavenge],Count,ParallelScavenge回收次數(shù)[TOTAL_GC_TIME_PS_Scavenge],Time(ms),ParallelScavenge回收時間[TOTAL_GC_TIME_%_PS_Scavenge],Time(%),ParallelScavenge回收時間百分率[TOTAL_GCS_PS_MarkSweep],Count,MarkSweep回收次數(shù)[TOTAL_GC_TIME_PS_MarkSweep],Time(ms),MarkSweep回收時間[TOTAL_GC_TIME_%_PS_MarkSweep],Time(%),MarkSweep回收時間百分率[TOTAL_GCs],Count全局GC次數(shù)[TOTAL_GC_TIME],Time(ms)全局GC時間[TOTAL_GC_TIME_%],Time(%)全局GC時間百分比[READ]區(qū)顯示讀取操作的統(tǒng)計結(jié)果Operations總操作數(shù)AverageLatency(us)平均延遲（微秒）MinLatency(us)最小延遲MaxLatency(us)最大延遲95thPercentileLatency(us)95百分位延遲99thPercentileLatency(us)99百分位延遲分布式文件系統(tǒng)應(yīng)用場景應(yīng)用場景說明6T/CESA1233—2022T/CESA1233—2022分布式文件系統(tǒng)（DistributedFileSystem，DFS）是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)（可簡單的理解為一臺計算機(jī)）相連；或是若干不同的邏輯磁盤分區(qū)或卷標(biāo)組合在一起而形成的完整的有層次的文件系統(tǒng)。DFS為分布在網(wǎng)絡(luò)上任意位置的資源提供一個邏輯上的樹形文件系統(tǒng)結(jié)構(gòu)，從而使用戶訪問分布在網(wǎng)絡(luò)上的共享文件更加簡便。單獨(dú)的DFS共享文件夾的作用是相對于通過網(wǎng)絡(luò)上的其他共享文件夾的訪問點(diǎn)。測試前先將被測樣品安裝在測試用服務(wù)器上后，給服務(wù)器上電，然后配置軟硬件環(huán)境進(jìn)行測試。本文件選取數(shù)據(jù)中心應(yīng)用最普遍的Ceph為場景測試基準(zhǔn)。Ceph存儲集群包括存儲節(jié)點(diǎn)和管理節(jié)點(diǎn)，可提供良好的擴(kuò)展性，冗余能力和性能。每個節(jié)點(diǎn)搭建在標(biāo)準(zhǔn)的數(shù)據(jù)中心服務(wù)器上，節(jié)點(diǎn)間通過Cephdaemons實(shí)現(xiàn)如下功能：——存儲、檢索和復(fù)制數(shù)據(jù)；——監(jiān)視并報告群集運(yùn)行狀況；——動態(tài)重分發(fā)數(shù)據(jù)(重映射和回填)；——確保數(shù)據(jù)完整性；——檢測并從故障中恢復(fù)。硬件環(huán)境硬件環(huán)境包括四個存儲節(jié)點(diǎn)和一個監(jiān)控節(jié)點(diǎn)，測試前應(yīng)確認(rèn)各節(jié)點(diǎn)配置信息。存儲節(jié)點(diǎn)SSD配置見表9，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。表9 存儲節(jié)點(diǎn)SSD配置參數(shù)參數(shù)值SequentialRead1540MB/sSequentialWrite2350MB/sInterface6Gb/sSATACapacity3.84TBMTTF2MdevicehoursRandomRead83,000IOPSRandomWrite6,500IOPS存儲節(jié)點(diǎn)硬件應(yīng)配置的參數(shù)為ServerType、CPU(x1)、DRAM(x8)、SATA(x12)、NVMe(x2)、Network(x1)。存儲節(jié)點(diǎn)服務(wù)器應(yīng)配置的參數(shù)為ServerType、CPU(x1)、DRAM(x4)、SATA(OS)、Network(x1)。監(jiān)控節(jié)點(diǎn)硬件應(yīng)配置的參數(shù)為ServerType、CPU(x1)、DRAM(x8)、SATA(x12)、NVMe(x2)、Network(x1)。網(wǎng)絡(luò)交換機(jī)應(yīng)配置的參數(shù)為Model、Software。軟件環(huán)境軟件環(huán)境包括存儲&監(jiān)控節(jié)點(diǎn)、客戶端軟件和操作系統(tǒng)，其參數(shù)的配置見表10~表12，測試前應(yīng)確認(rèn)各節(jié)點(diǎn)配置信息，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。7T/CESA1233—2022T/CESA1233—2022表10 存儲&監(jiān)控節(jié)點(diǎn)軟件配置參數(shù)參數(shù)值存儲Cephversion12.2.13表11 客戶端軟件配置參數(shù)參數(shù)值存儲CephClient:RedHatCephStorage3.2測試基準(zhǔn)FIO3.10w/librbdenabled表12 操作系統(tǒng)設(shè)置參數(shù)參數(shù)值disable_transparent_hugepagetruekernel.pid_max4,194,303fs.file-max26,234,859vm.zone_reclaim_mode0vm.swappiness1vm.min_free_kbytes1,000,000net.core.rmem_max268,435,456net.core.wmem_max268,435,456net.ipv4.tcp_rmem409687,380134,217,728net.ipv4.tcp_wmem409665,536134,217,728ceph_tcmalloc_max_total_thread_cache134,217,728應(yīng)用配置Ceph存儲節(jié)點(diǎn)數(shù)量：4節(jié)點(diǎn)，10個存儲節(jié)點(diǎn)是企業(yè)Ceph集群的建議上限。四個存儲節(jié)點(diǎn)代表一個有效的構(gòu)建塊，可用于擴(kuò)展到更大的部署。根據(jù)擴(kuò)展需要，可以將其他節(jié)點(diǎn)與集群集成。Ceph監(jiān)控節(jié)點(diǎn)數(shù)量：1節(jié)點(diǎn)，出于任何非測試目的，至少應(yīng)在單獨(dú)的硬件上配置三個監(jiān)視節(jié)點(diǎn)。MTBRNVMeOSD時，建議在生產(chǎn)環(huán)境中進(jìn)行2倍的復(fù)制。Storeengine：Bluestore，BlueStore技術(shù)，數(shù)據(jù)對象可以無需任何文件系統(tǒng)的接口而直接存儲在物理塊設(shè)備上。設(shè)計初衷是為了減少寫放大，并針對SSD做優(yōu)化，而且直接管理裸盤，從理論上進(jìn)一步規(guī)避文件系統(tǒng)如ext4、xfs等部分的開銷，BlueStore是一個全新的OSD存儲后端，采用塊設(shè)備提示存儲性能。OSD最優(yōu)數(shù)量：為了減少4kB寫傳輸中的tail（QoS）延遲，每個物理SSD運(yùn)行多個OSD。1測試模型說明RBD(RADOSBlockDevice)是一種構(gòu)建在RADOS集群之上為客戶端提供塊設(shè)備接口的存儲服務(wù)中間層。本測試模型使用FIO工具和CephRADOSBlockDevice(RBD)驅(qū)動程序在10個負(fù)載生成客戶端服務(wù)器上測試了4k字節(jié)的隨機(jī)讀寫工作負(fù)載。8T/CESA1233—2022T/CESA1233—2022參數(shù)配置測試應(yīng)用配置見表13，參數(shù)設(shè)置可根據(jù)實(shí)際測試進(jìn)行調(diào)整。表13 操作系統(tǒng)設(shè)置參數(shù)名稱參數(shù)值replicatedsize2min_size2crush_rule0object_hashrjenkinspg_num32pgp_num32last_change67flagshashpspoolstripe_width0application