PCIE-SSD卡測試方案

1、PCIe SSD卡性能測試方案1 測試環(huán)境準(zhǔn)備1.1 硬件環(huán)境：服務(wù)器型號 HUAWEI RH2288H V2CPU Intel(R) Xeon(R) CPU E-52630 v2 2.60GHz*2 內(nèi)存 DDR3 1600MHz RECC 16G*8 系統(tǒng)盤： SATA 1TB*2 7K2轉(zhuǎn)組磁盤陣列 RAID 0 測試對象：SATA硬盤 SATA 1TB*2 7K2轉(zhuǎn)組磁盤陣列 RAID 0 SSD：寶存 Direct-IO PCIe SSD-G2i-1.2T1.2 軟件環(huán)境：操作系統(tǒng)：Red Hat Enterprise Linux 6.1測試軟件：fio -2.1.101.3 測試軟

2、件安裝：步驟一： 在 網(wǎng)站上免費(fèi)下載該工具的壓縮文件。 步驟二： 安裝編譯環(huán)境 命令： yum install libaio -devel步驟三： 解壓壓縮文件并安裝 tar -xjvf fio -2.0.10.tar.bz2 cd fio-2.0.10makemake install命令(以 fio -2.0.10.tar.bz2 為例)注意： yum install 和 make install 命令需要 root 權(quán)限 yum install libaio -develtar -xjvf fio -2.0.10.tar.bz2 cd fio -2.0.10 makemake instal

3、l2 測試方案本次測試基于單臺服務(wù)器安裝 1 張寶存 1.2T PCIE SSD閃存卡和本地兩塊 7200 轉(zhuǎn) 1TB SATA 盤做 RAID 0做性能對比測試。兩種類型的磁盤組都不創(chuàng)建文件系統(tǒng)，采用裸盤測試。評測存儲設(shè)備性能的主要三個指標(biāo)：讀寫延遲 (Latency) ：一次 I/O 操作所耗費(fèi)的時間 讀寫帶寬 (Bandwidth) ：單位時間內(nèi)傳輸?shù)臄?shù)據(jù)量 IOPS：每秒完成的 I/O 操作次數(shù)測試方案通過這三個指標(biāo)的測試展現(xiàn) 寶存 Direct-IOTM PCIe SSD 的性能與本地 SATA磁盤陣 列的測試。測試 1 - 全盤隨機(jī)讀測試步驟步驟一： 順序?qū)⒈P寫滿。fio -nam

4、e=seqWrite -dev/dfa -numjobs=1 -bs=128k -ioengine=libaio -iodepth=32 -direct=1 -rw=write -group_reporting -randrepeat=0 以上命令將在整盤順序?qū)憹M之后自動退出。步驟二： 執(zhí)行隨機(jī)讀測試fio -name=randRead -dev/dfa -numjobs=1 -bs=4k -ioengine=sync -direct=1-norandommap -rw=randread -group_reporting -randrepeat=0 -runtime=120其中， 命令中的各項(xiàng)

5、參數(shù)解釋如下dev/dfa 測試文件名稱，通常選擇需要測試的盤或數(shù)據(jù)目錄。 numjobs=1 單進(jìn)程，可以通過修改此參數(shù)改變進(jìn)程數(shù)。bs=4k block size=4k，數(shù)據(jù)塊大小。 ioengine= sync io 引擎，采用 sync 方式 direct=1 測試進(jìn)程繞過頁面緩存，采用 direct 讀取方式。 rw=randread 全盤隨機(jī)讀，可選隨機(jī)讀寫或順序讀寫，或只讀只寫。 runtime=120 測試時間為 120 秒測試結(jié)果1. 每一項(xiàng)結(jié)果列表中包含延遲， 對應(yīng)帶寬，及 IOPS，分別以微秒 us (或毫秒 ms)， MB/s 和 k IOPS 為單位2. 改變以上命令

6、中 -bs=4k 和-numjobs=1 兩個參數(shù)而得到不同線程和不同 block size 的結(jié) 果， 步驟一只要執(zhí)行一次即可，不必每次變動參數(shù)測試時都要執(zhí)行。BLOCKSIZE4KB8KB32KB128KB線程SSDSATASSDSATASSDSATASSDSATA延時68us11ms80.8us11.2ms155us11.4ms173us12msms1帶寬58MB/s364KB/s98MB/s736KB/s204MB/s2807KB/s714MB/s10.7MB/sIOPS14.5K8912.2K896.3K875.783延時74.9us21.7ms92us22ms181.7us22ms

7、309us23ms4帶寬205MB/s708KB/ms337MB/s1.5MB/s685MB/s5.8MB/s1610MB/s20.1MB/sIOPS52.6K18442.9K18221.8K18012.8K171延時81us33.9ms100us34.2ms212us34.9ms519us37.7ms8帶寬382MB/s920KB/s616MB/s1.85MB/s1160MB/s7.6MB/s1922MB/s27.1MB/sIOPS97K23578K23337.3K22915.3K212延時89us56.2ms113us56.2ms298us57.9ms994.663.4ms16帶寬692M

8、B/s1.2MB/s1085MB/s2.3MB/s1667MB/s8.8MB/s2014MB/s33.1MB/sIOPS177K284138.9K28453.3K27616K251延時107.6us94.4ms154us94.7ms520us97.7ms1968us109ms32帶寬1147MB/s1.4MB/s1606MB/s2.7MB/s1919MB/s10.4MB/s2030MB/s37.3MB/sIOPS293.6K338205.9K33761.3K32716K292測試 2 - 全盤隨機(jī)寫（穩(wěn)態(tài)）測試步驟步驟一： 隨機(jī)將盤寫滿 2 遍，達(dá)到穩(wěn)態(tài)。fio -name=precondit

9、ion -dev/dfa -numjobs=2 -bs=128k -ioengine=libaio-iodepth=32 -iodepth_batch=16 -iodepth_batch_complete=16 -direct=1 -rw=randwrite -group_reporting -randrepeat=0以上命令將在隨機(jī)將 SSD 卡寫滿 2 遍之后自動退出。 根據(jù) SSD 卡容量的大小，耗時長 短不一， 224 小時不等。 如果不想等待如此長的時間， 可以將 numjobs=2 減少（至少 >=2）， 減少寫滿盤的次數(shù)。該步驟完成后，可以認(rèn)為 SSD 卡已經(jīng)處于穩(wěn)態(tài)，只要

10、不進(jìn)行格式化擦 除數(shù)據(jù)，可以認(rèn)為其一直處于穩(wěn)態(tài)。步驟二： 開始隨機(jī)寫測試fio -name=randomWrite -dev/dfa -numjobs=1 -bs=4k -ioengine=sync -direct=1-norandommap -rw=randwrite -group_reporting -randrepeat=0 -runtime=120測試結(jié)果1. 每一項(xiàng)列表中包含延遲，對應(yīng)帶寬，及IOPS，分別以微秒 us （或毫秒 ms）， MB/s 和 kIOPS為單位。2. 改變以上命令中 -bs=4k 和-numjobs=1 兩個參數(shù)而得到不同線程和不同 block size 的

11、結(jié) 果， 步驟一只要執(zhí)行一次即可，不必每次變動參數(shù)測試時都要執(zhí)行。BLOCK SIZE4KB8KB32KB128KB線程SSDSATASSDSATASSDSATASSDSATA延時20us2379us29us2407us98us2526us378us2915us1帶寬181MB/s1.7MB/s257MB/s3.3MB/s320MB/s12.7MB/s336MB/s43.8MB/sIOPS46.3K41932.2K41510K3952.6K342延時46us9.6ms90us9.85ms323us10.2ms1272us11.7ms4帶寬337MB/s1.7MB/s345MB/s3.2MB/s

12、390MB/s12.4MB/s400MB/s43.5MB/sIOPS84.3K41643.2K40412K3893.1K340延時87us19.3ms166us19.6ms639us20.4ms2432us23ms8帶寬359MB/s1.6MB/s381MB/s3.3MB/s399MB/s12.6MB/s420MB/s44.6MB/sIOPS89.9K41347.6K40612.5K3923.2K348延時164us38.8ms317us38.8ms1221us40.6ms4786us46.2ms16帶寬385MB/s1.6MB/s400MB/s3.3MB/s418MB/s12.6MB/s42

13、7MB/s44.3MB/sIOPS96.3K41150K41213K3943.3K346測試 3 - 全盤隨機(jī)混合讀寫（穩(wěn)態(tài)）測試步驟步驟一： 隨機(jī)將盤寫滿 2 遍。fio -name=precondition -dev/dfa -numjobs=2 -bs=128k -ioengine=libaio-iodepth=32 -iodepth_batch=16 -iodepth_batch_complete=16 -direct=1 -rw=randwrite-group_reporting -randrepeat=0以上命令將在隨機(jī)將 SSD 卡寫滿 2 遍之后自動退出。 根據(jù) SSD 卡容量

14、的大小，耗時長 短不一， 224 小時不等。 如果不想等待如此長的時間， 可以將 numjobs=2 減少（至少 >=2）， 減少寫滿盤的次數(shù)。 該步驟完成后， 可以認(rèn)為 SSD 卡已經(jīng)處于穩(wěn)態(tài)， 只要不進(jìn)行格式化擦除數(shù)據(jù)，可以認(rèn)為其一直處于穩(wěn)態(tài)。如果已經(jīng)在測試 2 中完成這一過程，可以在此跳過。步驟二：開始隨機(jī)混合讀寫測試fio -name=randomReadWrite -dev/dfa -numjobs=1 -bs=4k -ioengine=sync-direct=1 -norandommap -rw=randrw -rwmixread=70 -group_reporting -r

15、andrepeat=0-runtime=120測試結(jié)果1. 讀寫比例為：讀 70%，寫 30%2. 每一項(xiàng)列表中包含讀 (R)和寫 (W)的延遲， 所對應(yīng)帶寬，及 IOPS，分別以微秒 us (或毫秒 ms)，MB/s 和 k IOPS 為單位3. 改變以上命令中 -bs=4k 和-numjobs=1 兩個參數(shù)而得到不同線程和不同 block size 的結(jié) 果， 步驟一只要執(zhí)行一次即可，不必每次變動參數(shù)測試時都要執(zhí)行。BLOCK SIZE4KB8KB32KB128KB線程操作指標(biāo)SSDSATASSDSATASSDSATASSDSATA延時74us12ms94us12ms212us12.9ms

16、496us13.7ms70%讀帶寬48MB/s320KB/s77MB/s633KB/s137MB/s2.4MB/s224MB/s9MB/s1IOPS12K789.6K774.3K761.7K71延時15us376us17us392us41us459us159us710us30%寫帶寬20MB/s139KB/s32MB/s269KB/s59MB/s1MB/s96MB/s3.9MB/sIOPS5.1K344.1K321.8K3275030延時103us25ms150us24ms394us25ms1075us27ms70%讀帶寬141MB/s644KB/s195MB/s1.2MB/s297MB/s4

17、.9MB/s416MB/s18MB/s4IOPS35K15724K1589.3K1543.2K142延時18us852us26us900us75us913us353us1.4ms30%寫帶寬60MB/s280KB/s83MB/s548KB/s127MB/s2.5MB/s178MB/s7.7MB/sIOPS15K6810K663.9K651.4K60延時135us41ms210us42ms590us43ms1673us47.2ms70%讀帶寬216MB/s770KB/s280MB/s1.4MB/s396MB/s5.8MB/s533MB/s21MB/s8IOPS54K18835K18712K1824.1K166延時24us1.3ms36us1.2ms122us1.1ms567us1.9ms30%寫帶寬92MB/s328KB/s120MB/s657KB/s170MB/s2.5MB/s228MB/s9.2MB/sIOPS23K8015K805