全閃存儲陣列的設(shè)計與實測

1、全閃存陣列的設(shè)計與實測1全閃存陣列設(shè)計目錄2典型應(yīng)用場景與實測案例什么是閃存？=閃存的出現(xiàn)：去除在線存儲系統(tǒng)內(nèi)唯一的機械部件磁存儲方式、機械臂電存儲方式、芯片閃存的顯著優(yōu)點 性能高固態(tài)硬盤Intel DC S3610 400GBSAS15K希捷ST300MP0005SAS10K希捷ST1200MM0088SAS7.2K希捷ST4000NM00334K隨機IOPS8.4w(讀)2.5w(寫)18015576順序讀MB/s550(讀)400(寫)160233108215175平均延遲55s(R)66s(W)2ms+3.5ms2.9ms+3.5ms4.16ms+9ms 固態(tài)硬盤的隨機讀寫性能是傳統(tǒng)磁

2、盤的數(shù)百倍，延遲只有傳統(tǒng)磁盤的一百至數(shù)百分之一！閃存性能舉例45萬IOPS1536塊傳統(tǒng)硬盤過去需要1536塊硬盤完成的任務(wù)，在今天的全閃存上只需要20塊硬盤！閃存的顯著缺點 擦寫壽命與寫放大擦寫壽命：SLC：典型擦寫壽命10萬次MLC：典型擦寫壽命1萬次eMLC：典型擦寫1.53萬次注：當(dāng)然根據(jù)制程不同，又略有區(qū)別寫入放大：SSD是以1 page（如4K）寫入，而擦除則是以block（128*4K）為最小單位。當(dāng)發(fā)生數(shù)據(jù)更改時，需要先擦除，而擦除block就需要將其中有效的page移動并寫入到其他位置，于是就發(fā)生了寫放大問題。閃存的典型壽命舉例SATA接口的耐磨度和最大容量：Intel 37

3、10：10DWPD，Max 1.2TBIntel 3610：3DWPD，Max 1.6TBIntel 3510：0.3DWPD，Max 1.6TB三星SM863： 3.6DWPD，Max 1.92TB三星PM863： 0.8DWPD，Max 3.84TB高可靠領(lǐng)域：10*1.2=12TB/天傳統(tǒng)陣列中的二級讀緩存典型的全閃存陣列配盤DWPD(Disk Write Per Day) (全盤磁盤寫/每天)基于閃存的三種陣列傳統(tǒng)陣列：常見形態(tài)傳統(tǒng)陣列+少量SSD盤，SSD盤用作二級緩存，提升性能。二級緩存以讀居多?；旌详嚵校撼Ｒ娦螒B(tài)閃存+機械硬盤混合的陣列，閃存、機械硬盤都用于存放數(shù)據(jù)。數(shù)據(jù)可在閃存

4、及機械硬盤之間進行遷移。全閃存陣列：未來的方向只采用閃存用作存儲介質(zhì)的陣列。閃存的性能完全不同，全閃存陣列需要完全不同的硬件架構(gòu)！閃存的特性完全不同，全閃存陣列需要完全不同的軟件處理方式！ 關(guān)于全閃存陣列的不同設(shè)計思路（EMC）關(guān)鍵字：橫向擴展節(jié)點（不是最強的）0.5ms的延遲（不是最強的）采用XDP與重刪，提高利用率采用eMLC降低成本注重性能與功能的平衡基本單元1個UPS2個控制器1個磁盤框 關(guān)于全閃存陣列的不同設(shè)計思路（IBM）關(guān)鍵字：特殊設(shè)計的硬件，追求極致性能，如4模塊200萬4K隨機IOPS低于200s的延遲基本沒有高級特性借助SVC等實現(xiàn)高級特性全閃存陣列的不同設(shè)計思路（華為）關(guān)

5、鍵字：采用傳統(tǒng)雙控存儲硬件不橫向擴展、只縱向擴展宣傳最大IOPS 60萬，延遲0.5毫秒功能特性豐富宏杉全閃存陣列的設(shè)計思路閃存的性能完全不同，因此，全閃存陣列需要完全不同的硬件架構(gòu)！閃存特性完全不同，因此，全閃存陣列需要完全不同的軟件處理方式！硬件架構(gòu)優(yōu)化橫向擴展設(shè)計引擎處理能力設(shè)計硬盤通道設(shè)計軟件架構(gòu)優(yōu)化全局磨損平衡寫入優(yōu)化性能與功能的平衡MS7000AF橫向擴展硬件架構(gòu)控制矩陣（8引擎擴展）SSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSD硬盤通道10核20線程10核20線程10核20線程

6、10核20線程1.5TB高速緩存主機通道橫向擴展：通過控制矩陣，可橫向擴展至8個控制引擎（PCIE3.0或40Gb/100Gb低延遲以太網(wǎng)）；縱向擴展：多個獨立的384Gb通道擴展6個硬盤框（SAS3.0）；主打高性能單引擎處理能力SSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSD硬盤通道10核20線程10核20線程10核20線程10核20線程1.5TB高速緩存主機通道80CPU線程的處理能力1.5TB高速緩存384Gb交換帶寬/25盤30WIOPS/25盤硬盤通道設(shè)計全新設(shè)計的硬盤通道，確保吞

7、吐性能，是傳統(tǒng)存儲的4倍以上傳統(tǒng)SAS架構(gòu)：采用24Gb SAS2.0或4Gb FC連續(xù)；每個硬盤柜2條鏈路上行，2條鏈路向后端縱向擴展；宏杉SSD架構(gòu)：采用48Gb SAS3.0連接；每個硬盤柜8條鏈路上行，不縱向擴展；每個硬盤柜25盤，每6個SSD獨享2條48Gb SAS3.0通道前端總線CPUCPU后端總線前端總線CPUCPU后端總線SASSASSASSASSASSASSASSASSASSAS硬盤柜縱向繼續(xù)擴展傳統(tǒng)SAS架構(gòu)24Gb SAS2.0/4Gb FC48Gb SAS3.0X2前端總線CPUCPU后端總線前端總線CPUCPU后端總線SASSASSASSASSASSASSASSAS

8、SASSAS硬盤柜不縱向擴展SSD架構(gòu)X8瓶頸瓶頸全局磨損平衡基于Cell的RAID3.0 AF技術(shù)全局磨損平衡：CRAID3.0將硬盤分塊并打散到所有硬盤，實現(xiàn)全局硬盤磨損平衡；寫入優(yōu)化重寫軟件代碼，減少數(shù)據(jù)回讀，滿條帶刷盤，RAID5寫入放大控制在1.6倍左右；同等業(yè)務(wù)條件下，采用RAID10可以更有效減少回讀，提升IO效率。實際測試MS7000AF配置1個SSU配置25塊盤4組6塊盤RAID10/1塊全局熱備盤性能延時低于1ms，混合IOPs（70%讀+30%寫，8KB全隨機）30萬（1個SSU）性能與功能的平衡生產(chǎn)卷雙活卷主機B存儲引擎A存儲引擎B虛擬卷數(shù)據(jù)中心A40GE/RDMA災(zāi)備

9、卷存儲引擎A數(shù)據(jù)中心C數(shù)據(jù)中心BGE/10GE復(fù)制快照鏡像自動精簡雙活工作模式可選擇性能模式：去除復(fù)制、快照等高級特性，縮短IO路徑，提供極致性能；提供“功能模式”可供選擇，在功能模式下，提供足夠的性能，同時保留快照、復(fù)制等高級特性；MS7000AF規(guī)格項目描述MS7000AF架構(gòu)多引擎架構(gòu)，支持1-8個引擎橫向擴展處理器（每引擎）2*2路Intel多核處理器最大緩存能力（每引擎）1.5TB硬盤柜擴展能力（每引擎）6（每硬盤柜25盤位）硬盤柜接口（每磁盤柜）8*4*12GbSAS接口IO模塊類型8Gb/s FC模塊、16Gb/s FC模塊10Gb/s iSCSI模塊、40Gb/s iSCSI模

10、塊IOPS（每引擎）300,000（8K全隨機，70%讀+30%寫混合）延遲1ms對比EMC XtremIO 4.01、測試模型：70%讀+30%寫，8KB全隨機2、EMC數(shù)據(jù)為官網(wǎng)標(biāo)稱數(shù)據(jù)，宏杉為實驗室實測數(shù)據(jù)宏杉MS7000+SSU宏杉MS7000+SSU宏杉MS7000+SSU宏杉MS7000+SSU宏杉MS7000+SSUEMCStarter X-BrickEMC1 X-BrickSSD盤數(shù)量24（可擴展至50）1224122415（可擴展至25）25Rack Space7U（9U）7U7U7U7U6U6U性能（8K全隨機，70%讀+30%寫）300K100K200K60K120K15

11、0K150K平均延時0.9ms0.5ms0.5ms0.5ms0.5ms0.5ms0.5ms最大帶寬6GB/s6GB/s6GB/s6GB/s6GB/s3GB/s3GB/sRAID類型10101055XDPXDP1全閃存陣列設(shè)計目錄2典型應(yīng)用場景與實測案例閃存的典型應(yīng)用場景1234索引數(shù)據(jù)倉庫OLTPVDI隨機順序讀取密集型寫入密集型索引維護索引以實現(xiàn)更快的數(shù)據(jù)訪問在數(shù)據(jù)庫上運行以加快查詢數(shù)據(jù)塊的定位數(shù)據(jù)倉庫存儲的數(shù)據(jù)用于創(chuàng)建報告或者獲取商業(yè)智能用于數(shù)據(jù)挖掘、分析、假設(shè)檢驗、建模OLTP零售、金融等面向交易應(yīng)用如果數(shù)據(jù)無法訪問或者訪問速度緩慢，業(yè)務(wù)可能會受到影響的應(yīng)用在使用高峰期間，客戶體驗可能會

12、受到影響的應(yīng)用VDI在集中式服務(wù)器的虛擬機上承載桌面操作系統(tǒng)實現(xiàn)黃金映像的快速檢索存在啟動風(fēng)暴、寫入分配和延遲等問題閃存的最佳應(yīng)用：交易性、密集IO的工作負(fù)載實測案例：數(shù)據(jù)庫加速（某集團）測試環(huán)境業(yè)務(wù)軟件：用友NC系統(tǒng)報表處理數(shù)據(jù)庫：Oracle 12小機：Power 840/AIX 7.1廠商存儲陣列任務(wù)耗時間原有存儲系統(tǒng)原有混合陣列01:03:40IBM測試存儲FlashSystem 840；20TB；00:44:36宏杉測試存儲MS7000AF；20*400GB SSD00:42:49IBM原有傳統(tǒng)陣列宏杉宏杉科技MS7000AF實測試性能優(yōu)于IBM FS840實測案例：服務(wù)器虛擬化（某銀行）測試環(huán)境平臺軟件：VMware5.1/SU