全面解析DDN存儲(chǔ)和HPC解決方案

1、 全面解析DDN存儲(chǔ)和HPC解決方案 DataDirect Networks成立于1998年，是一家高性能存儲(chǔ)產(chǎn)品的廠商，其提供的存儲(chǔ)系統(tǒng)主要服務(wù)于大容量和高帶寬應(yīng)用。比如高性能計(jì)算領(lǐng)域，以及影片和視頻的制作及分發(fā)等領(lǐng)域。HP也曾采用DDN作為其高性能計(jì)算解決方案的組成部分，IBM DSC9900也是OEM自DDN的S2A9900。 DDN存儲(chǔ)可以分為四種存儲(chǔ)服務(wù)塊設(shè)備、文件、對(duì)象以及計(jì)算存儲(chǔ)融合；三個(gè)平臺(tái)S2A、SFA、WOS。S2A平臺(tái)架構(gòu) S2A并行的架構(gòu)提供Block存儲(chǔ)服務(wù)，提供并行主機(jī)接口訪問，后端并行讀寫，LUN跨多個(gè)Tier(即Direct Raid技術(shù))；Tiers是一組磁盤

2、的集合，而獨(dú)特的Tier機(jī)制，提高LUN讀寫的并發(fā)性，提高單個(gè)LUN的性能。 每個(gè)Tier內(nèi)部類似于Raid 3(8+1)或者Raid 6(8+2)，Tiers之間類似于Raid 0實(shí)現(xiàn)數(shù)據(jù)可靠性。 除了Direct Raid技術(shù)，DDN有完善的電源管理方式，可以根據(jù)用戶的需要對(duì)整個(gè)存儲(chǔ)系統(tǒng)進(jìn)行動(dòng)態(tài)的磁盤休眠，這種休眠會(huì)更進(jìn)一步減少電源的消耗。SFA平臺(tái)架構(gòu) SFA平臺(tái)主要提供SAN和文件網(wǎng)關(guān)服務(wù)，該平臺(tái)表明DDN已經(jīng)從依賴硬件加速轉(zhuǎn)向軟件平臺(tái)，相比S2A平臺(tái)硬件，SFA平臺(tái)無FPGA、無RAID卡，無Tiers，而是用Storage Pool概念，采用RAID 5、6、1代替RAID60。

3、基于分布式Cache和通過鏡像通道轉(zhuǎn)發(fā)，SFA通過鏡像通道轉(zhuǎn)發(fā)+Cache全鏡像實(shí)現(xiàn)Active/Active。產(chǎn)品經(jīng)歷了SFA10KX, SFA12K-20/40, SFA12K-20E，下面是Storage Fusion Architecture (SFA)12KX規(guī)格，提供基于FC和IB的高性能存儲(chǔ)設(shè)備，支持GRIDScaler Parallel File Storage System, EXAScaler Parallel File Storage System網(wǎng)關(guān)。12KXE(Embedded File Storage Appliance)可以把文件網(wǎng)關(guān)部署在控制器的VMs中。WOS

4、平臺(tái)架構(gòu) 支持4U高密度60插槽節(jié)點(diǎn)，3U高性能16驅(qū)動(dòng)WOS節(jié)點(diǎn)，支持群集性能比例彈性伸縮，支持復(fù)制功能；提供HTTP、 PHP、 Java和Python API，提供Put、Get、Delete等操作，支持400億獨(dú)特的對(duì)象，GUI配置和管理。DDN文件網(wǎng)關(guān) DDN網(wǎng)關(guān)基于SFA平臺(tái)，分為NAS網(wǎng)關(guān)NASScaler，并行文件系統(tǒng)網(wǎng)關(guān)ExaScaler、GridScaler和SAN文件系統(tǒng)xStreamScaler/MEDIAScaler。 在S2A平臺(tái)架構(gòu)上， 并行文件系統(tǒng)網(wǎng)關(guān)部署在服務(wù)器上；在SFA平臺(tái)架構(gòu)上，網(wǎng)關(guān)可以部署在服務(wù)器上，也可以部署在SFA-E平臺(tái)內(nèi)，后者是DDN主推的方式

5、。DDN文件網(wǎng)關(guān)ExaScaler/GridScaler設(shè)備 ExaScaler將Lustre的MDS、OST、OSS都部署在SFA-E的VM上，不需要額外物理服務(wù)器來部署Lustre平行文件系統(tǒng)。GridScaler將GPFS的NSD部署在SFA-E的VM上；同樣，不需要額外物理服務(wù)器來部署Lustre平行文件系統(tǒng)。也可以通過物理網(wǎng)關(guān)的方式提供。DDN文件網(wǎng)關(guān)NASScaler設(shè)備 DDN提供三個(gè)版本的NAS Scaler系列產(chǎn)品：FAS-1596-GB，F(xiàn)SA-1506-10G和FSA-3192，產(chǎn)品有更新，產(chǎn)品更新以后抽時(shí)間在介紹。 NAS Scaler最大支持16個(gè)1U單元集群，單個(gè)集

6、群最大提供2PB的容量；存儲(chǔ)容量支持現(xiàn)有的S2A6620、SFA10000。最大帶寬15GB/s，每秒鐘支持?jǐn)?shù)十萬次文件操作。DDN文件網(wǎng)關(guān)xStreamScaler/MEDIAScaler xStreamScaler是DDN重要的一款產(chǎn)品，在媒資領(lǐng)域的解決方案較多。它是一款SAN文件系統(tǒng)，同時(shí)也可以通過SAN直接訪問后端存儲(chǔ)（如Apple Xsan share filesystem），主要應(yīng)用在媒資場(chǎng)景。 xStreamScaler還提供了HSM管理特性，如存儲(chǔ)Tiers、Dedup等特性，無快照、遠(yuǎn)程復(fù)制特性。NAS Scaler僅僅是集群NAS，而不能通過SAN直接訪問后端存儲(chǔ)，xStr

7、eamScaler可以通過SAN直接訪問后端存儲(chǔ)。 如果仔細(xì)看看DDN產(chǎn)品家族，可以清晰看到，除了上述傳統(tǒng)SAN、NAS、對(duì)象存儲(chǔ)和針對(duì)HPC的專業(yè)存儲(chǔ)外，DDN也是緊跟閃存步伐，推出針對(duì)HPC場(chǎng)景的Flash存儲(chǔ)系統(tǒng)，F(xiàn)lashScale AFA和加速產(chǎn)品IME Burst Buffer。Infinite Memory Engine IME采用新的I/O供給模式，作為Burst Buffer加速產(chǎn)品，在軟件定義存儲(chǔ)、計(jì)算中間引入了一個(gè)全新的新、透明，可擴(kuò)展，非易失性存儲(chǔ)器的存儲(chǔ)層，提供低延遲、高帶寬和IOPS性能。滿足下一代性能消耗科學(xué)分析和大數(shù)據(jù)應(yīng)用場(chǎng)景。 通過IME設(shè)備智能緩存或預(yù)讀數(shù)據(jù)

8、，可以提供計(jì)算峰值業(yè)務(wù)負(fù)載要求，分離峰值和平穩(wěn)業(yè)務(wù)性能需求，降低存儲(chǔ)在滿足峰值業(yè)務(wù)訴求的投資。 IME屏蔽由小文件I/O和文件鎖定引起的動(dòng)態(tài)地將分段數(shù)據(jù)對(duì)齊成滿條帶寫入的POSIX語義并行文件系統(tǒng)的限制。從下圖可以看到，基于S3D湍流模型，計(jì)算節(jié)點(diǎn)可以同時(shí)從IME或從并行文件系統(tǒng)中讀取數(shù)據(jù)，實(shí)際上，在計(jì)算節(jié)點(diǎn)中預(yù)先編譯安裝了DDN提供的并行技術(shù)接口和智能數(shù)據(jù)預(yù)期算法，他可以根據(jù)數(shù)據(jù)訪問來判斷預(yù)期下一刻需要訪問的數(shù)據(jù)，并加速到IME中提高帶寬性能，當(dāng)對(duì)存儲(chǔ)帶寬要求不高時(shí)，可以直接從并行文件系統(tǒng)讀取數(shù)據(jù)。 IME滿足軟件定義存儲(chǔ)特性，我們基于軟件的方法提供了更多的靈活性選擇，從DDN官方材料來看，

9、IME跟并行文件系統(tǒng)、技術(shù)節(jié)點(diǎn)、網(wǎng)絡(luò)、HPC應(yīng)用和部署方式等都是完全解耦，具備很強(qiáng)的通用性。 從下面規(guī)格可以看出，IME產(chǎn)品基于NVMe協(xié)議、支持800G和1.6T SSD磁盤，提供POSIX文件訪問接口，支持Scale out到32個(gè)節(jié)點(diǎn)，整個(gè)系統(tǒng)支持1.6TB*48*32存儲(chǔ)容量。 IME交付方式包含IME14KX、 IME240和純軟件產(chǎn)品和基于存軟件方式，DDN提供了一種軟件定義防止廠商鎖定的交付模式。 IME14KX基于超融合DDN SFA14KX硬件平臺(tái)，利用業(yè)界最新的組件最大限度地提高I/O性能。利用多核處理器，互連和內(nèi)存技術(shù)。集成了業(yè)界最廣泛的PCIe非阻塞架構(gòu)。每個(gè)IME14

10、KX都可以擴(kuò)展到48NVMe SSD，在每個(gè)4U設(shè)備可以擴(kuò)展到50GB/s帶寬。 IME240使用標(biāo)準(zhǔn)的2U商用存儲(chǔ)服務(wù)器機(jī)箱，通過優(yōu)化以消除I/O性能阻塞組件，并添加超低延遲InfiniBand連接。相比IME14KX，IME240實(shí)現(xiàn)小規(guī)模IME I/O加速，其一個(gè)Building Block可以提供的20GB/s帶寬。 在HPC計(jì)算場(chǎng)景中，Burst Buffer技術(shù)主要解決下面三個(gè)問題。 1.將隨機(jī)小IO匯聚成串行大I/O，后續(xù)再順序或以大IO寫入HDD的并行文件系統(tǒng)，提供小IO或小文件讀寫性能。2.消除浪涌型IO性能瓶頸，減小IO在高峰計(jì)算的時(shí)延。 3.數(shù)據(jù)智能預(yù)取和讀寫加速。Fla

11、shScale產(chǎn)品 DDN宣傳是世上最快、成本最優(yōu)的AFA。Flashscale利用近二十年的DDN的規(guī)模經(jīng)驗(yàn)和平臺(tái)演進(jìn)，為世界上最數(shù)據(jù)密集型超級(jí)計(jì)算，物聯(lián)網(wǎng)超級(jí)計(jì)算器和企業(yè)級(jí)規(guī)模站點(diǎn)提供動(dòng)力。 在4U設(shè)備中，提供極高的600萬IOPS和60GB/s帶寬，在一個(gè)40U的機(jī)柜中可提供高達(dá)60百萬IOPS和600 GB/s。利用最新的NVMe和SAS接口或混合SSD接口技術(shù)，基于高密度超融合，共享存儲(chǔ)架構(gòu)，在4U的空間中提供576TB容量，一個(gè)機(jī)架中支持7.3PB容量。 支持Scale up擴(kuò)展容量，Scale out擴(kuò)展性能。提供最佳性價(jià)比，應(yīng)用于生命科學(xué)，制造，石油和氣體，政府，Web規(guī)模，分

12、析，數(shù)據(jù)庫和HPC環(huán)境。支持Lustre和IBM Spectrum Scale(GPFS)并行文件系統(tǒng)。 Flashscale采用商用硬件和NVMeSAS SSD技術(shù)，并采用融合架構(gòu)，融合存儲(chǔ)和并行文件系統(tǒng)計(jì)算節(jié)點(diǎn)，4U控制框包含72塊高密磁盤，2個(gè)冗余計(jì)算節(jié)點(diǎn)（4U Active/Active Storage Appliance，2 Compute Controllers: 4 x 18-core Intel CPUs, Up to 2048GB DDR4-2400Memory)，F(xiàn)C、IB、100Gb以太網(wǎng)和DDN OmniPath網(wǎng)絡(luò)。 Flashscale基于SFA OS 3.0軟件平臺(tái)，支持增加JBOD（SS8412擴(kuò)展框）的方式擴(kuò)展容量（支持1到10個(gè)），或擴(kuò)展基本存儲(chǔ)框來增加性能。 前一段時(shí)間我們還在討論全SSD的NAS使用場(chǎng)景，詳情請(qǐng)參看PureStorag