Burst Buffer技術為何在HPC如此盛行

1、 Burst Buffer技術為何在HPC如此盛行 Burst Buffer是什么技術，它跟HPC有什么關系？首先我們一起來了解一個美國超算中心NERSC(國家能源研究科學計算中心)，然后通過NERSC超算系統(tǒng)對Burst Buffer的應用來說說Burst Buffer技術。 NERSC一直與Cray(克雷)合作，為Cori (Cori是NERSC最新的大型計算系統(tǒng)) 的用戶帶來Burst Buffer技術。NERSC Burst Buffer是采用Cray DataWarp技術，使用閃存或SSD（固態(tài)驅動器）技術來顯著提高Cori的I/O性能。 NERSC致力于通過高性能計算和數據分析加速

2、美國能源部科學探索，并向科學辦公室提供高性能計算服務。NERSC的使命是實現規(guī)模的計算科學，需要大量計算和廣泛建模。包括光合作用建模，全球氣候建模，燃燒建模，磁性融合，天體物理學，計算生物學等等，這些場景都存在浪涌型IO高性能訴求。為什么需要Burst Buffer NERSC為了滿足用戶對更好的I/O性能的要求，已經在兩個計算系統(tǒng)采用了Burst緩沖區(qū)技術。采用Burst Buffer，可以改進兩個場景和組件的I/O性能。1.應用程序可用的總帶寬。帶寬越高，優(yōu)化良好的應用程序可以讀取/寫入大量數據的速度越快。2.文件系統(tǒng)的IOPS。許多應用程序執(zhí)行大量的小型I/ O操作，在這種情況下IOPS

3、成為性能的限制因素。 另外，改進后的I/O性能可以幫助許多科學提升效率，在計算業(yè)務上，如通過更快的checkpoint restart提高應用程序可靠性；加快了小塊傳輸和分析的I/O性能；為核心外部應用程序提供快速臨時空間；為需要持久快速存儲的大量文件輸入或耦合模擬分析作業(yè)創(chuàng)建暫存區(qū)域。Burst Buffer架構 下圖說明了Burst Buffer的概念架構。Burst Buffer在物理位置上是處于計算和存儲節(jié)點之間的一層Flash層，在Cray DataWarp中它駐留專門的XC40節(jié)點上，它是I/O計算節(jié)點系統(tǒng)（采用Aries互聯）和存儲Fabric的橋梁。SSD安裝在Burst Bu

4、ffer節(jié)點中，通過Scheduler和DataWarp軟件堆棧來支持HPC計算作業(yè)。 具有SSD的DataWarp PCIe連接I/O刀片插入到計算刀片的XC40中，并通過Aries HPC互連連接。DataWarp支持Lustre、GPFS和PanFS并行文件系統(tǒng)，給出FS提供一個全局的Flash緩存層，通過智能調度算法來從并行文件系統(tǒng)預取計算數據。 Cray DataWarp的閃存磁盤連接到CX40節(jié)點。每個Brust Buffer節(jié)點包含一個至強處理器64 GB DDR3內存，以及兩個3.2 TB NAND閃存SSD模塊，連接在兩個PCIe gen3 x8接口上。 每個突發(fā)緩沖區(qū)節(jié)點通

5、過PCIe gen3 x16接口連接到Cray Aries網絡互連。 每個突發(fā)緩沖區(qū)節(jié)點提供大約6.4 TB的可用容量和大約5.7 GB /秒的順序讀寫帶寬的峰值。 DataWarp的軟件堆棧包括創(chuàng)建掛載點服務、LVM卷，XFS和DataWarp文件系統(tǒng)。DataWarp中的多個SSD設備通過LVM管理起來，然后在創(chuàng)建Brust Buffer時創(chuàng)建XFS組成Brust Buffer空間，DataWarp File System (DWFS)配合安裝在計算節(jié)點的Client來協調數據在Brust Buffer上換入換出，并且向計算節(jié)點提供統(tǒng)一命名空間來進行數據訪問。 這種架構提供了許多適合NER

6、SC的科學Workload的特性。在技術上主要體現在以下幾個方面。調度程序集成。對Burst Buffer資源的訪問與系統(tǒng)的調度程序集成。 調度程序提供了調配一組用戶或作業(yè)共享的BurstBuffer資源的功能。它還可以處理自動數據遷移到BurstBuffer，或從BurstBuffer存儲遷移到后端存儲。緩存模式。BurstBuffer還可以提供緩存模式，其中閃存資源用作大型Lustre文件系統(tǒng)的緩存層。這種模式對用戶程序代碼是透明的，無需修改代碼便可提供高性能I / O。過濾分析。允許在BurstBuffer節(jié)點上處理和過濾數據。NERSC的Burst Buffer路標 Burst Buf

7、fer軟件堆棧預計將分四個階段交付，如下所示。Burst Buffer軟件的第一階段是在2015年秋季與Cori系統(tǒng)的第一階段一起交付的。在2015年8月完成了對Burst Buffer Early Access計劃的建議征集，可以在這里找到成功的應用程序。 DataWarp軟件在第1階段提供了使用Burst Buffer的API。用戶通常通過批處理系統(tǒng)（即slurm）與此接口以定義突發(fā)緩沖區(qū)分配，例如大小和訪問模式（條帶化），并指定預留是否應該是持久的。Burst緩沖區(qū)可用于所有Cori用戶，BurstBuffer在Cori系統(tǒng)上，可以提供大約1.7 TB/秒的峰值I/O性能，具有28M I

8、OP和大約1.8PB的存儲容量。Cray的HPC方案 Cray也是HPC領域的領頭羊，他和DDN、Xyrate和PanaSas等并駕齊驅。Cray的XC40和CS400超級計算機使用Haswell處理器和DataWarp BurstBuffer技術，采用并NVIDIA Tesla GPU加速器和英特爾至強融核協處理器，以帶來更強的圖形處理能力。 Cray XC系列計算服務器包含XC40計算、XC50 GPU節(jié)點和XC40-AC制冷系統(tǒng)，XC40基于Intel Aries ASIC系統(tǒng)連接XC40基本刀片上的計算和I / O節(jié)點，使用PCIe Gen3主機接口，所有處理器采用Aries網絡都彼此

9、相連。 XC40可以擴展到超過一百萬個內核。該架構針對每個計算節(jié)點實現兩個處理器引擎，每個刀片具有四個計算節(jié)點。刀片以8對(16個機箱)堆疊，每個機柜最多可以安裝三個機箱，每個機柜384個插座。 CS400集群超級計算機使用行業(yè)標準刀片式或機架式服務器，并分別在CS400-AC和CS400-LC系統(tǒng)上提供空氣或液體冷卻。它們可擴展到11,000個計算節(jié)點和40個峰值Peta Float/s。 Cray CS400集群提供兩個關鍵的能力，即可定制的HPC集群軟件堆棧和Cray的高級集群引擎(ACE)系統(tǒng)管理軟件。 HPC群集軟件堆棧包括經過驗證和測試的軟件工具、操作系統(tǒng)、中間件應用程序和HPC編

10、程工具。這些工具與大多數開源和商業(yè)編譯器，調試器，調度程序和庫兼容。Cray編程環(huán)境，Cray科學和數學庫以及Cray性能測量和分析工具也可作為軟件堆棧的一部分。 Cray Sonexion 3000 scale-out Lustre存儲系統(tǒng)提供了Scrach存儲空間，用來存儲大量初始數據和計算結果數據，DataWarp Brust Buffer是一個應用程序IO加速器，使用PCIe閃存直接連接到XC40計算節(jié)點。它從存儲中獲取數據，滿足最糟糕的數據I/O浪涌臨時高速緩存需求。其他的Burst Buffer產品 除了Cray外，DataDirect NetWorks和EMC都在研究Burst

11、Buffer技術。DDN的IME Burst Buffer技術請參考文章：全面解析DDN存儲和HPC解決方案。關于EMC，我們知道Isilon一直活躍在HPC和大數據處理領域，推出Isilon All-Flash節(jié)點作為其他節(jié)點的高速緩存，針對一般的HPC計算已經游刃有余。 EMC的Burst Buffer方案采用專用硬件設備，叫做Active Burst Buffer Appliance(aBBa)，從EMC的測試來看，采用Burst Buffer后，不但均衡分擔了系統(tǒng)性能，而且在整體計算性能上可以提升30%。aBBa支持的并行文件系統(tǒng)比較廣泛，包括了Lustre, Isilon, PanF

12、S, HDFS和VNX等。 EMC Burst Buffer架構(Fast Forward IO)和Cray DataWarp以及DDN的IME在架構上類似，服務器計算節(jié)點安裝IO Forwarding Client和aBBa交互，智能的根據算法加速或預取數據，并存儲臨時計算數據；在aBBa上IO Dispatcher處理數據分布，并且把aBBa上的NVMe磁盤進行管理，由IO Forwarding Server統(tǒng)一呈現給IO Forwarding Client。 在aBBa上需要安裝Lustre客戶端用來讀取并行文件系統(tǒng)上的數據，并根據數據模型和預取算法把數據加速到aBBa，或淘汰數據到后端并行文件系統(tǒng)。 針對浪涌型計算業(yè)務，Burst Buffe