高性能并行計(jì)算機(jī)介紹

1、高性能并行計(jì)算機(jī)簡介 2010-06 1.1 并行計(jì)算機(jī)基礎(chǔ)知識 1.2 并行計(jì)算機(jī)系統(tǒng)架構(gòu) 1.3 機(jī)群系統(tǒng) 1.4 高性能計(jì)算發(fā)展趨勢 目錄 什么是高性能并行計(jì)算機(jī)什么是高性能并行計(jì)算機(jī) 由多個(gè)計(jì)算單元組成，運(yùn)算速度快、存儲容量 大、可靠性高的計(jì)算機(jī)系統(tǒng)。 也稱為：巨型計(jì)算機(jī)、超 級計(jì)算機(jī) 目前任何高性能計(jì)算和超 級計(jì)算都離不開使用并行 技術(shù)，所以高性能計(jì)算機(jī) 肯定是并行計(jì)算機(jī)。 其發(fā)展歷程可以簡單的分為兩個(gè)時(shí)代其發(fā)展歷程可以簡單的分為兩個(gè)時(shí)代 專用時(shí)代 包括向量機(jī)，MPP系統(tǒng)，SGI NUMA 系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀 河，曙光1000等。 之所以稱為“專用”，并

2、不是說它們只能運(yùn)行某種應(yīng)用，是指它們的組成部件是專門設(shè)計(jì) 的，它們的CPU板，內(nèi)存板，I/O板，甚至操作系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由 于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。 普及時(shí)代 高性能計(jì)算機(jī)價(jià)格下降，應(yīng)用門檻降低，應(yīng)用開始普及。兩個(gè)技術(shù)趨勢起到重要作用。 商品化趨勢使得大量生產(chǎn)的商品部件接近了高性能計(jì)算機(jī)專有部件 標(biāo)準(zhǔn)化趨勢使得這些部件之間能夠集成一個(gè)系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、 Linux都起到?jīng)Q定性作用。 機(jī)群系統(tǒng)是高性能計(jì)算機(jī)的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。 曙光曙光1000 曙光1000有36個(gè)結(jié)點(diǎn)機(jī); 峰值計(jì)算速度為浮點(diǎn)2

3、5.6億次/秒，實(shí)際達(dá) 到15.8 億次/秒； 內(nèi)存容量為1024兆字節(jié)； 基于Wormhole機(jī)制的二維Mesh通訊網(wǎng)， 結(jié)點(diǎn)與網(wǎng)絡(luò)通訊總帶寬為2.88GB/秒； 采用基于UNIX的并行操作系統(tǒng)和并行文件 系統(tǒng)； 并行計(jì)算機(jī)并行計(jì)算機(jī)-CRAY System Name Jaguar 1059000 GFlops System Family Cray XT Operating System CNL Interconnect XT4 Internal Interconnect Processor AMD Opteron Quad Core 2300 MHz (9.2 GFlops) 并行計(jì)算機(jī)并

4、行計(jì)算機(jī)-IBM System Name Roadrunner 1105000 GFlops System Family IBM Cluster Operating System Linux Interconnect Infiniband Processor PowerXCell 8i 3200 MHz (12.8 GFlops) 并行計(jì)算機(jī)并行計(jì)算機(jī)-DAWNING System Name Dawning 5000A 180600 GFlops System Family Dawning Cluster Operating System Windows HPC server 2008 and

5、 SUSE Interconnect Infiniband DDR Processor AMD Opteron Quad Core 1900 MHz (7.6 GFlops) 并行計(jì)算機(jī)所用的處理器并行計(jì)算機(jī)所用的處理器 AMD Opteron Xeon Nocona Intel Itanium Compaq Alpha HP PA-RISC Sun UltraSPARC IBM POWER5+,POWER6 IBM BlueGene processor MIPS R10000 龍芯 最新TOP500cpu分布 并行機(jī)處理器并行機(jī)處理器-AMD PERFORMANCE 1-WAY PERFOR

6、MANCE 2-WAY PERFORMANCE 4-WAY AND 8-WAY AMD Opteron 200 Series 系統(tǒng)是對稱的； 微處理器: 一般少于64個(gè); 處理器不能太多, 總線和交叉開關(guān)的 一旦作成難于擴(kuò)展； 例子: IBM R50, SGI Power Challenge, SUN Enterprise, 分布式共享存儲系統(tǒng)分布式共享存儲系統(tǒng)(DSM) DSM 分布共享存儲: 內(nèi)存模塊物理上局部于各個(gè) 處理器內(nèi)部,但邏輯上(用戶)是共享存儲的; 這種結(jié)構(gòu)也稱為基于Cache目錄的非一致內(nèi) 存訪問(CC-NUMA)結(jié)構(gòu);局部與遠(yuǎn)程內(nèi)存訪 問的延遲和帶寬不一致,3-10倍高性能

7、并 行程序設(shè)計(jì)注意; 與SMP的主要區(qū)別：DSM在物理上有分布 在各個(gè)節(jié)點(diǎn)的局部內(nèi)存從而形成一個(gè)共享的 存儲器； 微處理器: 16-128個(gè); 代表: SGI Origin 2000, Cray T3D; 大規(guī)模并行計(jì)算機(jī)系統(tǒng)大規(guī)模并行計(jì)算機(jī)系統(tǒng)(MPP) MPP 物理和邏輯上均是分布內(nèi)存 能擴(kuò)展至成百上千個(gè)處理器(微處理器 或向量處理器) 采用高通信帶寬和低延遲的互聯(lián)網(wǎng)絡(luò) (專門設(shè)計(jì)和定制的) 一種異步的MIMD機(jī)器；程序系由多 個(gè)進(jìn)程組成，每個(gè)都有其私有地址空 間，進(jìn)程間采用傳遞消息相互作用； 代表:CRAY T3E(2048), ASCI Red(3072), IBM SP2 機(jī)群系統(tǒng)機(jī)

8、群系統(tǒng)(Cluster) Cluster 每個(gè)節(jié)點(diǎn)都是一個(gè)完整的計(jì)算機(jī) 各個(gè)節(jié)點(diǎn)通過高性能網(wǎng)絡(luò)相互連接 網(wǎng)絡(luò)接口和I/O總線松耦合連接 每個(gè)節(jié)點(diǎn)有完整的操作系統(tǒng) 曙光2000、 3000、4000, ASCI Blue Mountain 1.1 并行計(jì)算機(jī)基礎(chǔ)知識 1.2 并行計(jì)算機(jī)系統(tǒng)架構(gòu) 1.3 機(jī)群系統(tǒng) 1.4 高性能計(jì)算發(fā)展趨勢 目錄 什么是機(jī)群系統(tǒng)什么是機(jī)群系統(tǒng) 機(jī)群系統(tǒng)（Cluster） 利用標(biāo)準(zhǔn)網(wǎng)絡(luò)將一臺臺普通服務(wù)器或者PC機(jī)連接起來，為使用者提供更高的 計(jì)算能力和存儲能力并為使用者提供單一系統(tǒng)映象的系統(tǒng)。 單一系統(tǒng)映象 使用者在使用機(jī)群系統(tǒng)的時(shí)候感覺上就象使用一個(gè)單獨(dú)的計(jì)算機(jī)系

9、統(tǒng)一樣。 單一系統(tǒng)映象實(shí)現(xiàn)方法：硬件層、操作系統(tǒng)層、軟件層 機(jī)群系統(tǒng)的優(yōu)勢機(jī)群系統(tǒng)的優(yōu)勢 極高的性價(jià)比 大型機(jī)的主流 良好的可擴(kuò)展性 更高的可管理性 更低的使用維護(hù)成本 更好的可使用性 更好的系統(tǒng)魯棒性 更多的應(yīng)用支持 機(jī)群使用越來越廣泛 應(yīng)用領(lǐng)域越來越多 機(jī)群系統(tǒng)的應(yīng)用領(lǐng)域機(jī)群系統(tǒng)的應(yīng)用領(lǐng)域 數(shù)學(xué) 基因信息氣象預(yù)報(bào) 生物物理石油勘探 信息服務(wù)汽車制造 船舶制造 2010高性能計(jì)算機(jī)架構(gòu)分布高性能計(jì)算機(jī)架構(gòu)分布 機(jī)群系統(tǒng)的應(yīng)用分類機(jī)群系統(tǒng)的應(yīng)用分類 高性能計(jì)算機(jī)群高性能計(jì)算機(jī)群 應(yīng)用于高性能計(jì)算領(lǐng)域； 整合多個(gè)計(jì)算單元的并行計(jì)算性能； 注重整體性能的發(fā)揮； 目前成為高性能計(jì)算機(jī)的主體架構(gòu)； 高

10、性能計(jì)算機(jī)群系統(tǒng)架構(gòu)高性能計(jì)算機(jī)群系統(tǒng)架構(gòu) 節(jié)點(diǎn)機(jī)采用曙光天闊系列機(jī)架式服務(wù)器節(jié)點(diǎn)機(jī)采用曙光天闊系列機(jī)架式服務(wù)器 I系列和系列和A系統(tǒng)系統(tǒng) I系統(tǒng)采用Intel Xeon處理器 A系列采用AMD Opteron處理器 2路、路、4路、路、8路、路、16路產(chǎn)品路產(chǎn)品 1U、2U、5U、12U . 計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn) IO節(jié)點(diǎn)節(jié)點(diǎn) 管理節(jié)點(diǎn)管理節(jié)點(diǎn) 登入節(jié)點(diǎn)登入節(jié)點(diǎn) . 如何選擇節(jié)點(diǎn)機(jī)如何選擇節(jié)點(diǎn)機(jī)？ 網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)和存儲 網(wǎng)絡(luò)網(wǎng)絡(luò) 計(jì)算網(wǎng) 管理網(wǎng) 數(shù)據(jù)傳輸網(wǎng) 百兆以太網(wǎng) 千兆以太網(wǎng) Myrinet Infiniband 存儲存儲 存儲產(chǎn)品 存儲結(jié)構(gòu) 文件系統(tǒng) SCSI SATA FC SAS DA

11、S NAS SAN IPSAN NFS DCFS2 Lustre 如何選擇？如何選擇？ 高性能機(jī)群層次架構(gòu)高性能機(jī)群層次架構(gòu) 應(yīng)用層 機(jī)群操作系統(tǒng)層（DCOS） 系統(tǒng)軟件層（OS, 編譯器） 硬件層（節(jié)點(diǎn), 網(wǎng)絡(luò)等） 高性能機(jī)群的硬件構(gòu)成高性能機(jī)群的硬件構(gòu)成 l 機(jī)柜（含供電電源）； l 節(jié)點(diǎn)機(jī)（計(jì)算節(jié)點(diǎn)，登陸節(jié)點(diǎn)， I/O節(jié)點(diǎn)，監(jiān)控節(jié)點(diǎn)）； l 互連網(wǎng)絡(luò)，每種網(wǎng)絡(luò)連接機(jī)群的全部或部分節(jié)點(diǎn)： 管理網(wǎng)（百兆以太網(wǎng)）； 數(shù)據(jù)網(wǎng)（千兆以太網(wǎng)）； 計(jì)算網(wǎng)（Infiniband等）； 監(jiān)控網(wǎng)（監(jiān)控系統(tǒng)網(wǎng)絡(luò)）； KVM網(wǎng)（SKVM系統(tǒng)）； 存儲網(wǎng)（SAN存儲網(wǎng)絡(luò)）； l 存儲系統(tǒng)：盤陣或SAN存儲； 高性

12、能機(jī)群軟件系統(tǒng)高性能機(jī)群軟件系統(tǒng) 石油領(lǐng)域：Geoeast、paradigm、cgg、omega、VSS 物理化學(xué)：VASP、Gaussian 材料化學(xué)：Materials Studio 環(huán)保領(lǐng)域：MM5、Grapes、WRF 結(jié)構(gòu)力學(xué)：ABAQUS、NASTRAN 性能評估：LINPACK、HPCC、NPB等等 流體力學(xué)：fluent、CFX、Star_CD 分子動力學(xué)：NAMD、GROWMACS、AMBER 生物計(jì)算：BLAST、FASTA、MEME 并行文件系統(tǒng)和數(shù)據(jù)庫：DCFS2、PVFS2、Lustre、Oracle RAC 機(jī)群管理和監(jiān)控系統(tǒng)：DCOS、DCMMII、Rocks、O

13、SCAR 曙光機(jī)群操作系統(tǒng)曙光機(jī)群操作系統(tǒng)(DCOS) 曙光機(jī)群管理系統(tǒng)曙光機(jī)群管理系統(tǒng)(DCMS) 曙光機(jī)群監(jiān)控系統(tǒng)曙光機(jī)群監(jiān)控系統(tǒng)(DCMM) 曙光機(jī)群部署系統(tǒng)曙光機(jī)群部署系統(tǒng)(DCIS) 曙光并行命令系統(tǒng)曙光并行命令系統(tǒng)(MTerm) 曙光機(jī)群并行文件系統(tǒng)曙光機(jī)群并行文件系統(tǒng) DCFS2DCFS2（Dawning Cluster File Serving/SystemDawning Cluster File Serving/System）是曙光公司自主研發(fā)的第二）是曙光公司自主研發(fā)的第二 代并行文件系統(tǒng)代并行文件系統(tǒng) 全局文件系統(tǒng)，提供單一系統(tǒng) 映象 與節(jié)點(diǎn)上的本地文件系統(tǒng)完全 兼容 支

14、持大規(guī)模機(jī)群系統(tǒng) 能夠提供很高的元數(shù)據(jù)處理性 能 可靠性好，具有快速故障恢復(fù) 功能 并行環(huán)境、開發(fā)環(huán)境、高性能數(shù)學(xué)庫并行環(huán)境、開發(fā)環(huán)境、高性能數(shù)學(xué)庫 并行環(huán)境并行環(huán)境 消息傳遞：MPI、PVM 共享存儲：OpenMP 開放環(huán)境開放環(huán)境 編譯器 調(diào)試器 性能分析器 高性能數(shù)學(xué)庫高性能數(shù)學(xué)庫 ACML APL MKL IPP 其他專業(yè)數(shù)學(xué)庫 1.1 并行計(jì)算機(jī)基礎(chǔ)知識 1.2 并行計(jì)算機(jī)系統(tǒng)架構(gòu) 1.3 機(jī)群系統(tǒng) 1.4 高性能計(jì)算發(fā)展趨勢 目錄 低功耗設(shè)計(jì)和管理技術(shù)越來越重要 基于Linpack對Top500和典型 高性能計(jì)算機(jī)的發(fā)展趨勢進(jìn)行 外推，在2015-2018年左右， 高性能計(jì)算機(jī)的功

15、耗將高達(dá)50- 80MW； 為減少系統(tǒng)功耗，降低系統(tǒng)運(yùn) 行能耗，提高系統(tǒng)在單位能耗 下的性能，高性能計(jì)算機(jī)必須 在器件級低功耗設(shè)計(jì)技術(shù)、軟 件低功耗管理技術(shù)、低功耗供 電技術(shù)和高效冷卻技術(shù)等方面 綜合考慮和優(yōu)化； CPU節(jié)能 能耗管理軟件 水冷方案 如何保證大規(guī)模并行計(jì)算結(jié)果的可靠性？ 如何保證算法的正確性 算法校驗(yàn) 要求算法本身具有可校驗(yàn)性，即算法輸出與輸入存在確定的關(guān)系 如何保證硬件和軟件（支撐環(huán)境）的正確性 硬件校驗(yàn) TMR投票、CRC、ECC等校驗(yàn)手段與校錯(cuò)措施 存儲器清洗技術(shù)和存儲器冗余（RAID）技術(shù) 網(wǎng)絡(luò)部分的鏈路自愈技術(shù)和自適應(yīng)路由技術(shù)等 系統(tǒng)級 主動容錯(cuò)（基于虛擬機(jī)技術(shù)） 消息重傳機(jī)制 系統(tǒng)級檢查點(diǎn)機(jī)制 用戶級 容錯(cuò)模型及容錯(cuò)語言 用戶檢查點(diǎn)checkpoint 軟件復(fù)制 N-version編程 精細(xì)資源管理是未來高性能計(jì)算機(jī)的必然選擇 u精細(xì)資源管理提高資源利用率 重要技術(shù)之一：虛擬機(jī)技術(shù)，采用虛擬化技術(shù)可以將數(shù)據(jù)中心的利用 率提高至60-75%，約是粗粒度資源管理的4x 資源利用率與應(yīng)用程序性能之間的折中如何保證？ u精細(xì)資源管理提高可用性 通過虛擬機(jī)技術(shù)實(shí)現(xiàn)對高性能計(jì)算機(jī)精細(xì)調(diào)度，減小了故障發(fā)生時(shí)的 隔離區(qū)間的大小，有利于提升系統(tǒng)的可用性 u需要更