第一章并行計(jì)算機(jī)系統(tǒng)與結(jié)構(gòu)模型并行計(jì)算實(shí)踐(共章)

1、并 行 計(jì) 算國(guó)家高性能計(jì)算中心（合肥）22021-12-15第一章 并行計(jì)算機(jī)系統(tǒng)與結(jié)構(gòu)模型國(guó)家高性能計(jì)算中心（合肥）32021-12-15典型并行計(jì)算機(jī)系統(tǒng)國(guó)家高性能計(jì)算中心（合肥）42021-12-15陣列處理機(jī)的兩種基本結(jié)構(gòu)CUP0M0Pn-1Mn-1INPEn-1 CUPE1PE0PEn-1M1M0Mm-1IN (a)分布存儲(chǔ)陣列機(jī)(b)共享存儲(chǔ)陣列機(jī)國(guó)家高性能計(jì)算中心（合肥）52021-12-15陣列處理機(jī)的特點(diǎn)國(guó)家高性能計(jì)算中心（合肥）62021-12-15Cray-1的向量處理的向量處理數(shù)“1”/計(jì)數(shù)3-4移位4整數(shù)加3邏輯2浮點(diǎn)乘7浮點(diǎn)加6浮點(diǎn)倒數(shù)14邏輯1整數(shù)加3移位2-3

2、整數(shù)加2整數(shù)乘68個(gè)向量寄存器，每個(gè)64字，每字64位8個(gè)標(biāo)量寄存器8個(gè)地址寄存器主存儲(chǔ)器指令處理器向量部件浮點(diǎn)部件標(biāo)量部件地址運(yùn)算部件I/O說明：12個(gè)功能流水部件 中后面的數(shù)字，表示流 水線延遲的時(shí)鐘周期數(shù)國(guó)家高性能計(jì)算中心（合肥）72021-12-15共享存儲(chǔ)的多處理機(jī)國(guó)家高性能計(jì)算中心（合肥）82021-12-15典型的緊耦合多處理機(jī)系統(tǒng)P P I NP I O I NPpP1C MpC M1P M1DdD1P MpMmM1P M I NI / O 通 道 P M : 局 存 C M : 高 速 緩 存 P : 處 理 器 D : 外 部 設(shè) 備國(guó)家高性能計(jì)算中心（合肥）92021-1

3、2-15Balance同構(gòu)對(duì)稱多處理機(jī)系統(tǒng)80386CPUWeitek1167FPU64KB 高速緩存80386CPUWeitek1167FPU64KB 高速緩存存儲(chǔ)器8MB存儲(chǔ)控制器存儲(chǔ)器8MB存儲(chǔ)控制器I/Ox.25遠(yuǎn)程網(wǎng)系統(tǒng)總線總線適配器SCSI以太局域網(wǎng)磁盤控制器磁盤磁盤總線適配器總線適配器多總線國(guó)家高性能計(jì)算中心（合肥）102021-12-15分布存儲(chǔ)多計(jì)算機(jī)國(guó)家高性能計(jì)算中心（合肥）112021-12-15Intel Paragon系統(tǒng)框圖計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)HIPPI節(jié)點(diǎn)HIPPI節(jié)點(diǎn)SCSI節(jié)點(diǎn)服務(wù)節(jié)點(diǎn)服務(wù)節(jié)點(diǎn)服務(wù)節(jié)點(diǎn)VME節(jié)

4、點(diǎn)SCSI節(jié)點(diǎn)SCSI節(jié)點(diǎn)SCSI節(jié)點(diǎn)以太網(wǎng)FDDI用戶I/O磁帶I/O部分計(jì)算部分服務(wù)部分I/O部分國(guó)家高性能計(jì)算中心（合肥）122021-12-15分布共享存儲(chǔ)多處理機(jī)M國(guó)家高性能計(jì)算中心（合肥）132021-12-15并行計(jì)算機(jī)體系結(jié)構(gòu) 單指令多數(shù)據(jù)流機(jī)單指令多數(shù)據(jù)流機(jī)SIMD（Single-Instruction Multiple-Data）； 并行向量處理機(jī)并行向量處理機(jī)PVP（Parallel Vector Processor）； 對(duì)稱多處理機(jī)對(duì)稱多處理機(jī)SMP（Symmetric Multiprocessor）； 大規(guī)模并行處理機(jī)大規(guī)模并行處理機(jī)MPP(Massively Par

5、allel Processor)； 工作站機(jī)群工作站機(jī)群COW(Cluster of Workstation) 分布式共享存儲(chǔ)分布式共享存儲(chǔ)DSM(Distributed Shared Memory)多多處理機(jī)處理機(jī)。國(guó)家高性能計(jì)算中心（合肥）142021-12-15并行計(jì)算機(jī)體系結(jié)構(gòu)模型P/CLMNIC定制網(wǎng)絡(luò)(c)MPPP/CLMNICMBMBVPSM交叉開關(guān)(a)PVPVPVPSMSMP/CSMSMI/O總線或交叉開關(guān)(b)SMPP/CP/CP/CLMNICDIRMB定制網(wǎng)絡(luò)(d)DSMP/CLMNICDIRMBLDP/CMMBIOB(e)COWLDP/CMMBIOB商品網(wǎng)絡(luò)(以太網(wǎng)，A

6、TM，etc.)BridgeNICNICBridge國(guó)家高性能計(jì)算中心（合肥）152021-12-15對(duì)稱多處理機(jī)SMP(1)P / CS MS MI / O總線或交叉開關(guān)P / CP / C國(guó)家高性能計(jì)算中心（合肥）162021-12-15對(duì)稱多處理機(jī)SMP(2)國(guó)家高性能計(jì)算中心（合肥）172021-12-15大規(guī)模并行機(jī)MPPP/CLMNIC定 制 網(wǎng) 絡(luò)P/CLMNICMBMB國(guó)家高性能計(jì)算中心（合肥）182021-12-15典型MPP系統(tǒng)特性比較MPP模型Intel/Sandia ASCI Option RedIBM SP2SGI/Cray Origin2000一個(gè)大型樣機(jī)的配置90

7、72個(gè)處理器，1.8Tflop/s(NSL)400個(gè)處理器，100Gflop/s(MHPCC)128個(gè)處理器，51Gflop/s(NCSA)問世日期1996年12月1994年9月1996年10月處理器類型200MHz, 200Mflop/s Pentium Pro67MHz，267Mflop/s POWER2200MHz，400Mflop/s MIPS R10000節(jié)點(diǎn)體系結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)器2個(gè)處理器，32到256MB主存，共享磁盤1個(gè)處理器，64MB到2GB本地主存，1GB到14.5GB本地磁盤2個(gè)處理器，64MB到256MB分布共享主存和共享磁盤互連網(wǎng)絡(luò)和主存模型分離兩維網(wǎng)孔，NORMA多級(jí)

8、網(wǎng)絡(luò)，NORMA胖超立方體網(wǎng)絡(luò)，CC-NUMA節(jié)點(diǎn)操作系統(tǒng)輕量級(jí)內(nèi)核（LWK）完全AIX（IBM UNIX）微內(nèi)核Cellular IRIX自然編程機(jī)制基于PUMA Portals的MPIMPI和PVMPower C， Power Fortran其他編程模型Nx，PVM，HPFHPF，LindaMPI，PVM國(guó)家高性能計(jì)算中心（合肥）192021-12-15機(jī)群型大規(guī)模并行機(jī)SP2NICDE 節(jié) 點(diǎn) 1NICDE 節(jié) 點(diǎn)S以 太 網(wǎng)PMCCMCCPPPN高 性 能Omega，網(wǎng) 絡(luò)開 關(guān)I/O總 線I/O總 線國(guó)家高性能計(jì)算中心（合肥）202021-12-15工作站機(jī)群COWP/CMMIOMI

9、OMP/CNICNICDDLAN國(guó)家高性能計(jì)算中心（合肥）212021-12-15典型的機(jī)群系統(tǒng)典型的機(jī)群系統(tǒng)特點(diǎn)一覽表名稱系統(tǒng)特點(diǎn)Princeton:SHRIMPPC商用組件，通過專用網(wǎng)絡(luò)接口達(dá)到共享虛擬存儲(chǔ)，支持有效通信Karsruhe:Parastation用于分布并行處理的有效通信網(wǎng)絡(luò)和軟件開發(fā)Rice:TreadMarks軟件實(shí)現(xiàn)分布共享存儲(chǔ)的工作站機(jī)群Wisconsin:Wind Tunnel在經(jīng)由商用網(wǎng)絡(luò)互連的工作站機(jī)群上實(shí)現(xiàn)分布共享存儲(chǔ)C h i c a 、 M a r y l 、Penns:NSCP國(guó)家可擴(kuò)放機(jī)群計(jì)劃：在通過因特網(wǎng)互連的3個(gè)本地機(jī)群系統(tǒng)上進(jìn)行元計(jì)算Argonn

10、e:Globus在由ATM連接的北美17個(gè)站點(diǎn)的WAN上開發(fā)元計(jì)算平臺(tái)和軟件Syracuse:WWVM使用因特網(wǎng)和HPCC技術(shù)，在世界范圍的虛擬機(jī)上進(jìn)行高性能計(jì)算HKU:Pearl Cluster研究機(jī)群在分布式多媒體和金融數(shù)字庫(kù)方面的應(yīng)用Virgina:Legion在國(guó)家虛擬計(jì)算機(jī)設(shè)施上開發(fā)元計(jì)算軟件國(guó)家高性能計(jì)算中心（合肥）222021-12-15SMPMPP機(jī)群比較系統(tǒng)特征SMPMPP機(jī)群節(jié)點(diǎn)數(shù)量(N)O(10)O(100)-O(1000)O(100)節(jié)點(diǎn)復(fù)雜度中粒度或細(xì)粒度細(xì)粒度或中粒度中粒度或粗粒度節(jié)點(diǎn)間通信 共享存儲(chǔ)器消息傳遞或共享變量（有DSM時(shí)）消息傳遞節(jié)點(diǎn)操作系統(tǒng)1N(微內(nèi)核

11、)和1個(gè)主機(jī)OS(單一)N (希望為同構(gòu))支持單一系統(tǒng)映像永遠(yuǎn)部分希望地址空間單一多或單一（有DSM時(shí)）多個(gè)作業(yè)調(diào)度單一運(yùn)行隊(duì)列主機(jī)上單一運(yùn)行隊(duì)列協(xié)作多隊(duì)列網(wǎng)絡(luò)協(xié)議非標(biāo)準(zhǔn)非標(biāo)準(zhǔn)標(biāo)準(zhǔn)或非標(biāo)準(zhǔn)可用性通常較低低到中高可用或容錯(cuò)性能/價(jià)格比一般一般高互連網(wǎng)絡(luò)總線/交叉開關(guān)定制商用國(guó)家高性能計(jì)算中心（合肥）232021-12-15五種結(jié)構(gòu)特性一覽表屬性PVPSMPMPPDSMCOW結(jié)構(gòu)類型MIMDMIMDMIMDMIMDMIMD處理器類型專用定制商用商用商用商用互連網(wǎng)絡(luò)定制交叉開關(guān)總線、交叉開關(guān)定制網(wǎng)絡(luò)定制網(wǎng)絡(luò)商用網(wǎng)絡(luò)以太,ATM通信機(jī)制共享變量共享變量消息傳遞共享變量消息傳遞地址空間單地址空間單地址空

12、間多地址空間單地址空間多地址空間系統(tǒng)存儲(chǔ)器集中共享集中共享分布非共享分布共享分布非共享訪存模型UMAUMANORMANUMANORMA代表機(jī)器Cray C-90，Cray T-90，銀河1號(hào)I B M R 5 0 ，S G I P o w e r C h a l l e n g e ，曙光1號(hào)Intel Paragon， IBMSP2，曙光1000/2000Stanford DASH，Cray T 3DBerkeley NOW，Alpha Farm國(guó)家高性能計(jì)算中心（合肥）242021-12-15并行計(jì)算機(jī)訪存模型國(guó)家高性能計(jì)算中心（合肥）252021-12-15UMA訪存模型P1P2PnI/

13、OSM1SMm共享存儲(chǔ)器處理器（）系統(tǒng)互連總線交叉開關(guān)多級(jí),網(wǎng)絡(luò)國(guó)家高性能計(jì)算中心（合肥）262021-12-15NUMA訪存模型LM1P1LM2P2LMnPn互連網(wǎng)絡(luò)(a)共享本地存儲(chǔ)模型全局互連網(wǎng)絡(luò)(b)層次式機(jī)群模型GSMGSMGSMPCINCSMPPCSMCSM群1PCINCSM群NPPCSMCSM國(guó)家高性能計(jì)算中心（合肥）272021-12-15COMA訪存模型互 連 網(wǎng) 絡(luò)DCPDCPDCP國(guó)家高性能計(jì)算中心（合肥）282021-12-15CC-NUMA訪存模型I/ONIC,DIR,RC系統(tǒng)互連網(wǎng)路MemP/CP/CI/ONIC,DIR,RCMemP/CP/C節(jié)點(diǎn)N節(jié)點(diǎn)1總線或交叉

14、 開關(guān)總線或交叉 開關(guān)國(guó)家高性能計(jì)算中心（合肥）292021-12-15NORMA訪存模型消 息 傳 遞 互 連 網(wǎng) 絡(luò)( 網(wǎng) 絡(luò) ， 環(huán) 網(wǎng) ， 超 立 方 ，立 方 環(huán) 等 )PMPMMPMPMPMPMPPMPMPM. . . . .國(guó)家高性能計(jì)算中心（合肥）302021-12-15構(gòu)筑并行機(jī)系統(tǒng)的不同存儲(chǔ)結(jié)構(gòu)M MI IM MD D多計(jì)算機(jī)(多地址空間非共享存儲(chǔ)器)(IBM SP2,DEC TruClusterTandem Hymalaya,HP,Microsoft Wolfpack,etc)N NO OR RM MA AU UM MA AN NU UM MA AC Cl lu us s

15、t te er rM MP PP P(Intel TFLOPS)緊耦合P PV VP P(Cray T90)S SM MP P(Intel SHV,SunFire,DEC 8400,SGI PowerChallenge,IBMR60,etc.)C CO OM MA A(KSR-1,DDM)C CC C- -N NU UM MA A(Stanford Dash,SGI Origin 2000,Sequent NUMA-Q,HP/Convex Exemplar)N NC CC C- -N NU UM MA A(Cray T3E)D DS SM M(TreadMarks,Wind Tunnel,IVY,Shrimp,etc.)（）松散耦合（）中央 存儲(chǔ)器分布 存儲(chǔ)器多處理機(jī)單地址共享（）空間存儲(chǔ)器國(guó)家高性能計(jì)算中心（合肥）312021-12-15分布式存儲(chǔ)中的共享與與非共享存儲(chǔ)國(guó)家高性能計(jì)算中心（合肥）322021-12-15分布存儲(chǔ)中四種不同的遠(yuǎn)程訪問 節(jié)點(diǎn)P節(jié)點(diǎn)QLoad R,A(a) NORMA(b) NCC-NUMA(c) CC-NUMA(d) COMAReceive(B,Q)Send(A,P)LMBLMALMLMAR-寄存器LMLMAR1 Load R1