高性能并行計(jì)算基礎(chǔ)架構(gòu)剖析

1、自主創(chuàng)新安全可控自主創(chuàng)新安全可控高性能并行計(jì)算架構(gòu)浪潮電子信息產(chǎn)業(yè)股份有限公司2013-11-18自主創(chuàng)新安全可控自主創(chuàng)新安全可控12并行計(jì)算及系統(tǒng)架構(gòu)并行計(jì)算機(jī)基礎(chǔ)并行軟件環(huán)境3高性能機(jī)群4自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)基礎(chǔ)并行計(jì)算(Parallel Computing）高性能計(jì)算(High Performance Computing)超級(jí)計(jì)算(Super Computing)任何高性能計(jì)算和超級(jí)計(jì)算都離不開使用并行技術(shù)高性能計(jì)算HPC (High Performance Computing) 指通常使用很多處理器（作為單個(gè)機(jī)器的一部分）或者某一集群中組織的多臺(tái)計(jì)算機(jī)（作為單個(gè)計(jì)

2、 算資源操作）的計(jì)算系統(tǒng)和環(huán)境。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)基礎(chǔ)發(fā)展歷程專用時(shí)代包括向量機(jī)，MPP系統(tǒng)，SGI NUMA 系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀河，曙光1000等。之所以稱為“專用”，并不是說它們只能運(yùn)行某種應(yīng)用，是指它們的組成部件是專門設(shè)計(jì)的，它們的CPU板，內(nèi)存板，I/O板，甚至操作系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。普及時(shí)代高性能計(jì)算機(jī)價(jià)格下降，應(yīng)用門檻降低，應(yīng)用開始普及。兩個(gè)技術(shù)趨勢(shì)起到重要作用。商品化趨勢(shì)使得大量生產(chǎn)的商品部件接近了高性能計(jì)算機(jī)專有部件標(biāo)準(zhǔn)化趨勢(shì)使得這些部件之間能夠集成一個(gè)系統(tǒng)

3、中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。機(jī)群系統(tǒng)是高性能計(jì)算機(jī)的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)基礎(chǔ)TOP10nonameinformation1天河二號(hào)天河二號(hào)是由中國國防科技大學(xué)開發(fā)的超級(jí)計(jì)算機(jī)，今年以持續(xù)計(jì)算速度每秒3.39億億次的優(yōu)越性能位居榜首。天河二號(hào)有16,000個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)兩個(gè)Intel Xeon IvyBridge的處理器及合共3,120,000個(gè)計(jì)算核心的三個(gè)至強(qiáng)披處理器。2泰坦泰坦是安裝在美國能源部(DOE)的橡樹嶺國家實(shí)驗(yàn)室Cray XK7系統(tǒng)的超級(jí)計(jì)算機(jī)。泰坦使用261,632其

4、的NVIDIA K20 x加速器核心，取得了持續(xù)計(jì)算速度每秒1.76億億次的記錄。泰坦是名單上最節(jié)能的系統(tǒng)之一，共消耗8.21兆瓦，并提供2,143 MFLOPS / W。3紅杉紅杉是安裝在美國能源部勞倫斯利弗莫爾國家實(shí)驗(yàn)室的一臺(tái)IBM藍(lán)色基因/ Q系統(tǒng)超級(jí)計(jì)算機(jī)。紅杉與2011出世，使用1572864核心并已取得了持續(xù)計(jì)算速度每秒1.72億次的性能記錄。紅杉也是名單上最節(jié)能的系統(tǒng)之一，共消耗7.84兆瓦，提供2,031.6 MFLOPS / W4K富士通的“K計(jì)算機(jī)”安裝在日本神戶的理化學(xué)研究所高級(jí)計(jì)算科學(xué)研究院( AICS )，現(xiàn)在以持續(xù)計(jì)算速度每秒1.05億億次的記錄位列第四，使用705

5、,024 SPARC64處理核心。5米拉米拉是第二個(gè)藍(lán)色基因/ Q系統(tǒng)的超級(jí)計(jì)算機(jī)，現(xiàn)在安裝在阿爾貢國家實(shí)驗(yàn)室，名列第五位。持續(xù)計(jì)算速度每秒8.59千萬億次，使用786,432核心。自主創(chuàng)新安全可控自主創(chuàng)新安全可控12并行計(jì)算及系統(tǒng)架構(gòu)并行計(jì)算機(jī)基礎(chǔ)并行軟件環(huán)境3高性能機(jī)群4自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)類型 Flynn分類： SISD, SIMD, MIMD, MISD 結(jié)構(gòu)模型： PVP, SMP, MPP, DSM, COW 訪存模型： UMA, NUMA, COMA, CC-NUMA, NORMA自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)Flynn分類根據(jù)指

6、令流和數(shù)據(jù)流的不同，通常把計(jì)算機(jī)系統(tǒng)分為四類： 單指令流單數(shù)據(jù)流（SISD -Single Instruction stream Single Datastream） 單指令流多數(shù)據(jù)流（SIMD- Single Instruction stream Multiple Datastream ） 多指令流單數(shù)據(jù)流（MISD- Multiple Instruction stream Single Datastream ） 多指令流多數(shù)據(jù)流（MIMD- Multiple Instruction stream Multiple Datastream ）自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)

7、構(gòu)分類自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-SMP SMP對(duì)稱多處理機(jī)系統(tǒng)對(duì)稱共享存儲(chǔ)：系統(tǒng)中的任何處理機(jī)均可直接訪問任何內(nèi)存模塊的存儲(chǔ)單元和I/O模塊連接的I/O 設(shè)備，且訪問的延遲、帶寬和訪問成功率是一致的。所有內(nèi)存模塊的地址單元是統(tǒng)一編碼的，各個(gè)處理機(jī)之間的地位相同。操作系統(tǒng)可以運(yùn)行在任意一個(gè)處理機(jī)上。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-SMP優(yōu)勢(shì)單一的操作系統(tǒng)映像：全系統(tǒng)只有一個(gè)操作系統(tǒng)，為每個(gè)處理器提供負(fù)載均衡。局部高速緩存及其數(shù)據(jù)一致性：每個(gè)處理器均有自己的高速緩存，它們可以擁有獨(dú)立的局部數(shù)據(jù)，但是這些數(shù)據(jù)必須保持與存儲(chǔ)器中的數(shù)據(jù)是一致

8、的。低通信延遲：通過共享數(shù)據(jù)緩存區(qū)來完成處理器的通信，延遲遠(yuǎn)小于網(wǎng)絡(luò)通信。共享總線的帶寬：所有處理器通過一個(gè)總線完成對(duì)內(nèi)存模塊的數(shù)據(jù)和I/O設(shè)備的訪問。支持消息傳遞、共享存儲(chǔ)模式的并行程序設(shè)計(jì)。劣勢(shì)欠可靠：總線、存儲(chǔ)器或操作系統(tǒng)失效可導(dǎo)致系統(tǒng)全部癱瘓?？蓴U(kuò)展性差：由于所有處理機(jī)共享同一個(gè)總線，而總線跟不上處理器速度和內(nèi)存容量的發(fā)展步伐。因此，SMP 并行計(jì)算機(jī)系統(tǒng)的處理機(jī)個(gè)數(shù)一般少于64 個(gè)。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-DSMDSM分布式共享存儲(chǔ)多處理機(jī)分布共享存儲(chǔ): 內(nèi)存模塊物理上局部于各個(gè)處理器內(nèi)部,但邏輯上(用戶)是共享存儲(chǔ)的；這種結(jié)構(gòu)也稱為基于Cache

9、目錄的非一致內(nèi)存訪問(CC-NUMA)結(jié)構(gòu)；與SMP的主要區(qū)別：DSM在物理上有分布在各個(gè)節(jié)點(diǎn)的局部內(nèi)存從而形成一個(gè)共享的存儲(chǔ)器；自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-DSM特點(diǎn)并行計(jì)算機(jī)以節(jié)點(diǎn)為單位：每個(gè)節(jié)點(diǎn)由一個(gè)或多個(gè)CPU 組成，每個(gè)CPU 擁有自己的局部高速緩存(Cache)，并共享局部存儲(chǔ)器和I/O 設(shè)備，所有節(jié)點(diǎn)通過高性能網(wǎng)絡(luò)互聯(lián)。物理上分布存儲(chǔ)：內(nèi)存模塊分布在各節(jié)點(diǎn)中，并通過高性能網(wǎng)絡(luò)相互連接。單一的內(nèi)存地址空間：將分布式的內(nèi)存模塊統(tǒng)一編址，形成了邏輯上的共享存儲(chǔ)器。非一致內(nèi)存訪問（NUMA）模式：遠(yuǎn)端訪問的延遲一般是本地訪問延遲的3 倍左右。單一的操作系統(tǒng)

10、映像：類似SMP，用戶只看到一個(gè)操作系統(tǒng)，各個(gè)節(jié)點(diǎn)動(dòng)態(tài)負(fù)載均衡?；诟咚倬彺娴臄?shù)據(jù)一致性：采用基于目錄的高速緩存一致性協(xié)議來保證各節(jié)點(diǎn)的局部高速緩存數(shù)據(jù)與存儲(chǔ)器中的數(shù)據(jù)是一致的，既CC-NUMA 結(jié)構(gòu)。低通信延遲與高通信帶寬：專用的高速互聯(lián)網(wǎng)絡(luò)使得節(jié)點(diǎn)間訪問延遲小，通信帶寬高。可擴(kuò)展性高：DSM 并行計(jì)算機(jī)可擴(kuò)展到上千個(gè)節(jié)點(diǎn)。支持消息傳遞、共享存儲(chǔ)并行程序設(shè)計(jì)。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-MPP MPP大規(guī)模并行處理機(jī)系統(tǒng)MPP一般是指超大型（Very Large-Scale）計(jì)算機(jī)系統(tǒng)，由數(shù)萬、數(shù)十萬個(gè)處理器組成的大規(guī)模并行機(jī)。自主創(chuàng)新安全可控自主創(chuàng)新安全可控

11、并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-MPP MPP特點(diǎn)節(jié)點(diǎn)數(shù)量多，這些節(jié)點(diǎn)由局部網(wǎng)卡通過高性能互聯(lián)網(wǎng)絡(luò)連接。每個(gè)節(jié)點(diǎn)都相對(duì)獨(dú)立，并擁有一個(gè)或多個(gè)微處理機(jī)。這些微處理機(jī)都有局部高速緩存，并通過局部總線或互聯(lián)網(wǎng)絡(luò)與局部內(nèi)存模塊和I/O 設(shè)備相連接。MPP 的各個(gè)節(jié)點(diǎn)均擁有不同的操作系統(tǒng)映像，一般情況下，用戶可以將作業(yè)提交給作業(yè)管理系統(tǒng)，由它來調(diào)度當(dāng)前系統(tǒng)中有效的計(jì)算節(jié)點(diǎn)來執(zhí)行該作業(yè)。同時(shí)，MPP系統(tǒng)也允許用戶登錄到指定的節(jié)點(diǎn)，或到某些特定的節(jié)點(diǎn)上運(yùn)行作業(yè)。各個(gè)節(jié)點(diǎn)上的內(nèi)存模塊是相互獨(dú)立的，且不存在全局內(nèi)存單元的統(tǒng)一硬件編址。一般情況下，各個(gè)節(jié)點(diǎn)只能直接訪問自身的局部內(nèi)存模塊。如果需要直接訪問其它節(jié)點(diǎn)的內(nèi)存

12、模塊，則必須有操作系統(tǒng)提供特殊的軟件支持。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-COW COW工作站集群系統(tǒng) COW系統(tǒng)是由大量的PC機(jī)或者工作站通過商用網(wǎng)絡(luò)連接在一起構(gòu)成的。 COW可以完全使用可以買到的商用組件裝配而成，這些商用組件都是大規(guī)模生產(chǎn)的產(chǎn)品，因此能夠獲得較高的性價(jià)比。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-COW COW特點(diǎn)COW的每個(gè)節(jié)點(diǎn)都是一個(gè)完整的工作站（不包括監(jiān)視器，鍵盤，鼠標(biāo)等），一個(gè)節(jié)點(diǎn)也可以是一臺(tái)PC或SMP；各節(jié)點(diǎn)通過一種低成本的商品網(wǎng)絡(luò)（如以太網(wǎng)、FDDI和ATM開關(guān)等）互連（有的商用機(jī)群也使用定做的網(wǎng)絡(luò)）；各節(jié)點(diǎn)內(nèi)總

13、是有本地磁盤，而MPP節(jié)點(diǎn)內(nèi)卻沒有；節(jié)點(diǎn)內(nèi)的網(wǎng)絡(luò)接口是松耦合到I/O總線上的，而MPP內(nèi)的網(wǎng)絡(luò)接口是連到處理節(jié)點(diǎn)的存儲(chǔ)總線上的，因而可謂是緊耦合式的；一個(gè)完整的操作系統(tǒng)駐留在每個(gè)節(jié)點(diǎn)中，而MPP中通常只是個(gè)微核，COW的操作系統(tǒng)是工作站UNIX，加上一個(gè)附加的軟件層以支持單一系統(tǒng)映像、并行度、通信和負(fù)載平衡等。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)結(jié)構(gòu)分類-對(duì)比屬性PVPSMPDSMMPPCOW結(jié)構(gòu)類型MIMDMIMDMIMDMIMDMIMD處理器類型專用定制商用商用商用商用互連網(wǎng)絡(luò)定制交叉開關(guān)總線、交叉開關(guān)定制網(wǎng)絡(luò)定制網(wǎng)絡(luò)商用網(wǎng)絡(luò)通信機(jī)制共享變量共享變量共享變量消息傳遞消息傳遞地

14、址空間單地址空間單地址空間單地址空間多地址空間多地址空間系統(tǒng)存儲(chǔ)器集中共享集中共享分布共享分布非共享分布非共享訪存模型UMAUMANUMANORMANORMA代表機(jī)器Cray C-90，Cray T-90，銀河1號(hào)IBM R50，SGI Power Challenge，曙光1號(hào)Stanford DASH，Cray T 3DIntel Paragon， IBMSP2，曙光1000/2000Berkeley NOW，Alpha Farm自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)訪存模型自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)訪存模型-UMA UMA（Uniform Memory

15、Access）模型是均勻存儲(chǔ)訪問模型的簡稱。其特點(diǎn)是： 物理存儲(chǔ)器被所有處理器均勻共享； 所有處理器訪問任何存儲(chǔ)字取相同的時(shí)間； 每臺(tái)處理器可帶私有高速緩存； 外圍設(shè)備也可以一定形式共享。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)訪存模型-NUMA NUMA(Nonuniform Memory Access)模型是非均勻存儲(chǔ)訪問模型的簡稱。特點(diǎn)是： 被共享的存儲(chǔ)器在物理上是分布在所有的處理器中的，其所有本地存儲(chǔ)器的集合就組成了全局地址空間； 處理器訪問存儲(chǔ)器的時(shí)間是不一樣的；訪問本地存儲(chǔ)器LM或群內(nèi)共享存儲(chǔ)器CSM較快，而訪問外地的存儲(chǔ)器或全局共享存儲(chǔ)器GSM較慢(此即非均勻存儲(chǔ)訪問名

16、稱的由來)； 每臺(tái)處理器照例可帶私有高速緩存，外設(shè)也可以某種形式共享。 自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)訪存模型-COMA COMA(Cache-Only Memory Access)模型是全高速緩存存儲(chǔ)訪問的簡稱。其特點(diǎn)是： 各處理器節(jié)點(diǎn)中沒有存儲(chǔ)層次結(jié)構(gòu)，全部高速緩存組成了全局地址空間； 利用分布的高速緩存目錄D進(jìn)行遠(yuǎn)程高速緩存的訪問; COMA中的高速緩存容量一般都大于2 級(jí)高速緩存容量； 使用COMA時(shí)，數(shù)據(jù)開始時(shí)可任意分配，因?yàn)樵谶\(yùn)行時(shí)它最終會(huì)被遷移到要用到它們的地方。 自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)訪存模型-CC-NUMA CC-NUMA（Co

17、herent-Cache Nonuniform Memory Access）模型是高速緩存一致性非均勻存儲(chǔ)訪問模型的簡稱。其特點(diǎn)是： 大多數(shù)使用基于目錄的高速緩存一致性協(xié)議； 保留SMP結(jié)構(gòu)易于編程的優(yōu)點(diǎn)，也改善常規(guī)SMP的可擴(kuò)放性； CC-NUMA實(shí)際上是一個(gè)分布共享存儲(chǔ)的DSM多處理機(jī)系統(tǒng)； 它最顯著的優(yōu)點(diǎn)是程序員無需明確地在節(jié)點(diǎn)上分配數(shù)據(jù)，系統(tǒng)的硬件和軟件開始時(shí)自動(dòng)在各節(jié)點(diǎn)分配數(shù)據(jù)，在運(yùn)行期間，高速緩存一致性硬件會(huì)自動(dòng)地將數(shù)據(jù)遷移至要用到它的地方。 自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)訪存模型-NORMA自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行計(jì)算機(jī)系統(tǒng)架構(gòu)訪存模型-系統(tǒng)架構(gòu)自

18、主創(chuàng)新安全可控自主創(chuàng)新安全可控12并行計(jì)算及系統(tǒng)架構(gòu)并行計(jì)算機(jī)基礎(chǔ)并行軟件環(huán)境3高性能機(jī)群4自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件編寫指令層，非常細(xì)的粒度數(shù)據(jù)層，細(xì)粒度控制層，中粒度任務(wù)層，大粒度 前兩層大都由硬件和編譯器負(fù)責(zé)處理，程序員通常處理后兩層的并行 自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行程序設(shè)計(jì)方式 隱式并行程序設(shè)計(jì)： 常用傳統(tǒng)的語言編程成順序源編碼，把“并行”交給編譯器實(shí)現(xiàn)自動(dòng)并行 程序的自動(dòng)并行化是一個(gè)理想目標(biāo)，存在難以克服的困難 語言容易，編譯器難 顯式并行程序設(shè)計(jì)： 在用戶程序中出現(xiàn)“并行”的調(diào)度語句 顯式的并行程序開發(fā)則是解決并行程序開發(fā)困難的切實(shí)可行的 語言難，編譯器容易

19、自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境并行程序設(shè)計(jì)模型 隱式并行（Implicit Parallel） 數(shù)據(jù)并行（Data Parallel） 共享變量（Shared Variable） 消息傳遞（Message Passing）自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境-軟件設(shè)計(jì)模型隱式并行（Implicit Parallel） 概況： 程序員用熟悉的串行語言編程 編譯器或運(yùn)行支持系統(tǒng)自動(dòng)轉(zhuǎn)化為并行代碼 特點(diǎn)： 語義簡單 可移植性好 單線程，易于調(diào)試和驗(yàn)證正確性 效率很低自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境-軟件設(shè)計(jì)模型數(shù)據(jù)并行（Data Parallel） 概況： SIMD

20、的自然模型 局部計(jì)算和數(shù)據(jù)選路操作 特點(diǎn)： 單線程 并行操作于聚合數(shù)據(jù)結(jié)構(gòu)（數(shù)組） 松散同步 單一地址空間 隱式交互作用 顯式數(shù)據(jù)分布自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境-軟件設(shè)計(jì)模型共享變量（Shared Variable） 概況： PVP, SMP, DSM的自然模型 特點(diǎn)： 多線程：SPMD, MPMD 異步 單一地址空間 顯式同步 隱式數(shù)據(jù)分布 隱式通信自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境軟件設(shè)計(jì)模型消息傳遞（Message Passing） 概況： MPP, COW的自然模型 特點(diǎn)： 多線程 異步 多地址空間 顯式同步 顯式數(shù)據(jù)映射和負(fù)載分配 顯式通信自主創(chuàng)新安全可控

21、自主創(chuàng)新安全可控并行軟件環(huán)境并行編程標(biāo)準(zhǔn)z 數(shù)據(jù)并行語言標(biāo)準(zhǔn)Fortran90, HPF(1992), Fortran95/2001:顯式數(shù)據(jù)分布描述,并行DO循環(huán).z 線程庫標(biāo)準(zhǔn)(Thread Library) Win32 API. POSIX threads線程模型.z 編譯制導(dǎo)(Compiler Directives) OpenMP : portable shared memory parallelismz 消息傳遞庫標(biāo)準(zhǔn)(Message Passing Libraries) MPI : Message Passing Interface PVM : Parallel Virtual M

22、achine共享變量編程消息傳遞編程數(shù)據(jù)并行編程自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境并行編程標(biāo)準(zhǔn) 所有并行編程標(biāo)準(zhǔn)可分為以下三類: 數(shù)據(jù)并行 HPF, Fortran90 用于SMP, DSM 共享編程 OpenMP 用于SMP, DSM 消息傳遞 MPI, PVM 用于所有并行計(jì)算機(jī) 三者可混合使用: 如對(duì)以SMP為節(jié)點(diǎn)的Cluster來說, 可以在節(jié)點(diǎn)間進(jìn)行消息傳遞,在節(jié)點(diǎn)內(nèi)進(jìn)行共享變量編程.自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境基于消息傳遞的并行程序設(shè)計(jì) 消息傳遞并行程序設(shè)計(jì) 指用戶必須通過顯式地發(fā)送和接收消息來實(shí)現(xiàn)處理機(jī)間的數(shù)據(jù)交換。 在這種并行編程中，每個(gè)并行進(jìn)程均有自

23、己獨(dú)立的地址空間，相互之間訪問不能直接進(jìn)行，必須通過顯式的消息傳遞來實(shí)現(xiàn)。 這種編程方式是大規(guī)模并行處理機(jī)（MPP）和機(jī)群（Cluster）采用的主要編程方式。 并行計(jì)算粒度大，特別適合于大規(guī)模可擴(kuò)展并行算法 由于消息傳遞程序設(shè)計(jì)要求用戶很好地分解問題,組織不同進(jìn)程間的數(shù)據(jù)交換,并行計(jì)算粒度大,特別適合于大規(guī)?？蓴U(kuò)展并行算法. 消息傳遞是當(dāng)前并行計(jì)算領(lǐng)域的一個(gè)非常重要的并行程序設(shè)計(jì)方式自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境基于消息傳遞的并行程序設(shè)計(jì) Massage Passing Interface:是消息傳遞函數(shù)庫的標(biāo)準(zhǔn)規(guī)范，由MPI論壇開發(fā)，支持Fortran和C 一種新的庫描述，不

24、是一種語言。共有上百個(gè)函數(shù)調(diào)用接口，在Fortran和C語言中可以直接對(duì)這些函數(shù)進(jìn)行調(diào)用 MPI是一種標(biāo)準(zhǔn)或規(guī)范的代表，而不是特指某一個(gè)對(duì)它的具體實(shí)現(xiàn) MPI是一種消息傳遞編程模型，并成為這種編程模型的代表和事實(shí)上的標(biāo)準(zhǔn)自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境基于消息傳遞的并行程序設(shè)計(jì) 發(fā)展的兩個(gè)階段 MPI 1.1: 1995 MPICH:是MPI最流行的非專利實(shí)現(xiàn),由Argonne國家實(shí)驗(yàn)室和密西西比州立大學(xué)聯(lián)合開發(fā),具有更好的可移植性. MPI 1.22.0:動(dòng)態(tài)進(jìn)程, 并行 I/O, 支持F90和C+(1997). 高可移植性 MPI已在IBM PC機(jī)上、MS Windows上、所

25、有主要的Unix工作站上和所有主流的并行機(jī)上得到實(shí)現(xiàn)。使用MPI作消息傳遞的C或Fortran并行程序可不加改變地運(yùn)行在IBM PC、MS Windows、Unix工作站、以及各種并行機(jī)上。自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境基于消息傳遞的并行程序設(shè)計(jì)開發(fā)時(shí)間: 始于1989年開發(fā)單位: 美國橡樹嶺(Oak Ridge)國家實(shí)驗(yàn)室、美國Tennessee大學(xué)和Emory大學(xué)聯(lián)合研制特點(diǎn): 具有較好的適應(yīng)性、可擴(kuò)展性、可移植性和易使用性等特點(diǎn), 源代碼可以免費(fèi)獲取, 現(xiàn)已被用戶廣泛采納?，F(xiàn)狀: 目前對(duì)它的研究和開發(fā)工作仍在各大學(xué)和研究機(jī)構(gòu)進(jìn)行. 隨著它的不斷流行, 已經(jīng)被移植到PVP、S

26、MP、MPP、工作站和機(jī)群系統(tǒng)。PVM出現(xiàn)的時(shí)間較MPI早，且是一個(gè)自包含系統(tǒng)(MPI不是自包含的)，同時(shí)PVM不是一個(gè)標(biāo)準(zhǔn)(MPI是個(gè)標(biāo)準(zhǔn))。目前，PVM和MPI正在互相靠攏。PVM（Parallel Virtual Machine）并行虛擬機(jī)自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境基于消息傳遞的并行程序設(shè)計(jì)PVM系統(tǒng)的組成(兩部分)： PVM監(jiān)控進(jìn)程(Daemon Process), 稱為pvmd, 它常駐在虛擬機(jī)的每一臺(tái)節(jié)點(diǎn)機(jī)上。 PVM可調(diào)用的庫, 稱為libpvm3.a, 它與用戶的應(yīng)用程序鏈接, 用于進(jìn)程管理, 消息傳遞和虛擬機(jī)管理。在PVM中, 節(jié)點(diǎn)(a node)稱為主機(jī)(

27、a host). 進(jìn)程(aprocess)稱為任務(wù)(a task). 并行虛擬機(jī)的組成 1多臺(tái)主機(jī)(硬件) 唯一1個(gè)master pvmd, 運(yùn)行在稱為控制臺(tái)的主機(jī)上 0多個(gè)slave pvmdPVM（Parallel Virtual Machine）并行虛擬機(jī)自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境共享存儲(chǔ)并行機(jī)模型體系結(jié)構(gòu)特點(diǎn)體系結(jié)構(gòu)特點(diǎn):多臺(tái)處理機(jī)通過互聯(lián)網(wǎng)絡(luò)共享一個(gè)統(tǒng)一的內(nèi)存空間,通過單一內(nèi)存地址單一內(nèi)存地址來實(shí)現(xiàn)處理機(jī)間的協(xié)調(diào).內(nèi)存空間也可由多個(gè)存儲(chǔ)器模塊構(gòu)成.每臺(tái)處理機(jī)可以執(zhí)行相同或不同的指令流,每臺(tái)處理機(jī)可以直接訪問到所有數(shù)據(jù).處理機(jī)間通信是借助于共享主存來通信是借助于共享主存來實(shí)現(xiàn)的實(shí)現(xiàn)的.可擴(kuò)展性差,當(dāng)處理機(jī)需要同時(shí)訪問共享全局變量時(shí),產(chǎn)生內(nèi)存競爭現(xiàn)象而嚴(yán)重影響效率,比較適合中小規(guī)模應(yīng)用問題的計(jì)算和事務(wù)處理.共享存儲(chǔ)并行機(jī)模型自主創(chuàng)新安全可控自主創(chuàng)新安全可控并行軟件環(huán)境共享存儲(chǔ)并行機(jī)模型 共享存儲(chǔ)器編程標(biāo)準(zhǔn) Pthreads(線程標(biāo)準(zhǔn)) X3H5(線程標(biāo)準(zhǔn)) OpenM