并行處理機和多處理機

1、第八章 并行處理機和多處理機并行處理機又叫SIMD計算機。它是單一控制部件控制下的多個處理單元構成的陣列，所以又稱為陣列處理機。多處理機是由多臺獨立的處理機組成的系統(tǒng)。并行處理機結構和實例多處理機結構和實例1并行處理計算機模型并行處理機定義：多個PU按照一定方式互連，在同一個CU控制下，對各自的數(shù)據(jù)完成同一條指令規(guī)定的操作。從CU看，指令是串行執(zhí)行的，從PU看，數(shù)據(jù)是并行處理的。并行處理機也稱為陣列處理機。按照佛林分類法，它屬于SIMD計算機。并行處理機的應用領域：主要用于高速向量或矩陣運算中。8.1 并行處理機結構和實例2P0M0PE0P1M1PE1P2M2PE2Pn-1Mn-1Pen-1互

2、連網(wǎng)絡控制器HJSiegel提出的并行處理機模型下圖是H.J.Siegel提出的SIMD計算機的操作模型3并行處理機的操作模型可用五元組來表示：M(N，C，I，M，R), 其中： N為PE個數(shù)。如IlliacIV有64個PE。 C為由控制部件CU直接執(zhí)行的指令集，包括標量指令和程序控制指令。I為所有PE并行執(zhí)行的指令集，包括算術運算、邏輯運算、數(shù)據(jù)尋徑、屏蔽以及其它由每個活動的PE對它的數(shù)據(jù)所執(zhí)行的局部操作。M為屏蔽操作集，每種屏蔽將PE劃分為允許操作和禁止操作兩個子集。 R是數(shù)據(jù)尋徑集，說明互連網(wǎng)絡中PE間通信所需要的各種設置模式。4系統(tǒng)型號SIMD計算系統(tǒng)結構和性能語言、編譯器和軟件支持M

3、asParMP-1系列102416384個PE, 26 GIPS或1.3 Gflops; 每個PE帶16KB本地存儲器, X-Net網(wǎng)格加一個多級交叉開關互連網(wǎng)Fortran77, MasPar Fortran (MPF)和MasPar并行應用語言; X窗口UNIX/OS, 符號調(diào)試程序, 可視化和動畫制作程序典型并行處理機5Active Memory Technology DAP600系列1K位/PE方形網(wǎng)格互連成4096PE的細粒、位片SIMD陣列，正交4-鄰位鏈接，20GIPS和560Mflops峰值性能由主機VAX/VMS或UNIX Fortran-plus 或DAP上APAL提供，主

4、機的Fortran77或C; 與Fortran90標準有關的Fortran-plusThinking Machines公司CM-265536個PE排成10維超立方體, 每個PE可有1M位存儲器, 32個PE共享FPU選件, 峰值速度28 Gflops和持續(xù)速度5.6 Gflops由VAX, Sun或Symbolics 360主機驅動, PARIS支持的Lisp編譯器、Fortran90、C*和*Lisp6并行處理機的基本結構兩種SIMD計算機的基本結構：分布存儲器并行處理機共享存儲器并行處理機一臺并行處理機由五個部分組成：多個處理單元PE多個存儲器模塊M一個控制器CU一個互連網(wǎng)絡ICN一臺輸入

5、輸出處理機IOP7目前的大部分并行處理機是基于分布式存儲器模型的系統(tǒng)。比較容易構成MPP（Massively Parallel Processor）,幾十萬個PE。必須依靠并行算法來提高PE的利用率。因此，應用領域很有限。CU是控制部件，執(zhí)行標量指令，并把向量指令廣播到各個PE中。在CU中通常有一個較大容量的存儲器。IOP是輸入輸出處理機，或稱為主機。在IOP上安裝操作系統(tǒng)，它除了負擔輸入輸出工作外，還負責程序的編輯、編譯和調(diào)試等工作。數(shù)據(jù)在局部存儲器中的分布是一個很關鍵的問題。標量指令與向量指令可以并發(fā)執(zhí)行。1、分布存儲器結構8LM0互連網(wǎng)絡PE0CULM1PE1LMn-1PEn-1IOP9

6、共享的多體并行存儲器 SM 通過互連網(wǎng)絡與各處理單元PE相連。存儲模塊的數(shù)目等于或略大于處理單元的數(shù)目。同時在存儲模塊之間合理分配數(shù)據(jù)，通過靈活、高速的互連網(wǎng)絡，使存儲器與處理單元之間的數(shù)據(jù)傳送在大多數(shù)向量運算中都能以存儲器的最高頻率進行，而最少受存儲沖突的影響。共享存儲器模型的處理單元數(shù)目一般不多，幾個至幾十個。Burroughs Scientific Processor (BSP)采用了這種結構。16個PE通過一個1617的對準互連網(wǎng)絡訪問17個共享存儲器模塊。存儲器模塊數(shù)與PE數(shù)互質(zhì)可以實現(xiàn)無沖突并行訪問存儲器。2. 共享存儲器并行處理機10PE0互連網(wǎng)絡CUPE1PEn-1IOPSM0

7、SM1SMk-111并行處理機的主要特點如下：速度快，特別適于高速數(shù)值計算。SIMD依靠的是資源重復，而不是時間重疊。它依靠增加PE個數(shù)，與流水線處理機主要依靠縮短時鐘周期相比，其提高速度的潛力要大得多。依賴于互連網(wǎng)絡和并行算法?；ミB網(wǎng)絡決定了PE之間的連接模式，也決定了并行處理機能夠適應的算法。需要有一臺高性能的標量處理機。如果一臺機器的向量處理速度極高，但標量處理速度只是每秒一百萬次，那么對于標量運算占10的題目來說，總的有效速度就不過是每秒一千萬次。SIMD基本上是一臺向量處理專用計算機。盡管它有一個功能很強的控制部件實際上起作標量處理機的作用，但仍然必須和一臺高性能單處理機配合工作，使

8、后者擔負系統(tǒng)的全部管理功能。并行處理機的特點12IlliacIV 是最先采用SIMD結構的并行機隨后一個方向是用位片PE制造的并行機，如Goodyear MPP、AMT/DAP 610和TMC/CM-2。CM-5是以SIMD模式運行的同步MIMD計算機。另一方向是用字寬運算PE的中粒度SIMD計算機。并行處理機的兩個發(fā)展方向：保留陣列結構，但每個處理單元的規(guī)模減小，如一個bit。去掉陣列結構和分布存儲器。Burroughs公司的BSP是典型代表。 GF-11是由IBM Watson實驗室研制、作科學模擬研究用的。MasPar MP1是中粒度并行處理機的典型代表。下面介紹并行處理機的兩種典型代表

9、：采用陣列結構分布存儲器的IlliacIV并行處理機去掉陣列結構和分布存儲器BSP并行處理機。并行處理機實例13Illiac IV(Barnes等，1968）Goodyear MPP(Batcher,1980）BSP(kuck和Stokes，1982）DAP 610(AMT，Inc.1987)CM-2(TMC,1990)CM-5(TMC,1991)MasPar MPI(Nickolls,1990)IBM GF-11(Beetem等，1985）SIMD計算機發(fā)展過程141963年，美國西屋電器公司提出“Slotnick，The SOLOMON Computer，Simultaneous Oper

10、ation linked Ordinal Modular Network”。1966年美國國防遠景研究規(guī)劃局ARPR與伊利諾依大學簽定合同。原計劃：256個PE，每個PE每240ns處理一個64位的浮點數(shù)，每個局部存儲器PEM為2K?64位，總的運算速度為1GFLOPS。美國Burroughs公司和伊利諾依大學于1972年共同設計和生產(chǎn)，1975年實際投入運行。用了4倍的經(jīng)費，只達到1/20的速度。只實現(xiàn)了8?864個PE，只達到50MFLOPS。IlliacIV系統(tǒng)的影響非常大。它是并行處理機的典型代表，也是分布存儲器并行處理機的典型代表。IlliacIV系統(tǒng)由三大部分組成。IlliacIV

11、處理機陣列，陣列控制器，一臺標準的Burroughs B6700計算機。1 IlliacIV 陣列處理機151、IlliacIV處理陣列IlliacIV處理陣列由8864個PU組成。每個PU由處理部件PE和它的局部存儲器PEM組成。每一個PUi只和它的東、西、南、北四個近鄰直接連接。PUi+1 mod 64、PUi-1 mod 64、PUi+8 mod 64、PUi-8 mod 64南北方向上同一列的PU連成一個環(huán)，東西方向上構成一個閉合螺線。采用閉合螺線最短距離不超過7步。而普通網(wǎng)格最短距離不超過8步。例如：從PU0到PU36的距離：采用普通網(wǎng)格必須8步：PU0 PU1 PU2 PU3 PU

12、4 PU12 PU20 PU28 PU36或 PU0 PU8 PU16 PU24 PU32 PU33 PU34 PU35 PU36或 （等于8步的很多，大于8步的更多）如果采用閉合螺旋線，只需要7步：PU0 PU63 PU62 PU61 PU60 PU52 PU44 PU3616普通網(wǎng)格必須8步：PU0 PU1 PU2 PU3 PU4 PU12 PU20 PU28 PU36或 PU0 PU8 PU16 PU24 PU32 PU33 PU34 PU35 PU36或 閉合螺旋線只要7步：PU0 PU63 PU62 PU61 PU60 PU52 PU44 PU36或 PU0 PU63 PU55 PU

13、47 PU39 PU38 PU37 PU36或 172、陣列控制器陣列控制器CU實際上是一臺小型控制計算機。對陣列處理單元實行控制和完成標量操作。標量操作與各PE的數(shù)組操作可以重疊執(zhí)行?？刂破鞯墓δ苡幸韵挛鍌€方面：(1) 對指令進行譯碼，并執(zhí)行標量指令；(2) 向各處理單元發(fā)出執(zhí)行數(shù)組操作指令所需的控制信號；(3) 產(chǎn)生和向所有處理單元廣播公共的地址；18(4) 產(chǎn)生和向所有處理單元廣播公共的數(shù)據(jù)；(5) 接收和處理PE、I/O操作以及B6700產(chǎn)生的陷阱中斷信號。2、輸入輸出系統(tǒng)IlliacIV的輸入輸出系統(tǒng)由磁盤文件系統(tǒng)DFS、I/O分系統(tǒng)和一臺B6700處理機組成。I/O分系統(tǒng)又由輸入輸

14、出開關IOS、控制描述字控制器CDC和輸入輸出緩沖存儲器BIOM三個部分組成。19試在含一個PE的SISD機和在含m個PE的且連接成一線性環(huán)的SIMD機上計算下列求內(nèi)積的表達式。假定完成每次ADD操作需2個單元時間，完成每次MULTIPLY操作需4個單位時間，沿雙向環(huán)在相鄰PE間移數(shù)需1個單位時間。（1）SISD計算機上計算s需多少時間？（2）SIMD計算機上計算s需多少時間？（3）用SIMD機計算s相對于用SISD機計算的加速比是多少？習題8.620（1）在SISD計算機中計算s需要串行計算n次乘法和n-1次加法。共需要時間： 算法如下： S=A1*B1 For i=2 to n DoS=S

15、+Ai*Bi Enddo（2）在SIMD計算機上計算采用如下的算法：（假設mn）首先，把向量中的n對元素盡量平均地分配到m個處理器中，每個處理器最多分配n/m+1對，最少分配n/m對，最多經(jīng)過4（n/m+1）+2n/m 時間，所有n個處理器上都得到了一個局部和，對這m個處理器 解答21構成的線性環(huán)做累加運算。若采用兩路7線性累加的方法共用做加法m/2次,數(shù)據(jù)傳遞m/2次，共用時間4（n/m+1）+2n/m+3m/2 = 6n/m+ 3m/2+4。若用遞歸累加的方法，假設m 是2的p次冪。做p次并行的加法，移位1+2+4+ + m/2 = m-1 次。用時2p+（m-1）?？偣灿脮r為 4（n/m

16、+1）+2n/m+2log m +（m-1） = 6n/m+ m+2log m +3進一步分析：當2logm 16時 并行累加比兩路線性累加更優(yōu)。反之，當m 16 時，兩路線性累加更快。其根本原因就是并行累加算法節(jié)省了加法時間，但是花費更多的數(shù)據(jù)傳送時間。22算法描述如下:Par：For j=1 to m DoS(j)=A1j*B1jFor 2 to n/m DoS(j)=S(j)+Aij*BijEnddoS(j)=S(j)+S(j+1)S(j)=S(j)+S(j+2)S(j)=S(j)+S(j+4) S(j)=S(j)+S(j+n/m)Enddo23（3）加速比當采用兩路線性累加的方法時加速

17、比為：若m = n，做乘法的時間變?yōu)?，則加速比簡化為當采用遞歸并行累加時加速比為：當m = n 時，做乘法的時間變?yōu)?，則加速比簡化為24分析其原因，可以看出，線性互連網(wǎng)絡的傳輸開銷在這里是制約加速比增長的最大障礙，無論采用何種并行算法，一個數(shù)據(jù)從線性環(huán)形網(wǎng)絡中的一個節(jié)點傳遞到最遠的節(jié)點的最短時間為m/2，這個時間是無法改進的，并且隨著處理節(jié)點的增多成為最主要的時間開銷。相對而言，加法和乘法隨著處理單元的增多，所占的時間比例越來越小。258.2多處理機結構和實例兩個或兩個以上處理機(包括PU和CU)，通過高速互連網(wǎng)絡連接起來，在統(tǒng)一的操作系統(tǒng)管理下，實現(xiàn)指令以上級（任務級、作業(yè)級）并行。按照

18、Flynn分類法，多處理機系統(tǒng)屬于MIMD計算機。多處理機系統(tǒng)由多個獨立的處理機組成，每個處理機都能夠獨立執(zhí)行自己的程序。26多處理機結構由若干臺獨立的計算機組成，每臺計算機能夠獨立執(zhí)行自己的程序。Flynn稱這種結構為多指令流多數(shù)據(jù)流（MIMD）結構。多處理機系統(tǒng)中的處理機之間按某種形式互連，從而實現(xiàn)程序之間的數(shù)據(jù)交換和同步。多處理機系統(tǒng)中每臺處理機都有寄存器、運算器、邏輯部件、訪問存儲器和I/O的通道。還有一種多處理機系統(tǒng)中每臺處理機有自己的存儲器和I/O設備。多處理機結構27互連網(wǎng)絡處理機1處理機2處理機N存儲器存儲器存儲器I/OI/O具有通過互連網(wǎng)絡共享存儲器和I/O的多處理機系統(tǒng)28

19、處理機1存儲器I/O處理機2存儲器I/O處理機N存儲器I/O互連網(wǎng)每個處理機都擁有自己的存儲器和I/O的多處理機系統(tǒng)29 1、結構靈活性并行處理機：專用，PE數(shù)很多（幾千個），固定有限的通信多處理機： 通用，幾十個，高速靈活的通信2、程序并行性并行處理機的并行性存在于指令內(nèi)部，識別比較容易。多處理機的并行性存在于指令外部，在多個任務之間，識別難度較大。一個簡單的例子：Y = A+B*C*D/E+F用兩個處理機：CPU1： CPU2： B*C， D/E， A+F， B*C*D/E A+B*C*D/E+F多處理機系統(tǒng)的特點303、并行任務派生并行處理機把同種操作集中在一起，由指令直接啟動各PE同時

20、工作。 多處理機用專門的指令來表示并發(fā)關系，一個任務開始執(zhí)行時能夠派生出與它并行執(zhí)行的另一些任務，如果任務數(shù)多于處理機數(shù)，多余的任務進入排隊器等待。4、進程同步并行處理機僅一個CU，自然是同步的 多處理機執(zhí)行不同的指令，工作進度不會也不必保持相同,先做完的要停下來等待。有數(shù)據(jù)相關和控制相關也要停下來等待,要采取特殊的同步措施來保持程序所要求的正確順序。5、資源分配和進程調(diào)度并行處理機的PE是固定的，采用屏蔽手段改變實際參加操作的PE數(shù)目多處理機執(zhí)行并發(fā)任務，需用處理機的數(shù)目不固定，各個處理機進入或退出任務的時刻不相同，所需共享資源的品種、數(shù)量又隨時變化提出資源分配和進程調(diào)度問題，它對整個系統(tǒng)的

21、效率有很大的影響。31引起峰值性能下降的原因是：(1) 因處理機間通信而產(chǎn)生的延遲(2) 一臺處理機與其它處理機同步所需的開銷(3) 當沒有足夠多任務時，一臺或多臺處理機處于空閑狀態(tài)(4) 由于一臺或多臺處理機執(zhí)行無用的工作(5) 系統(tǒng)控制和操作調(diào)度所需開銷研究多處理機的目的：提前5年得到速度高10倍的機器。 或用1/10的價格獲得一臺高性能的機器。如果設計得好，在某些適合進行并行處理得應用領域，可以達到：提前10年得到速度高100倍的機器 或用1/100的價格獲得一臺高性能的機器。多處理機性能模型32并行性在很大程度上依賴于R/C比值，其中：R代表程序執(zhí)行時間，C代表通信開銷。通常：R/C比

22、值小，并行性低。R/C比值大，并行性高如果把作業(yè)分解成較大的塊，就能得到較大的R/C值，但是所得到的并行性比最大可能的并行性要小得多。R/C比值是衡量任務粒度(Granularity)大小的尺度在粗粒度（Coarsegrain）并行情況下，R/C比值比較大，通信開銷小在細粒度（Finegrain）并行情況下，R/C比值比較小，通信開銷大細粒度并行性需要的處理機多，粗粒度并行性需要的處理機少。細粒度并行性的基本原理是把一個程序盡可能地分解成能并行執(zhí)行的小任務。在極端情況下，一個小任務只完成一個操作。331.基本模型在兩臺處理機情況每個任務的執(zhí)行時間為R個單位時間兩個任務不在同一臺處理機上時，通信

23、開銷為C個單位時間K個任務給一臺處理機M-K個任務給另一臺處理機總處理時間=Rmax(M-K，K)+C(M-K)K結論：當R/CM/2時，把任務平均分給兩臺處理機能使總處理時間最小。342.N臺處理機系統(tǒng)的基本模型將Ki個任務分配給第i臺處理機。推廣前面的式子：35分析任務均分給N臺處理機和任務集中在一臺處理機的總處理時間差，有：如果R/C比臨界值M/2大，將任務平均分配給盡可能多的處理機進行處理，能獲得最短處理時間。如果R/C比臨界值M/2小，即使有很多臺處理機可供使用，也不可能比用一臺處理機處理全部任務快。36并行系統(tǒng)的加速比是一個計算問題在一臺處理機上的運行時間與在并行系統(tǒng)上的運行時間的

24、比值，可近似如下：多處理機的Cache一致性（自己看）37多處理機系統(tǒng)主要有四大類：(1) 多向量處理機系統(tǒng)：如CRAY YMP-90, NEC SX-3和FUJITSU VP-2000(2) SMP (Symmetry MultiProcessors)對稱多處理機;SMP (Shared Memory MulptiProcessors)共享存儲多處理機 如SGI Challenge，Sun SparcCenter 2000(3) MPP (massively parallel processing)大規(guī)模并行處理機如Intel Paragon, CM-5, Cray T3D(4) Clust

25、er 機群系統(tǒng)（NOW或COM） 多處理機實例38科學計算中的重大課題要求提供3T性能：(1) 1 Teraflops計算能力(2) 1 Terabyte主存儲器(3) 1 Terabyte/s 輸入輸出頻帶寬度目前，速度還慢1000倍左右，存儲容量和I/O帶寬差距更大。科學計算中的重大課題：全球氣候預報, 基因工程 ,飛行動力學 ,海洋環(huán)流, 流體動力學, 超導建模, 半導體建模, 量子染色動力學, 視覺采用的關鍵技術：VLSI, 可擴展技術, 共享虛擬存儲技術 大規(guī)模并行處理機(MPP)39虛擬共享存儲器(Shared Virtual Memory)也稱為共享分布存儲器(Distribut

26、ed Shared Memory)；物理上分布存儲器，邏輯上共享存儲器。虛擬共享存儲器的優(yōu)點：編程容易, 系統(tǒng)結構靈活可擴充性好, 有較好的軟件移植性與消息傳遞方式相比，程序運行效率高，主要原因：(1) 數(shù)據(jù)塊緩存在本地 (內(nèi)存或Cache中), 可以多次使用(2) 通信時間分散，提高了并行性(3) 擴大存儲空間，減少換頁操作虛擬共享存儲器實現(xiàn)途徑：(1) 硬件實現(xiàn), 利用Cache技術。需要增加專用硬件(2) 操作系統(tǒng)和庫實現(xiàn)，通過虛擬存儲機制取得共享和一致性。在松耦合的分布存儲多處理機上，不需要增加任何硬件(3) 編譯實現(xiàn)，自動將共享訪問轉換成同步和一致原語。大多數(shù)系統(tǒng)采用途徑(1)和(2

27、)，或這兩種途徑結合實現(xiàn)40SMP稱為共享存儲多處理機 (Shared Memory mulptiProcessors),也稱為對稱多處理機 (Symmetry MultiProcessors)有三種模型：(1) UMA多處理機均勻存儲器存取模型 (Uniform Memory Access)存儲器被所有處理機均勻共享所有處理機對所有存儲單元具有相同的存取時間每臺處理機有局部Cache外圍設備可以共享(2) NUMA多處理機非均勻存儲器存取 (Nonuniform Memory Access)模型存儲器訪問時間隨存儲單元的位置不同而變化。共享存儲器在物理上是分布在所有處理機中的本地存儲器。所有

28、局部存儲器地址空間的集合就組成了全局地址空間。對稱多處理機 (SMP)41系統(tǒng)互連網(wǎng)絡NUMA多處理機模型P1LM1P2LM2PnLMn系統(tǒng)互連網(wǎng)絡（總線、交叉開關、多級網(wǎng)絡）UMA多處理機模型P1P2PnSM1SM2SM2I/O42處理機訪問本地存儲器比較快，訪問屬于另一臺處理機的遠程存儲器則比較慢，因為通過互連網(wǎng)絡會產(chǎn)生附加的時間延遲。(3) COMA多處理機只有Cache的存儲器結構 (Cache-Only Memory Architecture) 模型；COMA是一種只用Cache的多處理機系統(tǒng)實際上，COMA模型是NUMA模型的一種特例，后者分布存儲器換成了Cache在每個處理機結點

29、上沒有主存儲器，全部Cache組成了全局虛擬地址空間遠程Cache訪問通過分布Cache目錄進行共享存儲系統(tǒng)擁有統(tǒng)一的尋址空間，程序員不必參與數(shù)據(jù)分配和傳輸。43互連網(wǎng)絡COMA多處理機模型D1Cache1P1D2Cache2P2DnCachenPn441、機群系統(tǒng)的組成機群系統(tǒng)是利用高速網(wǎng)絡將一組高性能工作站或高檔PC機連接起來，在并行程序設計以及可視化人機交互集成開發(fā)環(huán)境支持下，統(tǒng)一調(diào)度，協(xié)調(diào)處理，實現(xiàn)高效并行處理的系統(tǒng)。Cluster、NOW、COW從結構和結點間的通信方式來看，屬于分布存儲系統(tǒng)。機群系統(tǒng)中的主機和網(wǎng)絡可以是同構的，也可以是異構的。微處理機技術、網(wǎng)絡技術和并行編程環(huán)境的發(fā)

30、展使得機群系統(tǒng)這一新的并行處理系統(tǒng)形式正成為當前研究的熱點。(1)微處理器的性能不斷提高。(2)網(wǎng)絡技術的進步使得松散耦合系統(tǒng)的通信瓶頸逐步得到緩解。機群系統(tǒng) (Cluster)45(3)并行編程環(huán)境的開發(fā)使得新編并行程序或改寫串行程序更為容易。2、機群系統(tǒng)的特點(1)系統(tǒng)開發(fā)周期短。(2)用戶投資風險小。(3)系統(tǒng)價格低。(4)節(jié)約系統(tǒng)資源。UC Berkeley計算機系100多臺工作站的使用情況調(diào)查表明，一般單機系統(tǒng)的使用率不到10%，而機群系統(tǒng)中的資源利用率可達到80%左右。(5)系統(tǒng)擴展性好。(6)用戶編程方便。463、機群系統(tǒng)的關鍵技術(1)高效的通信系統(tǒng)在用戶空間實現(xiàn)通信協(xié)議精簡通信協(xié)議Active Message通信機制(2) 并行程序設計環(huán)境PVM(Parallel Virtual Machine)開始于1989年夏天,美國橡樹嶺國家實驗室(ORNL)；是一套并行計算工具軟件，支持多用戶及多任務運行；支持多種結構的計算機，工作站、并行機以及向量機等；支持C、C+和Fortran語言；自由軟件，使用非常廣泛；編程模型可以是SPMD或MPMD；具有容錯功能，當發(fā)現(xiàn)一個結點出故障時，自動將之刪除MPI(Message Passing Interface)在1992年11月至1994年元月產(chǎn)生。47能用于大多數(shù)并行計算