并行計算機體系結(jié)構(gòu)

1、百度文庫好好學(xué)習(xí)天天向上- - 第2章并行計算機體系結(jié)構(gòu)內(nèi)容提要：2.1并行機網(wǎng)絡(luò)互聯(lián)拓撲結(jié)構(gòu)2.2并行機訪存模型與多級存儲結(jié)構(gòu)2.3并行機分類2.4并行機舉例2.5并行計算機的發(fā)展史并行機網(wǎng)絡(luò)互聯(lián)拓撲結(jié)構(gòu)參考資料：文獻1:第節(jié)：文獻2：詳細闡述;當代并行機拓撲結(jié)構(gòu):并行機體系結(jié)構(gòu)的幾個要素：結(jié)點：包含一個或多個CPU,這些CPU通過HUB或全互聯(lián)交叉開關(guān)相互聯(lián)接,并共享內(nèi)存，也可以直接與外部進行I/O操作：路由器：聯(lián)接訃算結(jié)點與互聯(lián)網(wǎng)絡(luò)，負責(zé)數(shù)據(jù)在結(jié)點間的路由尋址；互聯(lián)網(wǎng)絡(luò)：將所有路由器以某種拓撲結(jié)構(gòu)相互聯(lián)接，保證它們之間可以自由地通信?；ヂ?lián)網(wǎng)絡(luò)：拓撲結(jié)構(gòu)：將并行機各結(jié)點之間物理上相互聯(lián)接的

2、關(guān)系用圖來表示，其中圖中結(jié)點代表并行機的結(jié)點，圖中連線代表它所聯(lián)接的兩個結(jié)點的路由器之間存在物理上的直接聯(lián)接關(guān)系，我們稱該圖為并行機互聯(lián)網(wǎng)絡(luò)拓撲結(jié)構(gòu)：拓撲結(jié)構(gòu)的幾個重要定義：并行機規(guī)模：并行機包含的結(jié)點總數(shù)，或者包含的CPU總數(shù)：結(jié)點度：互聯(lián)網(wǎng)絡(luò)拓撲結(jié)構(gòu)中聯(lián)入或聯(lián)出的一個結(jié)點的邊的條數(shù)，稱為該結(jié)點的度：結(jié)點距離：兩個結(jié)點之間跨越的圖的邊的條數(shù)：網(wǎng)絡(luò)宜徑：網(wǎng)絡(luò)中任意兩個結(jié)點之間的最長距離：點對點帶寬：圖中邊對應(yīng)的物理聯(lián)接的物理帶寬：點對點延遲：圖中任意兩個結(jié)點之間的一次零長度消息傳遞必須花費的時間。延遲與結(jié)點間距離相關(guān)，英中所有結(jié)點之間的最小延遲稱為網(wǎng)絡(luò)的最小延遲,所有結(jié)點之間的最大延遲稱為網(wǎng)絡(luò)

3、的最大延遲：折半寬度：對分網(wǎng)絡(luò)成兩個部分（它們的結(jié)點個數(shù)至多相差1）所必須去掉的邊的網(wǎng)絡(luò)帶寬的總和；總通信帶寬：所有邊的帶寬之和；互聯(lián)網(wǎng)絡(luò)評價：大：結(jié)點度、點對點帶寬、折半寬度、總通信帶寬；?。壕W(wǎng)絡(luò)直徑、點對點延遲：互聯(lián)網(wǎng)絡(luò)的分類：靜態(tài)拓撲結(jié)構(gòu)、動態(tài)拓撲結(jié)構(gòu)、寬帶互聯(lián)網(wǎng)絡(luò)；靜態(tài)拓撲結(jié)構(gòu)：結(jié)點之間存在固泄的物理聯(lián)接方式，程序執(zhí)行過程中，結(jié)點間的點對點聯(lián)接關(guān)系不變，例如：文獻1：P10-P11,給出各類泄義的具體值，文獻2詳細討論:一維陣列（Array）、環(huán)（Ring）；多維網(wǎng)格（Mesh）、多維環(huán)（Torus）：樹（Tree）：二叉樹、X-樹、星樹、胖樹：超立方體（Hypercube）;動態(tài)拓撲

4、結(jié)構(gòu)：結(jié)點之間無固左的物理聯(lián)接關(guān)系，而是在聯(lián)接路徑的交叉點處用電子開關(guān)、路由器或仲裁器等提供動態(tài)聯(lián)接的特性，主要包含單一總線、多層總線、交叉開關(guān)、多級互聯(lián)網(wǎng)絡(luò)：單-總線：聯(lián)接處理器、存儲模塊和I/O設(shè)備等的一組導(dǎo)線和插座，在主設(shè)備（處理器）和從設(shè)備（存儲器）之間傳遞數(shù)據(jù)，特征有：公用總線以分時工作為基礎(chǔ)，各處理器模塊分時共享總線帶寬，即在同一個時種周期，至多只有一個設(shè)備能占有總線；總線帶寬二總線主頻X總線寬度，例如ASUS主板的總線頻率=150MHz,總線寬度為64位，則該總線的帶寬審；監(jiān)聽協(xié)議與仲裁算法：選擇哪個設(shè)備占有總線；例如：微機主板外部數(shù)據(jù)總線、PCI總線、ASCIWhite每個結(jié)點

5、包含16個CPU,CPU之間通過總線共享局部存儲器：務(wù)層總線：各設(shè)備內(nèi)部存在本地總線（結(jié)點、存儲器、I/O設(shè)備），本地總線之間以系統(tǒng)總線相互聯(lián)接，系統(tǒng)總線一般在通信主板中實現(xiàn)，例如文獻1P14圖。交義幵關(guān)（CrossbarSwitcher）:所有結(jié)點通過交叉開關(guān)陣列相互連接，每個交叉開關(guān)均為其中兩個結(jié)點之間提供一條專用聯(lián)接通路，同時，任意兩個結(jié)點之間也能找到一個交叉開關(guān)，在它們之間建立專用聯(lián)接通路。交叉開關(guān)的狀態(tài)可根據(jù)程序的要求動態(tài)地設(shè)程為“開”和“關(guān)”。例如4x4交叉開關(guān)聯(lián)接8個結(jié)點（黑板上畫圖說明）。交叉開關(guān)特征:結(jié)點之間聯(lián)接：交叉開關(guān)一般構(gòu)成NxN陣列，但在每一行和每一列同時只能有一個交

6、叉點開關(guān)處于開”狀態(tài)，從而它同時只能接通N對結(jié)點；結(jié)點與存儲器之間的聯(lián)接：每個存儲器模塊同時只允許一個結(jié)點訪問，故每一列只能接通一個交叉點開關(guān)，但是為了支持并行存儲訪問，每一行同時可以接通多個交叉點開關(guān)。交叉開關(guān)的成本為N2,N為端口數(shù)，限制了它在大規(guī)模并行機中的應(yīng)用，一般適合8-16個處理器的情形.匕級聯(lián)網(wǎng)絡(luò)（MIN：MultistageInterconnectionNetwork）:由多個單級交叉開關(guān)級聯(lián)接尼來形成大型交叉開關(guān)網(wǎng)絡(luò)，相鄰交叉開關(guān)級之間存在固定的物理聯(lián)接拓撲。為了在輸入與輸出之間建立聯(lián)接，可以動態(tài)地設(shè)崟開關(guān)狀態(tài)。例如：一般聯(lián)接圖：文獻1圖，其中ISC為該級互聯(lián)網(wǎng)絡(luò)，主要有混洗

7、、蝶網(wǎng)、縱橫交叉等：（詳細參考文獻2）蝶網(wǎng)、CCC網(wǎng)、Benes網(wǎng)：均為超立方體網(wǎng)絡(luò)的推廣，參考文獻2的P215-P225。Q網(wǎng)：等價于蝶網(wǎng)，參考文獻1的P16圖。寬帶互聯(lián)網(wǎng)絡(luò)：快速以太網(wǎng)（10Mbps（82年）、100Mbps（94年）、lGbps（97年）：國際標準，三代網(wǎng)絡(luò)性能比較參考文獻1的P18表，特征類似于單一總線：分時共享、競爭仲裁：帶寬100Mbps,8臺處理機共享，每臺處理機的平均帶寬為Mbps。FDDI：光纖分布式數(shù)據(jù)接口（FiberDistributedDataInterface）采用雙向光纖令牌環(huán)，所有結(jié)點聯(lián)接在該環(huán)中，提供100-200Mbps數(shù)據(jù)傳輸速度，雙向環(huán)提供

8、冗余通路以提供可靠性，距離可達100米、2公里、60公里等，比快速以太網(wǎng)具有更好的可靠性、適應(yīng)性；Switcher：交叉開關(guān)，可同時為N/2對端口提供100Mbps的宜接聯(lián)接通路，英中N為端口總數(shù)。多個Switcher堆疊（不多于7個）可形成多級Switcher。Beowulf微機機群采用這種結(jié)構(gòu)互聯(lián)所有結(jié)點。（參考張林波講義之圖）。ATM：異步傳輸模式（ATM：AsynchronousTransferMode）是在光纖通信基礎(chǔ)上建立起來的一種新的寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)的交換技術(shù)。介質(zhì)無關(guān)的信息傳輸協(xié)議，采用53字節(jié)的龍長短數(shù)據(jù)單元（cell）進行傳輸。大的數(shù)據(jù)包進入ATM網(wǎng)絡(luò)時，分解成多個定長的

9、單元，各個單元獨立傳輸，到達目的地址后，這些單元匯集成原來的數(shù)據(jù)包。ATM網(wǎng)絡(luò)適合髙速度傳輸聲音、圖像、視頻和數(shù)據(jù)等的所有形式的媒體。Mvrinet:專用機群互聯(lián)網(wǎng)絡(luò)，帶寬可達200MB/秒，延遲小于10us。Infiniband：專用機群互聯(lián)網(wǎng)絡(luò)，帶寬可達秒，延遲小于6us。Qudrics:專用機群互聯(lián)網(wǎng)絡(luò)，帶寬可達400MB/秒，延遲小于6us。HiPPI：髙性能并行接口（HighPerformanceParallelInterface）,1993年標準（）形成。單工點對點的數(shù)據(jù)傳輸界而，帶寬可達800Mb/so互聯(lián)網(wǎng)絡(luò)的路由選擇算法：定義：數(shù)據(jù)包（Packet）：結(jié)點間數(shù)據(jù)在網(wǎng)絡(luò)中傳輸?shù)?/p>

10、最小單位，一般為幾十個、或者幾百個字節(jié)。路由選擇算法：網(wǎng)絡(luò)中數(shù)據(jù)包傳輸?shù)穆窂竭x擇。申請隊列長度：在某條邊上等待傳輸?shù)臄?shù)據(jù)包的個數(shù)。常用路由選擇算法：貪心法：每個數(shù)據(jù)包沿最短路徑傳輸（二維陣列舉例），該方法容易在某一條邊上形成通信阻塞。動態(tài)路由選擇算法：數(shù)據(jù)包根據(jù)當前邊的申請隊列長度，動態(tài)地改變傳輸路徑。蟲孔算法（Wormhole）：數(shù)據(jù)包分解為長度更小的字肖流，所有字節(jié)流在網(wǎng)絡(luò)中按動態(tài)路由選擇算法在網(wǎng)絡(luò)中傳輸，最后在目的地址合并還原成數(shù)據(jù)包。作業(yè)：作業(yè)：假設(shè)網(wǎng)絡(luò)包含P=2n=M3個結(jié)點，請給出一維陣列（環(huán)）、二維網(wǎng)格（Torus）、三維網(wǎng)格（Torus）、超立方體、二叉樹（葉結(jié)點個數(shù)為P）、蝶

11、網(wǎng)、Benes網(wǎng)的結(jié)點度、點對點延遲（以跨越的邊的條數(shù)為單位）、折半寬度（以邊的條數(shù)為單位）、網(wǎng)絡(luò)直徑。作業(yè)：假設(shè)存在8個結(jié)點，分別聯(lián)接在lGbps的快速以太網(wǎng)和100Mbps的24端口的Switcher上，請問任意兩個結(jié)點間的平均帶寬為多少，如果結(jié)點數(shù)增加一倍，則平均帶寬又為多少。并行機存儲結(jié)構(gòu)參考資料：文獻1:第節(jié)：文獻8、文獻10；并行機存儲模塊內(nèi)存模塊與結(jié)點分離結(jié)點0結(jié)點P圖內(nèi)存模塊局部于結(jié)點內(nèi)部結(jié)點0CPU0CPU1JtCacheCache結(jié)點PHUB目Mi-Router互聯(lián)網(wǎng)絡(luò)并行機訪存模型均勻訪存模型（UMA：UniformMemoryAccess）：內(nèi)存模塊與結(jié)點分離，分別位于

12、互聯(lián)網(wǎng)絡(luò)的兩側(cè)（圖），互聯(lián)網(wǎng)絡(luò)一般采用系統(tǒng)總線、交叉開關(guān)和多級網(wǎng)絡(luò)，稱之為緊耦合系統(tǒng)（TightlyCoupledSystem）-具有如下特征:物理存儲器被所有結(jié)點均勻共享；所有結(jié)點訪問任意存儲單元的時間相同；訪存競爭時，仲裁策略對每個結(jié)點均是機會等價的；各結(jié)點的CPU可帶有局部私有高速緩存（Cache）：外圍I/O設(shè)備也可以共享，且對各結(jié)點等價。北均勻訪存模型（NU2IA：NonuniformMemoryAccess）：內(nèi)存模塊局部在各個結(jié)點內(nèi)部（圖），所有局部內(nèi)存模塊構(gòu)成并行機加全局內(nèi)存模塊。具有如下特征：任意結(jié)點可以直接訪問任意內(nèi)存模塊：結(jié)點訪問內(nèi)存模塊的時間不一致：訪問本地存儲模塊的速

13、度一般是訪問其他結(jié)點內(nèi)存模塊的3倍以上：訪存競爭時，仲裁策略對結(jié)點可能是不等價的：各結(jié)點的CPU可帶有局部私有髙速緩存（Cache）；外圍I/O設(shè)備也可以共享。Cache一致性非均勻訪存模型（CC-NUMA：Coherent-CacheNonuniformMemoryAccess）：存在專用硬件設(shè)備保證在任意時刻，冬結(jié)點Cache中數(shù)據(jù)與全局內(nèi)存數(shù)據(jù)的一致性，具有特征：各CPU的局部Cache數(shù)據(jù)來源于全局內(nèi)存，并保證所有結(jié)點中數(shù)據(jù)的一致性（畫圖簡單說明）：大多數(shù)訪存可以局部在本地高速Cache；基于目錄的Cache-致性協(xié)議（Cache原理參考下章）。分布式訪存模型（DMA：Distribu

14、tedMemoryAccess）：各個結(jié)點的存儲模塊只能被局部CPU訪問，其他結(jié)點無法直接訪問局部存儲模塊，稱之為分布式存儲（圖），具有特征：內(nèi)存模塊分布局部于各個結(jié)點，每個結(jié)點只能直接訪問其局部存儲模塊，對其他結(jié)點的內(nèi)存訪問只能通過消息傳遞程序設(shè)計來實現(xiàn)；每個結(jié)點均是一臺由處理器、存儲器、I/O設(shè)備組成的自洽計算機。百度文庫好好學(xué)習(xí)天天向上百度文庫好好學(xué)習(xí)天天向上- - 500MHzPentium-IllCluster多級存儲結(jié)構(gòu):CPU寄存器本地局部內(nèi)存一級Cache二級CacheIchip(MPI消息傳遞)訪存延遲比例：容量(B)帶寬(MB/s)延遲(ns)2566000處理機32K51

15、2K500M海量40002000120032080每位成本增加100100,000微機機群1:3:40:160:50,000Origin20001:3:30:50:500一次消息傳遞延遲相當于峰值浮點運算的次數(shù):微機機群：50,000次Origin2000:1000次通信與CPU計算速度不匹配：百度文庫好好學(xué)習(xí)天天向上百度文庫好好學(xué)習(xí)天天向上- - 并行機分類參考資料：文獻1：P21-P25：文獻6：第1章:文獻久10、11：指令與數(shù)據(jù)流分類：單指令多數(shù)據(jù)流(SIMD)：按同一條指令，并行機的各個不同的功能部件同時對不同的數(shù)據(jù)進行不同的處理，例如：傳統(tǒng)的向量機、80年代初期的陣列機CM-2,目

16、前已經(jīng)退出歷史舞臺：多指令多數(shù)據(jù)流(MIMD)：不同的處理器可同時對不同的數(shù)拯執(zhí)行不同的指令.目前所有并行機均屬于這一類；多指令單數(shù)據(jù)流(MISD)：至今沒岀現(xiàn)當前流行的髙性能并行機體系結(jié)構(gòu)分類：(五類)對稱多處理共享存儲并行機(SMP：SynunetricMultiProcessing)：分布共享存儲并行機(DSM：DistributedSharedMemory):大規(guī)模并行機(MPP：MassivelyParallelProcessors)：工作站(微機)機群(COW:ClusterOfWorkstationBeowulfPC-Cluster):并行向量多處理機(PVP：ParallelV

17、ectorProcessors)對稱多處理共享存儲并行機(SMP)：傲處理器微處理器微處理器系統(tǒng)總線或交叉開關(guān)內(nèi)存模塊1內(nèi)存模塊1內(nèi)存模塊I/O模塊圖SMP具有如下特征：SMP體系結(jié)構(gòu)示意圖對稱共享存儲：系統(tǒng)中任何處理器均可直接訪問任何存儲模塊中的存儲單元和I/O模塊聯(lián)接的I/O設(shè)備且訪問的延遲、帶寬和訪問成功的概率是一致的。所有內(nèi)存地址單元統(tǒng)一編址。各個處理器之間的地位等價，不存在任何特權(quán)處理器。操作系統(tǒng)可在任意處理器上運行。單一的操作系統(tǒng)映像：全系統(tǒng)只有一個操作系統(tǒng)駐留在共享存儲器中，它根據(jù)各個處理器的負載情況，動態(tài)地分配各個進程到各個處理器，并保持各處理器間的負載平衡。局部髙速緩存Cac

18、he及其數(shù)據(jù)一致性：每個處理器均配備局部Cache，它們可以擁有獨立的局部數(shù)據(jù)，但是這些數(shù)據(jù)必須保持與存儲器中數(shù)擄是一致的。低通信延遲：各個進程通過讀/寫操作系統(tǒng)提供的共享數(shù)據(jù)緩存區(qū)來完成處理器間的通信，其延遲通常小于網(wǎng)絡(luò)通信的延遲。共享總線帶寬：所有處理器共享總線的帶寬，完成對內(nèi)存模塊和I/O模塊的訪問。支持消息傳遞、共享存儲并行程序設(shè)計。SMP具有如下缺點：欠可靠：總線、存儲器或操作系統(tǒng)失效可導(dǎo)致系統(tǒng)崩潰?？蓴U展性(scalability)較差：由于所有處理器共享總線帶寬，而總線帶寬每3年才增加2倍，跟不上處理器速度和內(nèi)存容量的增加步伐，因此，SMP并行機的處理器個數(shù)一般少于32個，且只能

19、提供每秒數(shù)百億次的浮點運算性能。SMP典型代表：SGIPOWERChallengeXL系列并行機（36個MIPSR1000微處理器）：COMPAQAlphaserver84005/440（12個Alpha21264個微處理器）；HP9000/T600（12個HPPA9000微處理器）：IBMRS6000/R40（8個RS6000微處理器）。分布共享存儲并行機(DSM)：結(jié)點P結(jié)點0CPUOCPU12匸：匚CacheCacheenr互聯(lián)網(wǎng)絡(luò)圖DSM體系結(jié)構(gòu)示意圖DSM較好地改善了SMP并行機的可擴展能力，具有如下特征:百度文庫好好學(xué)習(xí)天天向上百度文庫好好學(xué)習(xí)天天向上 并行機以結(jié)點為單位，每個結(jié)點

20、包含一個或多個CPU，每個CPU擁有自己的局部Cache，并共享局部存儲器和0設(shè)備，所有結(jié)點通過髙性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接：物理上分布存儲：內(nèi)存模塊局部在各結(jié)點中，并通過高性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接,避免了SMP訪存總線的帶寬瓶頸，增強了并行機的可擴展能力。單一的內(nèi)存地址空間：盡管內(nèi)存模塊分布在各個結(jié)點，但是，所有這些內(nèi)存模塊都由硬件進行了統(tǒng)一的編址，并通過互聯(lián)網(wǎng)絡(luò)聯(lián)接形成了并行機的共享存儲器。各個結(jié)點即可以直接訪問局部內(nèi)存單元，又可以直接訪問其他結(jié)點的局部內(nèi)存單元。非一致內(nèi)存訪問（NUMA）模式：由于遠端訪問必須通過高性能互聯(lián)網(wǎng)絡(luò)，而本地訪問只需直接訪問局部內(nèi)存模塊，因此，遠端訪問的延遲一般是本地訪問

21、延遲的3倍以上。單一的操作系統(tǒng)映像：類似于SMP,在DSM并行機中，用戶只看到一個操作系統(tǒng),它可以根據(jù)各結(jié)點的負載情況，動態(tài)地分配進程?；贑ache的數(shù)據(jù)一致性：通常采用基于目錄的Cache-致性協(xié)議來保證各結(jié)點的局部Cache數(shù)據(jù)與存儲器中數(shù)據(jù)的一致性。同時，我們也稱這種DSM并行機結(jié)構(gòu)為CC-NUMA結(jié)構(gòu)。低通信延遲與髙通信帶寬：專用的高性能互聯(lián)網(wǎng)絡(luò)使得結(jié)點間的延遲很小，通信帶寬可以擴展。例如，目前最先進的DSM并行機SGIOrigin3000的雙向點對點通信帶寬可達秒，而延遲小于1個微秒。DSM并行機可擴展到上百個結(jié)點，能提供每秒數(shù)千億次的浮點運算性能。例如，SGIOrigin2000

22、可以擴展到64個結(jié)點（128個CPU），而SGIOrigin3000可以擴展到256個結(jié)點（512個CPU）。但是，由于受Cache-致性要求和互聯(lián)網(wǎng)絡(luò)性能的限制，當結(jié)點數(shù)目進一步增加時，DSM并行機的性能也將大幅下降。支持消息傳遞、共享存儲并行程序設(shè)計。DSM典型代表：SGIOrigin2000；SGIOrigin3800大規(guī)模并行機（MPP）：數(shù)百個乃至數(shù)千個處理器組成的大規(guī)模并行機。典型代表：當前位于TOP500前列（參考第7章并行機性能測試）的并行機均屬于這一類，其中包括IBMASCIWhite（8192個處理器）、IntelASCIRed（9632個處理器）、IBMASCIBlueP

23、acific（5808個處理器）、SGIASCIBlueMountain（6144個處理器）、IBMSPPOWER3（1336個處理器）、CRAYT3E1200（1084個處理器）等。典型體系結(jié)構(gòu)：纟吉點1P/CP/CMEM局部總線或互聯(lián)網(wǎng)絡(luò)L丄NICI/OP/CP/CMEM局部總線或互朕網(wǎng)絡(luò)NICI/O結(jié)點X高性能互聯(lián)網(wǎng)絡(luò)圖MPP體系結(jié)構(gòu)示意圖MPP特征：由數(shù)百個乃至數(shù)千個計算結(jié)點和I/O結(jié)點組成，這些結(jié)點由局部網(wǎng)卡(NIC)通過髙性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接。每個結(jié)點相對獨立，并擁有一個或多個微處理器(P/C)。這些微處理器均配備有局部Cache，并通過局部總線或互聯(lián)網(wǎng)絡(luò)與局部內(nèi)存模塊和I/O設(shè)備

24、相聯(lián)接。MPP的務(wù)個結(jié)點均擁有不同的操作系統(tǒng)映像。一般情況下，用戶可以將作業(yè)提交給作業(yè)管理系統(tǒng)，由它負責(zé)凋度當前最空閑、最有效的計算結(jié)點來執(zhí)行該作業(yè)。但是，MPP也允許用戶登錄到某個特左的結(jié)點，或在某些特立的結(jié)點上運行作業(yè)。各個結(jié)點間的內(nèi)存模塊相互獨立，且不存在全局內(nèi)存單元的統(tǒng)一硬件編址。般情形下，各個結(jié)點只能直接訪問自身的局部內(nèi)存模塊，如果要求直接訪問其他結(jié)點的局部內(nèi)存模塊，則必須有操作系統(tǒng)的特殊軟件支持。按存儲結(jié)構(gòu)的不同，MPP又可以分為兩類：分布式存儲大規(guī)模并行機(DM-MPP).多臺SMP或DSM并行機通過高性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接的大規(guī)模機群(SMP-MPP或DSM-MPP)：DM-MP

25、P:每個結(jié)點僅包含一個微處理器，早期的MPP均屬于這一類。例如CRAYT3D、CRAYT3E.IntelParagon.IBMSP-2.YH-3等。SMP-MPP:每個結(jié)點是一臺SMP并行機，例如當前位于Top500排名前列的多臺MPP并行機均屬于這一類其中包括IBMASCIWhite.IntelASCIRed.IBMBluePacific等：DSM-MPP:每個結(jié)點是一臺DSM并行機，其典型代表為包含6144臺處理器的ASCIBlueMountainMPP并行機，它由48臺0rigin2000構(gòu)成，其中每臺含128個微處理器。微機機群（BeowulfPC-Chis忙r）：隨著商用微處理器性能

26、的飛速發(fā)展，低延遲、高帶寬商用網(wǎng)絡(luò)交換機的岀現(xiàn)，和LINUX操作系統(tǒng)等自由軟件的成熟，并行計算機不再是一個只有大型科研單位才能擁有的設(shè)備。例如，將128臺當前市場上最高性能的IntelPentium-III/800MHz的微機通過6個24端口的100Mbps的網(wǎng)絡(luò)交換機相互聯(lián)接，即可構(gòu)成浮點峰值性能在1000億次左右的并行機，而貝成本不超過200萬元人民幣，性能價格比遠遠高于以上提到的類并行機（30倍以上），國際上稱該類自行研制的并行機為Beowulf機群。盡管微機機群在通信性能、穩(wěn)泄性和使用方便等方面有待大幅度提髙，但是，它們以其他并行機無法比擬的性能價格比，近年來已經(jīng)成為了高性能并行訃算中

27、的一支不可忽視的重要力疑。目前，在我國的各個大學(xué)和科研機構(gòu)，例如中科院、北京大學(xué)、淸華大學(xué)等，微機機群也得到了快速發(fā)展和推廣應(yīng)用。特別地，在2000年底的Top500排名中，美國Sandi國家重點實驗室自行研制的機群Cplant排名第84位。1微機1微機N網(wǎng)絡(luò)交換機文件服務(wù)器圖Beowulf微機機群示意圖（參考張林波講義之圖）外部網(wǎng)絡(luò)Beowulf微機機群的體系結(jié)構(gòu)如圖所示，多臺髙性能微機通過商用網(wǎng)絡(luò)交換機相互聯(lián)接，并擁有各自獨立的操作系統(tǒng)、主板、內(nèi)存、硬盤和其他I/O設(shè)備，構(gòu)成機群的計算結(jié)點。配置一臺或多臺文件服務(wù)器，一方而管理機群計算結(jié)點共享的所有軟件和用戶計算資源，另一方而充當機群與外部

28、網(wǎng)絡(luò)的聯(lián)接橋梁，外部科研網(wǎng)的用戶只有通過文件服務(wù)器才能使用機群的計算資源。由于受商用交換機網(wǎng)絡(luò)性能和操作系統(tǒng)功能的影響，Beowulf微機機群的處理機規(guī)模一般限制在100臺左右。但是，如果將交換機替換成專用機群網(wǎng)絡(luò)，例如GigaNet.Myrinet等，則它們的規(guī)?？梢赃M一步擴大。因此，在當前技術(shù)條件下，微機機群一般可提供千億次左右的浮點峰值性能。并行向量多處理并行機（PVP）:體系結(jié)構(gòu)類似于DM-MPP,但是每個CPU為向量多處理機。僅日本研制，應(yīng)用不廣。并行機舉例SMP并行機：SGIPowerChallengeXLR10000：多個（V18）個SGIR10000微處理器、共享存儲模塊、I/

29、O設(shè)備通過系統(tǒng)總線相互聯(lián)接?？偩€帶寬：秒。單一操作系統(tǒng)影像。DSM并行機:SGIOrigin2000.SGIOrigin3800：單一影像操作系統(tǒng)。Origin2000可擴展到8個機柜，每個機柜含8個結(jié)點，結(jié)點是構(gòu)成Origin2000的基本單位，它包含：1-2個主頻為195MHz或250MHz的MIPSR10000CPU，每個CPU含4MB的二級Cache；內(nèi)存512MB-4GB,分主存和目錄內(nèi)存兩類，后者主要用于保持結(jié)點間的Cache數(shù)據(jù)一致性；集線器（HUB）含4個端口：CPU端口、內(nèi)存端口、XIO端口和CrayLink互聯(lián)網(wǎng)絡(luò)端口，采用交叉開關(guān)實現(xiàn)兩個CPU、內(nèi)存、輸入輸出和互聯(lián)網(wǎng)絡(luò)路

30、由器（router）之間的全互聯(lián)，分別提供780MB/Sec、780MB/Sec、Sec、Sec的傳送速度。Origin2000的所有結(jié)點通過CrayLink高性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接，路由器是構(gòu)成CrayLink的基本單位，它包含6個端口，內(nèi)部采用交叉開關(guān)實現(xiàn)端口間的全互聯(lián)，具有See的峰值帶寬。每個路由器的兩個端口用于聯(lián)接結(jié)點，其余4個端口實現(xiàn)路由器間的互聯(lián)，形成互聯(lián)網(wǎng)絡(luò)拓撲結(jié)構(gòu)。該CrayLink的半分帶寬與結(jié)點個數(shù)成線性遞增關(guān)系，對任意兩個結(jié)點，至少能提供兩條路徑，保證了結(jié)點間的高帶寬、低延遲聯(lián)接和互聯(lián)網(wǎng)絡(luò)的穩(wěn)立性和容錯能力。圖SGIOrigin2000并行機體系結(jié)構(gòu)示意圖SMP-MPP：ASCIWhite：512臺IBMSMPNH-2結(jié)點通過SP交換機相互聯(lián)接：每個結(jié)點為SMP并行機，含16個IBMPowerP3/375MHZ微處理器，共享16GB內(nèi)存：總計計算處理器8192個，內(nèi)存4-6TB,峰值性能，磁盤總?cè)軲150TB（可擴展到160TB）：總投資億美元，美國能源部向IBM租借，年租金為8500萬美元；重106噸，兩個籃球場大：結(jié)點間支持消息傳遞并行程序設(shè)計，結(jié)點內(nèi)部支持共享存儲、消息傳遞兩種并行編程模式也支持消息傳遞和共享存儲混合編程模式。微機機群：聯(lián)想深騰6800機群系統(tǒng)百度文