計算機組成與體系結構 課件 13多處理機系統(tǒng)

多處理機系統(tǒng)計算機組成與體系結構進程并行減少進程間的資源共享可不共享的資源CPU存儲器I/O必須共享的資源（進程間通信）互連結構多處理機系統(tǒng)(multiprocessorsystem)，多處理器系統(tǒng)、多處理機多處理機系統(tǒng)分類多處理機系統(tǒng)SIMD單指令多數(shù)據(jù)流機SIMD(SingleInstructionMultipleData)MIMD并行向量處理機PVP(ParallelVectorProcessor)對稱多處理機SMP(SymmetricMultiprocessor)大規(guī)模并行處理機MPP(MassivelyParallelProcessor)工作站集群COW(ClusterofWorkstation)分布式共享存儲DSM(DistributedSharedMemory)多處理機SIMD體系結構控制器指令流運算器存儲運算器存儲…………數(shù)據(jù)流數(shù)據(jù)流從前端機裝入的數(shù)據(jù)從前端機裝入的程序MIMD的優(yōu)勢MIMD靈活性強。在必要的軟件和硬件支持下，MIMD既能作為單用戶多處理器為單一應用程序提供高性能（向量處理器除外，且目前使用向量處理器的MIMD很少），又可作為同時運行多個任務的多道程序多處理器系統(tǒng)使用，甚至可以提供這兩種任務相結合的應用MIMD能夠充分利用現(xiàn)有微處理器的性價比優(yōu)勢。實際上，當今幾乎所有的商用多處理器系統(tǒng)所使用的微處理器與工作站及單處理器服務器所使用的微處理器都是相同的。此外，多核芯片通過復制方式可以有效降低單處理器內(nèi)核的設計成本并行向量處理機PVP對于處理特定的向量計算有很高的速度，但其通用性較差Cray系列、NECSX4、銀河-I型（峰值速度1億次/秒）銀河-II型（峰值速度10億次/秒）對稱多處理機SMPIBMR50、SGIPowerChallenge、DECAlpha服務器8400、曙光1號大規(guī)模并行處理機MPPIntelParagon、IBMSP2、IntelTFLOPS、曙光-1000主要應用是科學計算、工程模擬和信號處理等以計算為主的領域分布式共享存儲多處理機DSMStanfordDASH、CrayT3D和SGI/GrayOrigin2000等工作站集群COWBerkeleyNOW、AlphaFarm、DigitalTruCluster等公用結構五種結構特性一覽表屬性PVPSMPMPPDSMCOW結構類型MIMDMIMDMIMDMIMDMIMD處理器類型專用定制商用商用商用商用互連網(wǎng)絡定制交叉開關總線、交叉開關定制網(wǎng)絡定制網(wǎng)絡商用網(wǎng)絡（以太ATM）通信機制共享變量共享變量消息傳遞共享變量消息傳遞地址空間單地址空間單地址空間多地址空間單地址空間多地址空間系統(tǒng)存儲器集中共享集中共享分布非共享分布共享分布非共享訪存模型UMAUMANORMANUMANORMA代表機器CrayC-90，CrayT-90，銀河1號IBMR50，SGIPowerChallenge，曙光1號IntelParagon，

IBMSP2，曙光1000/2000StanfordDASH，CrayT3DBerkeleyNOW，AlphaFarm并行計算機訪存模型UMA(UniformMemoryAccess)

NUMA(NonuniformMemoryAccess)COMA(Cache-OnlyMemoryAccess)CC-NUMA(Coherent-CacheNonuniformMemoryAccess)

NORMA(No-RemoteMemoryAccess)

UMA均勻存儲訪問模型物理存儲器被所有處理器均勻共享；所有處理器訪問任何存儲字取相同的時間；每臺處理器可帶私有高速緩存；外圍設備也可以一定形式共享。UMA多處理機模型NUMA非均勻存儲訪問模型被共享的存儲器在物理上是分布在所有的處理器中的，其所有本地存儲器的集合就組成了全局地址空間；處理器訪問存儲器的時間是不一樣的；訪問本地存儲器LM或群內(nèi)共享存儲器CSM較快，而訪問外地的存儲器或全局共享存儲器GSM較慢（此即非均勻存儲訪問名稱的由來）；每臺處理器照例可帶私有高速緩存，外設也可以某種形式共享。NUMA多處理機模型LM1P1LM2P2LMnPn互連網(wǎng)絡(a)共享本地存儲模型全局互連網(wǎng)絡(b)層次式集群模型GSMGSMGSM…………PCINCSMPPCSMCSM群1……PCINCSM群NPPCSMCSM……COMA全高速緩存存儲訪問各處理器節(jié)點中沒有存儲層次結構，全部高速緩存組成了全局地址空間；利用分布的高速緩存目錄D進行遠程高速緩存的訪問;COMA中的高速緩存容量一般都大于2級高速緩存容量；使用COMA時，數(shù)據(jù)開始時可任意分配，因為在運行時它最終會被遷移到要用到它們的地方。COMA多處理機模型CC-NUMA高速緩存一致性非均勻存儲訪問大多數(shù)使用基于目錄的高速緩存一致性協(xié)議保留SMP結構易于編程的優(yōu)點，也改善常規(guī)SMP的可擴展性CC-NUMA實際上是一個分布共享存儲的DSM多處理機系統(tǒng)它最顯著的優(yōu)點是程序員無需明確地在節(jié)點上分配數(shù)據(jù)，系統(tǒng)的硬件和軟件開始時自動在各節(jié)點分配數(shù)據(jù)，在運行期間，高速緩存一致性硬件會自動地將數(shù)據(jù)遷移至要用到它的地方CC-NUMA多處理機模型NORMA非遠程存儲訪問所有存儲器是私有的；絕大數(shù)NORMA都不支持遠程存儲器的訪問；在DSM中，NORMA就消失了。消息傳遞多處理機一般模型并行機訪存模型總結物理上分布的存儲器從編程的觀點看可以是共享的或非共享的共享結構（多處理器）可以同時支持共享存儲和消息傳遞編程模型共享存儲的編程模型可同時執(zhí)行于共享存儲結構和分布式存儲結構（多計算機）上并行機系統(tǒng)的不同存儲結構主流并行計算機系統(tǒng)SMPMPPClusterSMP特性(1)SMP：通常采用商用微處理器，通常有片上和片外Cache，基于總線連接，集中式共享存儲，UMA結構。SMP特性(2)優(yōu)點對稱性單地址空間，易編程性，動態(tài)負載平衡，無需顯示數(shù)據(jù)分配高速緩存及其一致性，數(shù)據(jù)局部性，硬件維持一致性低通信延遲，Load/Store完成問題欠可靠，易產(chǎn)生單點失效，如BUS、OS、SM通信延遲，單次通信延遲要低，但總線競爭加劇慢速增加的帶寬（MBdouble/3年，IOB則更慢）不可擴展性，限制了SMP最大的處理器數(shù)。為了增大系統(tǒng)的規(guī)模，可改用交叉開關連接，或改用CC-NUMA或集群結構典型SMP系統(tǒng)系統(tǒng)特性DECAlphaserver84005/440HP9000/T600IBMRS600/R40SunUltraEnterprise6000SGIPowerChallengeXL處理器數(shù)目121283036處理器類型437MHzAlpha21164180MHzPA8000112MHzPowerPC604167MHzUltraSPARCI195MHzMIPSR10000處理器片外Cache容量4MB8MB1MB512MB4MB最大主存容量28GB16GB2GB30GB16GB互連網(wǎng)絡及帶寬BUS2.1GB/sBUS960MB/sBUS+Crossbar1.8GB/sBUS+Crossbar2.6GB/sBUS1.2GB/s外存容量192GB168GB38GB63GB144GBI/O通道12PCI，每個133MB/sN/A2MCA，每個160MB/s30Sbus，每個200MB/s6PowerChannel-2HIO，每個320MB/sI/O槽144PCI槽112HP-PB槽15MCA45Sbus槽12HIO槽I/O帶寬1.2GB/s1GB/s320MB/s2.6GB/s每個HIO槽320MB/sMPP系統(tǒng)MPP并沒有一個明確的定義，典型的MPP系統(tǒng)中包含成百上千乃至上萬個處理器，并用專用的高速互聯(lián)網(wǎng)絡把大量的計算結點連接在一起，組成的大型計算機系統(tǒng)，進行并行處理“計算結點”并不只是處理器，計算結點內(nèi)包含除了CPU外的其他私有的資源，如總線，內(nèi)存等MPP系統(tǒng)包含的計算結點數(shù)很多，故其可以達到很高的峰值速度典型的MPP體系結構P/CP/CMEM局部總線或互聯(lián)網(wǎng)絡NICI/OP/CP/CMEM局部總線或互聯(lián)網(wǎng)絡NICI/O高性能互聯(lián)網(wǎng)絡I/OMPP的特征由數(shù)百個乃至數(shù)千個計算結點和I/O結點組成，這些結點由局部網(wǎng)卡（NIC）通過高性能互聯(lián)網(wǎng)絡相互聯(lián)接每個結點相對獨立，并擁有一個或多個微處理器（P/C）MPP的各個結點均擁有不同的操作系統(tǒng)映像各個結點間的內(nèi)存模塊相互獨立，且不存在全局內(nèi)存單元的統(tǒng)一硬件編址MPP分類DM-MPP。每個結點僅包含一個微處理器，早期的MPP均屬于這一類。例如CRAYT3D、CRAYT3E、IntelParagon、IBMSP-2、YH-3等。SMP-MPP。每個結點是一臺SMP并行機，例如當前位于Top500排名前列的多臺MPP并行機均屬于這一類，其中包括IBMASCIWhite、IntelASCIRed、IBMBluePacific等；DSM-MPP。每個結點是一臺DSM并行機，其典型代表為包含6144臺處理器的ASCIBlueMountainMPP并行機，它由48臺Origin2000構成，其中每臺含128個微處理器。MPP的固有問題通信效率問題。在處理器數(shù)目很多的情況下，通信開銷是影響系統(tǒng)加速比的重要因素可靠性問題。MPP包含有大量的處理器等硬件，這使得系統(tǒng)發(fā)生故障的概率大大提高成本問題。大量的計算結點，專用的高帶寬、低延遲互連網(wǎng)絡，使得MPP的成本很容易就達到幾千萬美元。MPP項目的研發(fā)往往耗資巨大，主要由各國政府資助，很少有商業(yè)公司涉足，MPP系統(tǒng)也主要用于專業(yè)領域，也很少有商用MPP系統(tǒng)出現(xiàn)。典型MPP系統(tǒng)MPP模型Intel/SandiaASCIOptionRedIBMSP2SGI/CrayOrigin2000一個大型樣機的配置9072個處理器，1.8Tflop/s(NSL)400個處理器，100Gflop/s(MHPCC)128個處理器，51Gflop/s(NCSA)問世日期1996年12月1994年9月1996年10月處理器類型200MHz,200Mflop/sPentiumPro67MHz，267Mflop/sPOWER2200MHz，400Mflop/sMIPSR10000節(jié)點體系結構和數(shù)據(jù)存儲器2個處理器，32到256MB主存，共享磁盤1個處理器，64MB到2GB本地主存，1GB到14.5GB本地磁盤2個處理器，64MB到256MB分布共享主存和共享磁盤互連網(wǎng)絡和主存模型分離兩維網(wǎng)孔，NORMA多級網(wǎng)絡，NORMA胖超立方體網(wǎng)絡，CC-NUMA節(jié)點操作系統(tǒng)輕量級內(nèi)核（LWK）完全AIX（IBMUNIX）微內(nèi)核CellularIRIX自然編程機制基于PUMAPortals的MPIMPI和PVMPowerC，PowerFortran其他編程模型Nx，PVM，HPFHPF，LindaMPI，PVMCluster(1)分類：大規(guī)模并行處理系統(tǒng)MPP集群工作站集群COW（ClusterofWorkstations）MPP集群設計策略：集群體系結構標準環(huán)境標準編程模型系統(tǒng)可用性精選的單一系統(tǒng)映像Cluster(2)COW特征：分布式存儲，MIMD，工作站+商用互連網(wǎng)絡，每個節(jié)點是一個完整的計算機，有自己的磁盤和操作系統(tǒng)，使用SPMD（SingleProgramMultipleData）編程方式。COW優(yōu)點：投資風險小編程方便系統(tǒng)結構靈活性能/價格比高能充分利用分散的計算資源可擴展性好COW需解決的問題通信性能。盡管使用商品網(wǎng)絡可以降低集群系統(tǒng)的造價，使其獲得很高的性能/價格比，但商品網(wǎng)絡的通信性能有限，往往滿足不了一些對通信性能要求高的領域。并行應用性能的提升。集群系統(tǒng)可以通過增加結點來達到更高的峰值運算速度，但運行在其上的并行應用并不能不加修改的獲得更佳的性能。造成這種現(xiàn)象的主要原因是，用于集群的并行編程環(huán)境還不能實現(xiàn)自動的數(shù)據(jù)分配和負載均衡。典型的集群系統(tǒng)典型的集群系統(tǒng)特點一覽表名稱系統(tǒng)特點Princeton:SHRIMPPC商用組件，通過專用網(wǎng)絡接口達到共享虛擬存儲，支持有效通信Karsruhe:Parastation用于分布并行處理的有效通信網(wǎng)絡和軟件開