Chapter 7 多核、多處理器和集群

計算機組成與設(shè)計硬件/軟件接口第7章多核、多處理器和集群ComputerOrganizationandDesignTheHardware/SoftwareInterfaceDavidA.PattersonJohnL.Hennessy7.1引言目標(biāo)：將多臺計算機連接起以期獲得更高的性能。

計算機集群多處理器多核處理器作業(yè)(Job)/進程(Process)級的并行并行性高，因為作業(yè)相對獨立并行處理程序單個程序運行在多個處理器上多核處理器在一個芯片上有多個處理器（核）7.1引言串行/并行程序都可以在串行/并行處理器上運行挑戰(zhàn)：如何更加有效地使用并行處理器并行編程應(yīng)顯著提高程序的執(zhí)行性（否則還不如用一個快一點的單處理器，因為這樣更容易）面臨的困難：調(diào)度、負(fù)載均衡、同步和通信開銷7.2創(chuàng)建并行處理程序的難點程序執(zhí)行的串行部分限制了加速比的提升。Amdahl定理Example:要在100個處理器上獲得加速比90，試計算順序執(zhí)行部分應(yīng)是多少？Amdahl定理Fp

=0.999∴順序執(zhí)行部分不能超過0.1%。問題規(guī)模工作負(fù)載：單處理器：

10個標(biāo)量求和10×10二維矩陣求和10個處理器：

達(dá)到潛能的55%問題規(guī)模100個處理器：

達(dá)到潛能的10%工作負(fù)載：10個標(biāo)量求和100×100二維矩陣求和問題規(guī)模單處理器：

10個處理器：

達(dá)到潛能的99%100個處理器：

達(dá)到潛能的91%強比例與弱比例縮放強比例縮放：問題規(guī)模不變。如前面的例子所示

弱比例縮放：問題規(guī)模隨處理器數(shù)量比例變化。10個處理器，10×10二維矩陣求和

T=20tadd100個處理器，32×32二維矩陣求和T=10tadd+(32×32/100)tadd=20tadd思考題：排隊5分鐘1分鐘7.3共享存儲多處理器共享存儲多處理器

SMP-SharedMemoryMultiprocessor由硬件為所有的處理器提供單一的物理地址空間以塊為單位同步共享變量存儲器訪問時間統(tǒng)一存儲訪問(UMA)：訪存時間大致相同非統(tǒng)一存儲訪問(NUMA)：某些存儲訪問更快共享存儲多處理器的典型組成互連網(wǎng)絡(luò)存儲器I/O處理器Cache處理器Cache處理器Cache……處理器間的消息傳遞機制每個處理器都有自己的私有物理地址空間由硬件負(fù)責(zé)在處理器間的通信互連網(wǎng)絡(luò)……處理器Cache處理器處理器Cache處理器…處理器Cache處理器affordable松散耦合獨立的計算機通過網(wǎng)絡(luò)連接每個計算機都有自己的內(nèi)存和OS通過I/O系統(tǒng)連接(域局網(wǎng)、交換機、互聯(lián)網(wǎng))適合具有獨立任務(wù)的應(yīng)用Web服務(wù)器、數(shù)據(jù)庫、仿真具有高適應(yīng)性、擴展性、成本低松散耦合主要問題管理開銷(主要是虛擬機)連接帶寬低指令和數(shù)據(jù)流分類方式數(shù)據(jù)流一個多個指令流一個SISD:IntelPentium4SIMD:SSEinstr.ofx86多個MISD:目前無實例MIMD:IntelXeone5345SPMD：單程序多數(shù)據(jù)一個并行程序運行在MIMD計算機上條件語句控制在不同處理器執(zhí)行不同代碼SIMD–單指令流多數(shù)據(jù)流所有的處理器在同一時間執(zhí)行相同指令每個處理器訪問的數(shù)據(jù)不同同步機制簡單簡化指令控制硬件最適于高數(shù)據(jù)并行應(yīng)用向量處理器高度流水線的功能單元數(shù)據(jù)流←→向量寄存器→處理單元數(shù)據(jù)←寄存器←存儲器結(jié)果→寄存器→存儲器例如：MIPS指令集體系結(jié)構(gòu)向量擴展增加向量指令和向量寄存器可減少取指帶寬的要求向量與標(biāo)量的對比向量體系結(jié)構(gòu)和編譯器簡單的數(shù)據(jù)并行編程明確的無循環(huán)間相關(guān)減少了硬件的檢測通過避免循環(huán)，從而控制上的冒險比自媒體擴展(如：MMX、SSE)更通用與編譯技術(shù)配合更好GPU的歷史早期的視頻卡以幀為單位的顯示緩存3D圖形處理最初用在高端計算機上摩爾定律

低費用、高密度3D圖形卡用于普通PC機和游戲終端GPU的歷史圖形處理單元面向3D圖形處理的處理器頂點/像素的處理、渲染、紋理映射、光柵化處理等計算機中的圖形系統(tǒng)計算機中的圖形系統(tǒng)計算機中的圖形系統(tǒng)GPU的體系結(jié)構(gòu)高度數(shù)據(jù)并行處理GPU是高度多線程結(jié)構(gòu)使用線程開關(guān)來隱藏存儲器的延時顯示緩存數(shù)據(jù)寬度大、傳輸速率高發(fā)展趨勢：通用GPU多種型式的CPU/GPU系統(tǒng)CPU于用于順序代碼的執(zhí)行，GPU用于并行代碼的執(zhí)行GPU的體系結(jié)構(gòu)編程語言/APIDirectX、OpenGLCForGraphics(Cg)、HLSLCUDA(ComputeUnifiedDeviceArchitecture)NVIDIATesla8×流處理器NVIDIATesla流處理器SP單精度浮點運算和整數(shù)運算每個SP都是細(xì)粒度多線程Warp：32個線程一組以SIMD型式并行