Chapter 7 多核、多處理器和集群

1、電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 計算機組成與設計計算機組成與設計硬件硬件/ /軟件接口軟件接口第第7章章多核、多處理器和集群多核、多處理器和集群Computer Organization and DesignThe Hardware/Software InterfaceDavid A. Patterson John L. Hennessy電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 7.1 引言引言n 目標目標：將多臺計算機連接起以期獲得更高的性能。 計算機集群 多處理器 多核處理器電子科技大學計算機科學與工程學院電子科技大學計算機科學與工

2、程學院 n 作業(yè)作業(yè)(Job)/進程進程(Process)級的并行級的并行 并行性高，因為作業(yè)相對獨立n 并行處理程序并行處理程序 單個程序運行在多個處理器上n 多核處理器多核處理器 在一個芯片上有多個處理器（核核）7.1 引言引言電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 n 串行串行/并行程序都可以在串行并行程序都可以在串行/并行處理器上運行并行處理器上運行 挑戰(zhàn)：如何更加有效地使用并行處理器n 并行編程并行編程 應顯著提高程序的執(zhí)行性（否則還不如用一個快一點的單處理器，因為這樣更容易） 面臨的困難：調度、負載均衡、同步和通信開銷7.2 創(chuàng)建并行處理程序的難點創(chuàng)建并行

3、處理程序的難點電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 程序執(zhí)行的串行部分限制了程序執(zhí)行的串行部分限制了加速比的提升。加速比的提升。Amdahl定理定理Example:要在要在100個處理器上獲得加速比個處理器上獲得加速比90，試，試計算順序執(zhí)行部分應是多少？計算順序執(zhí)行部分應是多少？電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 Amdahl定理定理90/100F)F(11pp加速比 Fp = 0.999順序執(zhí)行部分不能超過0.1%。電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 問題規(guī)模問題規(guī)模n 工作負載：工作負載： 單處理器：

4、單處理器： 10個個標量標量求和求和1010二維二維矩陣求和矩陣求和 10個處理器：個處理器： 達到潛能的達到潛能的55%電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 問題規(guī)模問題規(guī)模 100個處理器：個處理器： 達到潛能的達到潛能的10%n 工作負載：工作負載：10個個標量標量求和求和100100二二維矩陣求和維矩陣求和電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 問題規(guī)模問題規(guī)模 單處理器：單處理器： 10個處理器：個處理器： 達到潛能的達到潛能的99% 100個處理器：個處理器： 達到潛能的達到潛能的91%電子科技大學計算機科學與工程學院電子科技大

5、學計算機科學與工程學院 強比例與弱比例縮放強比例與弱比例縮放n 強比例縮放：問題規(guī)模不變。強比例縮放：問題規(guī)模不變。 如前面的例子所示 n 弱弱比例比例縮放：問題縮放：問題規(guī)模隨處理器數量比例變化。規(guī)模隨處理器數量比例變化。 10個處理器，1010二維矩陣求和 T = 20tadd 100個處理器，3232二維矩陣求和 T = 10tadd + (3232 /100)tadd= 20tadd電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 思考題：思考題：排隊排隊5 5分鐘分鐘1 1分鐘分鐘電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 7.3 7.3 共享存

6、儲多處理器共享存儲多處理器n 共享存儲多處理器共享存儲多處理器 SMP - Shared Memory Multiprocessor 由硬件為所有的處理器提供單一的物理地址空間 以塊為單位同步共享變量 存儲器訪問時間 統一存儲訪問(UMA)：訪存時間大致相同 非統一存儲訪問(NUMA)：某些存儲訪問更快電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 共享存儲多處理器的典型組成共享存儲多處理器的典型組成互連網絡互連網絡存儲器存儲器I/O處理器處理器Cache處理器處理器Cache處理器處理器Cache電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 處理器間的消

7、息傳遞機制處理器間的消息傳遞機制n 每個處理器都有自己的私有物理地址空間每個處理器都有自己的私有物理地址空間n 由硬件負責在處理器間的通信由硬件負責在處理器間的通信互連網絡互連網絡處理器處理器Cache處理器處理器處理器處理器Cache處理器處理器處理器處理器Cache處理器處理器affordable電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 松散耦合松散耦合n 獨立的計算機通過網絡連接獨立的計算機通過網絡連接 每個計算機都有自己的內存和OS 通過I/O系統連接(域局網、交換機、互聯網)n 適合具有獨立任務的應用適合具有獨立任務的應用 Web服務器、數據庫、仿真n 具有高

8、適應性、擴展性、成本具有高適應性、擴展性、成本低低電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 松散耦合松散耦合n 主要問題主要問題 管理開銷(主要是虛擬機) 連接帶寬低電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 指令和數據流指令和數據流n 分類方式分類方式數據流數據流一個一個多個多個指令流指令流一個一個SISD:Intel Pentium 4SIMD: SSE instr. of x86多個多個MISD:目前無實例目前無實例MIMD:Intel Xeon e5345n SPMD：單程序多數據：單程序多數據 一個并行程序運行在MIMD計算機上 條件語句

9、控制在不同處理器執(zhí)行不同代碼電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 SIMD SIMD 單指令流多數據流單指令流多數據流n 所有的處理器在同一時間執(zhí)行相同指令所有的處理器在同一時間執(zhí)行相同指令 每個處理器訪問的數據不同n 同步機制簡單同步機制簡單n 簡化指令控制簡化指令控制硬件硬件n 最適于高數據并行應用最適于高數據并行應用電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 向量處理器向量處理器n 高度流水線的功能單元高度流水線的功能單元n 數據流數據流向量寄存器向量寄存器處理單元處理單元 數據數據寄存器寄存器存儲器存儲器 結果寄存器寄存器存儲器存儲器n

10、 例如：例如：MIPS指令集體系結構向量擴展指令集體系結構向量擴展 增加向量指令和向量寄存器增加向量指令和向量寄存器n 可減少取指帶寬的要求可減少取指帶寬的要求電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 向量與標量的對比向量與標量的對比n 向量體系結構和編譯器向量體系結構和編譯器 簡單的數據并行編程簡單的數據并行編程 明確的無循環(huán)間相關明確的無循環(huán)間相關減少了硬件的檢測 通過避免循環(huán)，從而控制上的冒險通過避免循環(huán)，從而控制上的冒險n 比自媒體擴展比自媒體擴展(如：如：MMX、SSE)更通用更通用 與編譯技術配合更好與編譯技術配合更好電子科技大學計算機科學與工程學院電子科技

11、大學計算機科學與工程學院 GPUGPU的歷史的歷史n 早期的視頻卡早期的視頻卡 以幀為單位的顯示緩存以幀為單位的顯示緩存n 3D圖形處理圖形處理 最初用在高端計算機上最初用在高端計算機上 摩爾定律摩爾定律 低費用、低費用、高密度高密度 3D3D圖形卡用于普通圖形卡用于普通PCPC機和機和游戲終端游戲終端電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 GPUGPU的歷史的歷史n 圖形處理單元圖形處理單元 面向面向3D3D圖形處理的處理器圖形處理的處理器 頂點頂點/ /像素的處理、渲染、紋理映射、光柵像素的處理、渲染、紋理映射、光柵化處理等化處理等電子科技大學計算機科學與工程學院

12、電子科技大學計算機科學與工程學院 計算機中的圖形系統計算機中的圖形系統電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 計算機中的圖形系統計算機中的圖形系統電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 計算機中的圖形系統計算機中的圖形系統電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 GPUGPU的體系結構的體系結構n 高度數據并行處理高度數據并行處理 GPUGPU是高度多線程結構是高度多線程結構 使用線程開關來隱藏存儲器的延時使用線程開關來隱藏存儲器的延時 顯示緩存數據寬度大、傳輸速率高顯示緩存數據寬度大、傳輸速率高n 發(fā)展趨勢：通用發(fā)展

13、趨勢：通用GPU 多種多種型型式的式的CPUCPU/GPU/GPU系統系統 CPUCPU于用于順序代碼的執(zhí)行，于用于順序代碼的執(zhí)行，GPUGPU用于用于并行代并行代碼的執(zhí)行碼的執(zhí)行電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 GPUGPU的體系結構的體系結構n 編程語言編程語言/API DirectX、OpenGL C For Graphics(Cg)、HLSL CUDA(Compute Unified Device Architecture)電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 NVIDIA NVIDIA TeslaTesla8 流處理器流處理器電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 NVIDIA NVIDIA TeslaTeslan 流處理器流處理器SP 單精度浮點運算和整數運算單精度浮點運算和整數運算 每個每個SPSP都是細粒度多線程都是細粒度多線程n Warp：32個線程一組個線程一組 以以SIMDSIMD型式并行執(zhí)行：型式并行執(zhí)行：8(SP)8(SP)4 4時鐘周期時鐘周期 硬件支持硬件支持2424個個Warp電子科技大學計算機科學