平行策略ppt課件

1、第 17 章平行戰(zhàn)略1效能改善的兩個根本技術(shù)平行戰(zhàn)略和管線技術(shù) 2平行電腦 多個硬體複本可以同時運作普及電腦結(jié)構(gòu)的各種階層內(nèi)部結(jié)構(gòu)師會盡量把平行的根本技術(shù)運用在系統(tǒng)上，發(fā)展出完全由平行戰(zhàn)略所控制的電腦結(jié)構(gòu)，稱為平行電腦 。3平行特性 4微觀 vs 巨觀 平行戰(zhàn)略是如此地普遍，幾乎一切的電腦系統(tǒng)都具有某些型式的平行硬體，我們常運用微觀平行來描畫：那些確實具備平行才干，但隱藏不易看見的結(jié)構(gòu)。 5微觀平行範(fàn)例 ALU執(zhí)行整數(shù)算術(shù)比如：32位元的互斥或閘運算暫存器通用暫存器可處理多重位元實體記憶體比如：64位元的字組記憶體系統(tǒng)平行匯流排結(jié)構(gòu)典型32位元或64位元寬的匯流排6巨觀平行範(fàn)例 多重一樣處理器

2、：比如：雙處理器的PC兩個平行CPU效能依賴作業(yè)系統(tǒng)作業(yè)系統(tǒng)負(fù)責(zé)程式碼的最正確化控制多重相異處理器：特殊的協(xié)同處理器比如，高速影像電腦可以連接四個顯示器，一個顯示器運用一個特殊的影像處理器，來進(jìn)行控制。7對稱 vs 非對稱 對稱平行多個一樣元件同時存在的系統(tǒng)比如，雙處理器PC非對稱平行多個同時運作、但功能各不一樣的元件比如，影像協(xié)同處理器和數(shù)學(xué)協(xié)同處理器都是非對稱平行。 8細(xì)紋 vs 粗紋 細(xì)紋平行以個別的指令或資料為單位比如，影像處理器運用16個平行硬體單元，來更新16個位元組。粗紋平行以程式或大型區(qū)塊資料為單位比如，雙處理器PC運用一個處理器來列印文件，另一個能夠正在編輯電子郵件訊息。 9

3、顯性 vs 隱性 隱性平行硬體會自動地處理平行戰(zhàn)略，毋需任何程式設(shè)計師動手來啟始或控制。顯性平行需求程式設(shè)計師來控制每一個平行單元的執(zhí)行動作，稱為顯性平行。 10平行結(jié)構(gòu) 系統(tǒng)最主要的特性就在於平行結(jié)構(gòu)。平行處理器數(shù)量應(yīng)該達(dá)一定的規(guī)模比如：具有32個或64000個處理器的電腦。把二個處理器參與PC，雖然也是平行戰(zhàn)略，但習(xí)慣上稱為雙處理器電腦。參與四個處理器的PC，被稱為四處理器電腦。11平行結(jié)構(gòu)分類(Flynn分類法) 12SISD單一指令單一資料流 SISD描畫無法援助巨集平行的結(jié)構(gòu)沒有平行的結(jié)構(gòu)又稱為順序結(jié)構(gòu)、或單一處理器結(jié)構(gòu)傳統(tǒng)的范紐曼結(jié)構(gòu)就是SISDSISD最重要的特徵：順序執(zhí)行指令，

4、一次只執(zhí)行一個指令，每個指令只能處理單一資料項目。13SIMD單一指令多重資料流 SIMD每一個指令雖然只能指定單一運算動作比如：整數(shù)加法，但可以要求多個資料項目同時動作。SIMD電腦必須具有充足的硬體，才有才干同時處理多筆資料 。14向量處理器 SIMD結(jié)構(gòu)對某些數(shù)值需求一樣的運算，有很好的任務(wù)效率。SIMD結(jié)構(gòu)又稱為向量處理器或陣列處理器。SIMD結(jié)構(gòu)常用於某些科學(xué)應(yīng)用程式，處理向量數(shù)學(xué)、陣列計算或一組數(shù)值的浮點運算。15傳統(tǒng)電腦的正規(guī)化16向量電腦的正規(guī)化假設(shè)陣列大小沒有超過平行硬體的大小，則底層硬體可以同時執(zhí)行陣列上一切數(shù)值的算術(shù)運算。如下：V VQ;假設(shè)陣列大小超過平行硬體的容量，就

5、需求多個步驟才干完成運算動作。17影像處理器典型的影像硬體運用順序位元組，來儲存螢?zāi)幻恳粋€像素的數(shù)值。假設(shè)想要移動一個正方形視窗，則軟體必須拷貝某個區(qū)域位置的等效視窗位元組到另一個位置，一次一個位置，漸漸移動整個視窗。在SIMD結(jié)構(gòu)中，程式設(shè)計師可以發(fā)佈一個複製命令，讓SIMD底層硬體會平行複製多重位元組，效率更快。 18MIMD多重指令多重資料流 描畫平行結(jié)構(gòu)內(nèi)的每一個處理器，可以在一樣的時間，各自獨立地執(zhí)行計算。MIMD電腦允許程式設(shè)計師控制處理器，讓處理器各自執(zhí)行獨立程式。 19SMP對稱多重處理器最知名的MIMD就是SMP電腦結(jié)構(gòu)。典型的SMP設(shè)計具有N個一樣的處理器，具有一樣的指令集

6、、時脈速率、記憶體、以及外部設(shè)備，但可以各自執(zhí)行程式。比如：Carnegie Mellon大學(xué)的C.mmp原型機Sequent公司現(xiàn)為IBM一切建立的SMPEncore公司的Multimax SMP 20SMP架構(gòu)圖21AMP非對稱多重處理器另一種替代SMP設(shè)計的方法稱為AMPAMP包含N個處理器，可在同一時間運作，但是不一定採用一樣處理器。AMP設(shè)計常用於特定的任務(wù)比如，運用處理器來管理磁碟儲存設(shè)備。運用處理器來最正確化影像的顯示任務(wù)。22AMP結(jié)構(gòu)AMP結(jié)構(gòu)遵照主僕方法主處理器：一個或一組處理器控制整體執(zhí)行負(fù)責(zé)最正確化整體控制僕處理器：引入其它的處理器，處理其它的輔助功能，像是算術(shù)計算或I

7、/O。23AMP結(jié)構(gòu)範(fàn)例數(shù)學(xué)協(xié)同處理器快速計算浮點數(shù)的特殊晶片浮點數(shù)計算速度遠(yuǎn)比CPU快速I/O處理器：I/O運用一個專用的可程式處理器可高速處理外部I/O不影響CPU速度CPU會下載程式到I/O處理器I/O處理器負(fù)責(zé)一切的I/O細(xì)節(jié)24I/O處理器比如IBM大型主機運用一種稱為通道的可程式I/O處理器。CDC結(jié)構(gòu)運用週邊處理器簡稱PP來處理I/O動作。25多重處理器結(jié)構(gòu)的挑戰(zhàn)多重處理器結(jié)構(gòu)似乎比單一處理器結(jié)構(gòu)有更好的效能。不幸的是，有三個主要的挑戰(zhàn)：通訊協(xié)調(diào)競爭26通訊電腦的通訊機制：處理數(shù)目龐大的處理器之間的通訊負(fù)責(zé)處理器與其它元件之間的通訊有能夠呵斥通訊瓶頸。27協(xié)調(diào)協(xié)調(diào)機制讓平行結(jié)構(gòu)內(nèi)

8、部的處理器可以一同任務(wù)。非對稱設(shè)計要運用主處理器，負(fù)責(zé)協(xié)調(diào)一切程序。某些對稱設(shè)計可以運用主僕架構(gòu)或者分散式協(xié)調(diào)機制。 28競爭當(dāng)多個處理器同時存取一個資源時，稱為資源競爭。資源競爭會呵斥平行結(jié)構(gòu)相當(dāng)大的挑戰(zhàn)，隨著處理器數(shù)目的添加，相關(guān)的競爭也會跟著添加。29多重處理器的效能瓶頸在多重處理器環(huán)境下，最多只能有一個處理器執(zhí)行作業(yè)系統(tǒng)，其它處理器必須等待。記憶體競爭同時存取記憶體必須運用多埠記憶體多個處理器多個快取，能夠出現(xiàn)快取不一致的問題。I/O束縛從I/O設(shè)備取出資料，耗費時間。一味增強計算才干，也無法降低整體執(zhí)行時間。30速度提昇比定義速度提昇比=其中， 是單一處理器的執(zhí)行時間 則是多重處理器

9、的執(zhí)行時間理想情況：處理器數(shù)量與速度提昇呈現(xiàn)線性添加的現(xiàn)象。31理想和實際的速度提昇比32速度提昇比的結(jié)論以普通的計算而言，把更多的處理器參與多重處理器系統(tǒng)，反而能夠?qū)е滦碌念~外負(fù)荷，降低整體效能的表現(xiàn)。 33對程式設(shè)計師的影響 撰寫多重處理器的程式碼，當(dāng)然會比單一處理器的程式碼要複雜。34鎖定的需求假設(shè)雙處理器的環(huán)境下，運用一個共用變數(shù)x來儲存計數(shù)值，如下敘述：x = x + 1 翻譯成等效的機器指令，如下：35平行存取的問題假設(shè)有兩個處理器幾乎在同一時間都想遞增x，結(jié)果x數(shù)值能夠遞增1，而不是遞增2。 36硬體鎖定多重處理器運用硬體提供鎖定功能：將每一個共用變數(shù)參與一個鎖，確保其它處理器無

10、法再對這個變數(shù)進(jìn)行更改。比如：變數(shù)x運用17號鎖，程式設(shè)計師要對變數(shù)x進(jìn)行更新，必須先獲得17號鎖。一種互斥觀念。 37硬體鎖定範(fàn)例38平行電腦的規(guī)劃 隱性平行戰(zhàn)略會比顯性平行戰(zhàn)略更容易規(guī)劃相關(guān)的硬體會自動地複製一樣的程式顯性平行戰(zhàn)略程式設(shè)計師必須規(guī)劃每一個不同的硬體單元，啟動這些硬體。程式碼必須運用鎖，來預(yù)防干擾。39平行電腦的規(guī)劃重點站在程式設(shè)計的觀點來看，規(guī)劃顯性平行系統(tǒng)會比規(guī)劃隱形平行系統(tǒng)要來得複雜。40對稱和非對稱多重處理器的規(guī)劃 多重處理器會帶給程式設(shè)計師困擾。對稱多重處理器會比非對稱多重處理器更容易規(guī)劃程式，有四個主要的緣由：都是一樣的處理器，具有一樣的指令集。都是對稱的設(shè)計。都

11、操作在一樣的速度。程式或資料數(shù)值容易移植。41平行備份硬體 備份硬體類似平行硬體平行和備份硬體之間的差異在於：備份硬體會執(zhí)行一樣的運算動作，應(yīng)該會得到一樣的資料。平行硬體則執(zhí)行不同的運算動作，得到的結(jié)果與其它硬體不一定有關(guān)。備份硬體的重點在於：驗證計算的正確性。假設(shè)硬體錯誤，可運用備份硬體替代。42分散式電腦 緊密耦合結(jié)構(gòu)把一切的平行硬體單元都置放在一樣的電腦內(nèi)部寬鬆耦合結(jié)構(gòu)分散式結(jié)構(gòu)通常必須藉由電腦網(wǎng)路，來進(jìn)行與其它電腦的連繫，每一部電腦都可以獨立作業(yè)，進(jìn)行彼此之間的溝通。43叢集電腦分散式系統(tǒng)的特例就是網(wǎng)路叢集，或稱為叢集電腦。叢集問題最好經(jīng)得起分割，比如：假設(shè)叢集具有N部電腦，資料會被分割成N部分，每個部分會送到其中一部電腦獨立運算；等到一切電腦結(jié)束計算後，搜集這些結(jié)果，並且產(chǎn)生最後的輸出。44網(wǎng)格計算網(wǎng)格結(jié)構(gòu)把問題分割成多個小塊，運用網(wǎng)際網(wǎng)路傳送到各個電腦，每個電腦各自執(zhí)行，並傳回結(jié)果。網(wǎng)格計算常用於大型的科學(xué)應(yīng)用，有兩個緣由：網(wǎng)格可以降低科學(xué)應(yīng)用的執(zhí)行時間。矩陣容易切割成多個小塊，利於計算。45 結(jié)論 平行戰(zhàn)略是最正確化效能的根本技術(shù)顯性平行結(jié)構(gòu)可讓程式設(shè)計師控制平行才干隱性平行結(jié)構(gòu)會自動處理平行戰(zhàn)略普通的傳統(tǒng)