并行處理與體系結(jié)構(gòu)課件

并行處理與體系結(jié)構(gòu)聯(lián)系方式：綜合樓605房間電話：并行處理與體系結(jié)構(gòu)聯(lián)系方式：綜合樓605房間課程背景并行處理技術(shù)已經(jīng)成為現(xiàn)代計(jì)算機(jī)科研與發(fā)展的關(guān)鍵技術(shù)；其推動(dòng)力來(lái)自實(shí)際應(yīng)用對(duì)高性能、低價(jià)格和持續(xù)生產(chǎn)力日益增長(zhǎng)的要求課程背景并行處理技術(shù)已經(jīng)成為現(xiàn)代計(jì)算機(jī)科研與發(fā)展的關(guān)鍵技術(shù)；計(jì)算機(jī)原理的概念計(jì)算機(jī)體系結(jié)構(gòu)的概念(Amdahl)；計(jì)算機(jī)原理的概念并行主要研究：先行方式、流水方式、向量化；并發(fā)性、同時(shí)性；數(shù)據(jù)并行性、劃分；交叉、重疊、多重性、重復(fù)；時(shí)間共享、空間共享；多任務(wù)處理、多道程序、多線程方式和分布式計(jì)算?！⑿兄饕芯浚旱谝徽虏⑿杏?jì)算機(jī)模型1計(jì)算技術(shù)的現(xiàn)狀2多處理機(jī)和多計(jì)算機(jī)3多向量機(jī)和SIMD計(jì)算機(jī)4并行計(jì)算機(jī)的抽象模型5可擴(kuò)展的范圍和設(shè)計(jì)第一章并行計(jì)算機(jī)模型1計(jì)算技術(shù)的現(xiàn)狀1計(jì)算技術(shù)的現(xiàn)狀一、并行技術(shù)的出現(xiàn)1計(jì)算技術(shù)的現(xiàn)狀一、并行技術(shù)的出現(xiàn)并行處理與體系結(jié)構(gòu)課件第六代：超標(biāo)量，超流水線，超長(zhǎng)指令字？第七代：CMP（chipmultiprocessor），KunleOlukotun博士，斯坦福大學(xué)計(jì)算機(jī)系教授，第一片CMP的設(shè)計(jì)者，推動(dòng)了片上多處理器的研究熱潮。第六代：超標(biāo)量，超流水線，超長(zhǎng)指令字？二、現(xiàn)代并行計(jì)算機(jī)的組成二、現(xiàn)代并行計(jì)算機(jī)的組成涉及6個(gè)問(wèn)題：1.計(jì)算問(wèn)題

現(xiàn)實(shí)生活中對(duì)問(wèn)題要求快速而精確地求解推動(dòng)了計(jì)算機(jī)的廣泛使用?？茖W(xué)技術(shù)中的數(shù)值計(jì)算問(wèn)題人工智能(AI)問(wèn)題事務(wù)處理涉及6個(gè)問(wèn)題：2.算法和數(shù)據(jù)結(jié)構(gòu)并行計(jì)算問(wèn)題中的運(yùn)算和通信，需要各種專門的算法和數(shù)據(jù)結(jié)構(gòu)。符號(hào)處理科學(xué)計(jì)算存在的問(wèn)題?2.算法和數(shù)據(jù)結(jié)構(gòu)3.硬件資源處理機(jī)、存儲(chǔ)器和外圍設(shè)備組成了計(jì)算機(jī)系統(tǒng)的硬件核心外圍設(shè)備可以直接或通過(guò)局域網(wǎng)和廣域網(wǎng)與主機(jī)相連3.硬件資源4.操作系統(tǒng)管理用戶程序執(zhí)行過(guò)程中的資源分配和再分配。映射是一種算法結(jié)構(gòu)與硬件結(jié)構(gòu)相匹配的雙向過(guò)程。并行操作系統(tǒng)的映射算法和數(shù)據(jù)結(jié)構(gòu)到機(jī)器結(jié)構(gòu)的映射包括處理機(jī)調(diào)度、存儲(chǔ)器映象、處理器間的通信等。這些問(wèn)題通常都與系統(tǒng)結(jié)構(gòu)有關(guān)。4.操作系統(tǒng)5.系統(tǒng)軟件支持

存在的問(wèn)題：不能以通用和可移植方式進(jìn)行并行程序設(shè)計(jì)開發(fā)并行編程環(huán)境：一種與系統(tǒng)結(jié)構(gòu)無(wú)關(guān)的語(yǔ)言、編譯器和軟件工具。5.系統(tǒng)軟件支持兩個(gè)方向：對(duì)于開發(fā)并行語(yǔ)言，將著眼點(diǎn)放在語(yǔ)言執(zhí)行的效率、對(duì)不同機(jī)器的可移植性、與現(xiàn)有的順序語(yǔ)言的兼容性、并行性的表達(dá)和編程的簡(jiǎn)便性等上面。可以設(shè)計(jì)一種新的語(yǔ)言，逐步擴(kuò)展現(xiàn)有的順序語(yǔ)言。新語(yǔ)言有用顯式高級(jí)結(jié)構(gòu)描述并行性的優(yōu)點(diǎn)，但是新語(yǔ)言往往與現(xiàn)有語(yǔ)言不兼容，而需要新的編譯器或者通過(guò)新的步驟才能利用現(xiàn)有的編譯器。大部分系統(tǒng)選用的是語(yǔ)言擴(kuò)展方式。兩個(gè)方向：6.編譯器支持

改進(jìn)編譯器有三種途徑：預(yù)處理程序;預(yù)編譯器;并行化編譯器。6.編譯器支持預(yù)處理程序采用順序編譯器和目標(biāo)計(jì)算機(jī)的低層程序庫(kù)實(shí)現(xiàn)高級(jí)并行結(jié)構(gòu)。預(yù)編譯器需要程序流分析、相關(guān)性檢查和有限的優(yōu)化來(lái)檢測(cè)并行性。聯(lián)接過(guò)程效果取決于預(yù)處理程序、預(yù)編譯器、并行化編譯器、加載程序和操作系統(tǒng)支持的功效。由于程序行為的不可預(yù)測(cè)，現(xiàn)有的編譯器在檢測(cè)所有類型的并行性時(shí)都不是完全自動(dòng)或完全智能進(jìn)行的。存在一些有效的方法：將編譯器命令插入源代碼，幫編譯器做出較好的結(jié)果。這樣，用戶可與編譯器進(jìn)行交互重構(gòu)程序，這已被證明對(duì)提高并行計(jì)算機(jī)性能是十分有用的。預(yù)處理程序采用順序編譯器和目標(biāo)計(jì)算機(jī)的低層程序庫(kù)實(shí)現(xiàn)高級(jí)并行7.并行程序的設(shè)計(jì)環(huán)境

隱式并行性伊利諾依大學(xué)的DavidKuck和Rice大學(xué)的KenKennedy以及他們的合作者都已采用這種隱式并行性方法。顯式并行性加州理工學(xué)院的CharlesSeitz和麻省理工學(xué)院的WilliamDaily在開發(fā)多計(jì)算機(jī)時(shí)采用了這種顯式方法。7.并行程序的設(shè)計(jì)環(huán)境并行處理與體系結(jié)構(gòu)課件總結(jié)：要使一個(gè)環(huán)境對(duì)用戶更加友好，必須要有專用軟件工具。一些工具是傳統(tǒng)高級(jí)語(yǔ)言的并行擴(kuò)展；一些則是集成環(huán)境其中包括提供不同級(jí)別的程序抽象、驗(yàn)證、測(cè)試、查錯(cuò)和調(diào)試等各種工具；性能預(yù)測(cè)和監(jiān)控；輔助程序開發(fā)的可視化支持、性能測(cè)量以及計(jì)算結(jié)果的圖形顯示及動(dòng)畫表示總結(jié)：三、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)向高性能發(fā)展歷程主要探討順序到并行的過(guò)程三、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)向高性能發(fā)展歷程主要探討順序到并行的過(guò)程并行處理與體系結(jié)構(gòu)課件1.先行、并行性和流水線技術(shù)用先行技術(shù)預(yù)取指令可使I／E(指令讀?。g碼和執(zhí)行)支持功能并行性的方法有兩種：一種是同時(shí)使用多個(gè)功能部件；另一種是在不同處理級(jí)分別實(shí)施流水線技術(shù)。流水線指令執(zhí)行、流水線算術(shù)計(jì)算和存儲(chǔ)器存取操作。1.先行、并行性和流水線技術(shù)2.Flynn分類法MkhealFlynn(1972)根據(jù)指令和數(shù)據(jù)流概念提出了不同計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的分類法。2.Flynn分類法并行處理與體系結(jié)構(gòu)課件傳統(tǒng)的順序機(jī)被稱為SISD(單指令流單數(shù)據(jù)流)計(jì)算機(jī)。向量計(jì)算機(jī)--標(biāo)量和向量硬件裝備，或以SIMD(單指令流多數(shù)據(jù)流)機(jī)的形式出現(xiàn)。并行計(jì)算機(jī)則屬M(fèi)IMD(多指令流多數(shù)據(jù)流)機(jī)傳統(tǒng)的順序機(jī)被稱為SISD(單指令流單數(shù)據(jù)流)計(jì)算機(jī)。MISD(多指令流單數(shù)據(jù)流)機(jī)在執(zhí)行不同的指令流時(shí)，同一數(shù)據(jù)流通過(guò)處理機(jī)線性陣列。這種系統(tǒng)結(jié)構(gòu)也就是所謂流水線執(zhí)行特定算法的脈動(dòng)陣列(Systolicarrays)。由卡內(nèi)基—梅隆大學(xué)的美籍華人學(xué)者H．T．Kung于1978年提出的。這一結(jié)構(gòu)是隨著VLSI技術(shù)的發(fā)展和各種大運(yùn)算量的信號(hào)/圖象處理及科學(xué)計(jì)算的運(yùn)算要求而建立起來(lái)的。MISD(多指令流單數(shù)據(jù)流)機(jī)脈動(dòng)陣列的特點(diǎn)：處理單元簡(jiǎn)單流水算法專業(yè)脈動(dòng)陣列的特點(diǎn)：例：數(shù)據(jù)流計(jì)算機(jī)數(shù)據(jù)流的計(jì)算模型--試圖使并行計(jì)算的基本方面在機(jī)器層顯式化，而不利用有可能限制程序并行性的人為約束。它的想法是程序由一個(gè)基本數(shù)據(jù)依賴圖來(lái)表示；一個(gè)指令可能在獲得了它的操作數(shù)后的任意時(shí)刻被執(zhí)行，不是顯式控制線性程序列的固定組合。例：數(shù)據(jù)流計(jì)算機(jī)并行處理與體系結(jié)構(gòu)課件3.并行／向量計(jì)算機(jī)

真正的并行計(jì)算機(jī)是那些以MIMD模式執(zhí)行程序的計(jì)算機(jī)。并行計(jì)算機(jī)有兩大類，即共享存儲(chǔ)型多處理機(jī)和消息傳遞型多計(jì)算機(jī)。多處理機(jī)和多計(jì)算機(jī)之間的主要差別就在于存儲(chǔ)器共享和處理機(jī)間通信機(jī)制的不同。多處理機(jī)系統(tǒng)中的處理機(jī)通過(guò)公用存儲(chǔ)器的共享變量實(shí)現(xiàn)互相通信。多計(jì)算機(jī)系統(tǒng)的每個(gè)計(jì)算機(jī)結(jié)點(diǎn)有一個(gè)與其它結(jié)點(diǎn)不共享的本地存儲(chǔ)器。處理機(jī)之間的通信通過(guò)結(jié)點(diǎn)間的消息傳遞來(lái)實(shí)現(xiàn)。3.并行／向量計(jì)算機(jī)顯式向量計(jì)算機(jī)指令是隨向量處理機(jī)的問(wèn)世而出現(xiàn)的。一臺(tái)向量處理機(jī)可以裝備有用硬件或固件并發(fā)控制的多條向量流水線。顯式向量計(jì)算機(jī)4.開發(fā)層次

LionelNi的最新分類法(1990)，并行計(jì)算機(jī)的分層開發(fā)可表示于下圖4.開發(fā)層次并行處理與體系結(jié)構(gòu)課件四、性能的系統(tǒng)屬性1

.時(shí)鐘頻率和CPI

主頻當(dāng)前數(shù)字計(jì)算機(jī)的CPU(或簡(jiǎn)稱處理機(jī))是由一個(gè)恒定周期(τ，以ns表示)的時(shí)鐘驅(qū)動(dòng)的。周期的倒數(shù)是時(shí)鐘頻率(ｆ＝1/

τ）（以MHz表示）。四、性能的系統(tǒng)屬性1.時(shí)鐘頻率和CPI程序的規(guī)模是由其指令數(shù)(Ic)，也就是程序串要執(zhí)行的機(jī)器指令數(shù)來(lái)決定的。執(zhí)行不同的機(jī)器指令所需要的時(shí)鐘周期數(shù)也是不一樣的。一條指令的周期數(shù)(CPl)就成為衡量執(zhí)行每條指令所需時(shí)間的重要參數(shù)。程序的規(guī)模2.性能因子執(zhí)行程序所需的CPU時(shí)間：設(shè)Ic為已知程序的指令條數(shù)。執(zhí)行程序所需的CPU時(shí)間(T，以秒/程序表示)可用三個(gè)主要因素的乘積來(lái)計(jì)算：

T＝Ic

×CPI×τ2.性能因子可將上式重寫成如下形式：

T＝Ic

×(p+m×k)×τ

一種指令類型的CPI可分為完成指令所需的處理機(jī)周期數(shù)和存儲(chǔ)器周期數(shù)兩部分。完整的指令執(zhí)行過(guò)程可能包含一至四次存儲(chǔ)器訪問(wèn)(一次用于取指令，兩次用于取操作數(shù)，一次用于存儲(chǔ)結(jié)果)，這與指令的類型有關(guān)?？蓪⑸鲜街貙懗扇缦滦问剑菏街械募?xì)化：p為指令譯碼和執(zhí)行所需的處理機(jī)周期數(shù);m為所需的存儲(chǔ)器訪問(wèn)次數(shù);k為存儲(chǔ)周期與處理機(jī)周期之比;Ic為指令條數(shù)，為處理機(jī)周期。式中的細(xì)化：3.系統(tǒng)屬性計(jì)算機(jī)系統(tǒng)屬性可以由五元組表示：(Ic，p，m，k，τ),五個(gè)量可以稱為性能因子。與四種系統(tǒng)屬性有關(guān)：指令系統(tǒng)結(jié)構(gòu)、編譯技術(shù)、CPU實(shí)現(xiàn)和控制技術(shù)、高速緩存與存儲(chǔ)器層次結(jié)構(gòu)。3.系統(tǒng)屬性并行處理與體系結(jié)構(gòu)課件推廣---并行系統(tǒng)的性能屬性機(jī)器規(guī)模n—處理機(jī)個(gè)數(shù)時(shí)鐘速率f工作負(fù)載W--程序中的計(jì)算操作數(shù)順序執(zhí)行時(shí)間T1并行執(zhí)行時(shí)間Tn速度Pn=W/Tn加速比Sn=T1/Tn效率En=Sn/n利用率Un=Pn/n(Ppeak)啟動(dòng)時(shí)間t0漸進(jìn)帶寬r∞推廣---并行系統(tǒng)的性能屬性4.Mips速率(其中C是總的周期數(shù))4.Mips速率(其中C是總的周期數(shù))5.吞吐率系統(tǒng)的吞吐率:系統(tǒng)在單位時(shí)間內(nèi)能執(zhí)行多少個(gè)程序，這稱為系統(tǒng)的吞吐率(單位為程序數(shù)／秒)Ws

。5.吞吐率在多道程序系統(tǒng)中，系統(tǒng)吞吐率常低于CPU吞吐率Wp。Wp可用下式表示：

或：Wp=(MIPS)×106／Ic

Wp的單位是程序數(shù)／秒。在多道程序系統(tǒng)中，系統(tǒng)吞吐率常低于CPU吞吐率Wp。Wp可用CPU吞吐率是根據(jù)MIPS速率和程序的平均長(zhǎng)度(Ic)來(lái)衡量機(jī)器每秒鐘能執(zhí)行多少個(gè)程序的尺度。Ws<Wp，用多道程序或分時(shí)操作在CPU上交叉執(zhí)行多個(gè)程序時(shí)，I／O、編譯器和操作系統(tǒng)產(chǎn)生的額外系統(tǒng)開銷所造成的。CPU吞吐率是根據(jù)MIPS速率和程序的平均長(zhǎng)度(Ic)來(lái)衡量總結(jié)：并行的產(chǎn)生并行背景下的計(jì)算問(wèn)題串行向并行的演化并行的性能與系統(tǒng)的關(guān)系總結(jié)：并行處理與體系結(jié)構(gòu)聯(lián)系方式：綜合樓605房間電話：并行處理與體系結(jié)構(gòu)聯(lián)系方式：綜合樓605房間課程背景并行處理技術(shù)已經(jīng)成為現(xiàn)代計(jì)算機(jī)科研與發(fā)展的關(guān)鍵技術(shù)；其推動(dòng)力來(lái)自實(shí)際應(yīng)用對(duì)高性能、低價(jià)格和持續(xù)生產(chǎn)力日益增長(zhǎng)的要求課程背景并行處理技術(shù)已經(jīng)成為現(xiàn)代計(jì)算機(jī)科研與發(fā)展的關(guān)鍵技術(shù)；計(jì)算機(jī)原理的概念計(jì)算機(jī)體系結(jié)構(gòu)的概念(Amdahl)；計(jì)算機(jī)原理的概念并行主要研究：先行方式、流水方式、向量化；并發(fā)性、同時(shí)性；數(shù)據(jù)并行性、劃分；交叉、重疊、多重性、重復(fù)；時(shí)間共享、空間共享；多任務(wù)處理、多道程序、多線程方式和分布式計(jì)算?！⑿兄饕芯浚旱谝徽虏⑿杏?jì)算機(jī)模型1計(jì)算技術(shù)的現(xiàn)狀2多處理機(jī)和多計(jì)算機(jī)3多向量機(jī)和SIMD計(jì)算機(jī)4并行計(jì)算機(jī)的抽象模型5可擴(kuò)展的范圍和設(shè)計(jì)第一章并行計(jì)算機(jī)模型1計(jì)算技術(shù)的現(xiàn)狀1計(jì)算技術(shù)的現(xiàn)狀一、并行技術(shù)的出現(xiàn)1計(jì)算技術(shù)的現(xiàn)狀一、并行技術(shù)的出現(xiàn)并行處理與體系結(jié)構(gòu)課件第六代：超標(biāo)量，超流水線，超長(zhǎng)指令字？第七代：CMP（chipmultiprocessor），KunleOlukotun博士，斯坦福大學(xué)計(jì)算機(jī)系教授，第一片CMP的設(shè)計(jì)者，推動(dòng)了片上多處理器的研究熱潮。第六代：超標(biāo)量，超流水線，超長(zhǎng)指令字？二、現(xiàn)代并行計(jì)算機(jī)的組成二、現(xiàn)代并行計(jì)算機(jī)的組成涉及6個(gè)問(wèn)題：1.計(jì)算問(wèn)題

現(xiàn)實(shí)生活中對(duì)問(wèn)題要求快速而精確地求解推動(dòng)了計(jì)算機(jī)的廣泛使用?？茖W(xué)技術(shù)中的數(shù)值計(jì)算問(wèn)題人工智能(AI)問(wèn)題事務(wù)處理涉及6個(gè)問(wèn)題：2.算法和數(shù)據(jù)結(jié)構(gòu)并行計(jì)算問(wèn)題中的運(yùn)算和通信，需要各種專門的算法和數(shù)據(jù)結(jié)構(gòu)。符號(hào)處理科學(xué)計(jì)算存在的問(wèn)題?2.算法和數(shù)據(jù)結(jié)構(gòu)3.硬件資源處理機(jī)、存儲(chǔ)器和外圍設(shè)備組成了計(jì)算機(jī)系統(tǒng)的硬件核心外圍設(shè)備可以直接或通過(guò)局域網(wǎng)和廣域網(wǎng)與主機(jī)相連3.硬件資源4.操作系統(tǒng)管理用戶程序執(zhí)行過(guò)程中的資源分配和再分配。映射是一種算法結(jié)構(gòu)與硬件結(jié)構(gòu)相匹配的雙向過(guò)程。并行操作系統(tǒng)的映射算法和數(shù)據(jù)結(jié)構(gòu)到機(jī)器結(jié)構(gòu)的映射包括處理機(jī)調(diào)度、存儲(chǔ)器映象、處理器間的通信等。這些問(wèn)題通常都與系統(tǒng)結(jié)構(gòu)有關(guān)。4.操作系統(tǒng)5.系統(tǒng)軟件支持

存在的問(wèn)題：不能以通用和可移植方式進(jìn)行并行程序設(shè)計(jì)開發(fā)并行編程環(huán)境：一種與系統(tǒng)結(jié)構(gòu)無(wú)關(guān)的語(yǔ)言、編譯器和軟件工具。5.系統(tǒng)軟件支持兩個(gè)方向：對(duì)于開發(fā)并行語(yǔ)言，將著眼點(diǎn)放在語(yǔ)言執(zhí)行的效率、對(duì)不同機(jī)器的可移植性、與現(xiàn)有的順序語(yǔ)言的兼容性、并行性的表達(dá)和編程的簡(jiǎn)便性等上面。可以設(shè)計(jì)一種新的語(yǔ)言，逐步擴(kuò)展現(xiàn)有的順序語(yǔ)言。新語(yǔ)言有用顯式高級(jí)結(jié)構(gòu)描述并行性的優(yōu)點(diǎn)，但是新語(yǔ)言往往與現(xiàn)有語(yǔ)言不兼容，而需要新的編譯器或者通過(guò)新的步驟才能利用現(xiàn)有的編譯器。大部分系統(tǒng)選用的是語(yǔ)言擴(kuò)展方式。兩個(gè)方向：6.編譯器支持

改進(jìn)編譯器有三種途徑：預(yù)處理程序;預(yù)編譯器;并行化編譯器。6.編譯器支持預(yù)處理程序采用順序編譯器和目標(biāo)計(jì)算機(jī)的低層程序庫(kù)實(shí)現(xiàn)高級(jí)并行結(jié)構(gòu)。預(yù)編譯器需要程序流分析、相關(guān)性檢查和有限的優(yōu)化來(lái)檢測(cè)并行性。聯(lián)接過(guò)程效果取決于預(yù)處理程序、預(yù)編譯器、并行化編譯器、加載程序和操作系統(tǒng)支持的功效。由于程序行為的不可預(yù)測(cè)，現(xiàn)有的編譯器在檢測(cè)所有類型的并行性時(shí)都不是完全自動(dòng)或完全智能進(jìn)行的。存在一些有效的方法：將編譯器命令插入源代碼，幫編譯器做出較好的結(jié)果。這樣，用戶可與編譯器進(jìn)行交互重構(gòu)程序，這已被證明對(duì)提高并行計(jì)算機(jī)性能是十分有用的。預(yù)處理程序采用順序編譯器和目標(biāo)計(jì)算機(jī)的低層程序庫(kù)實(shí)現(xiàn)高級(jí)并行7.并行程序的設(shè)計(jì)環(huán)境

隱式并行性伊利諾依大學(xué)的DavidKuck和Rice大學(xué)的KenKennedy以及他們的合作者都已采用這種隱式并行性方法。顯式并行性加州理工學(xué)院的CharlesSeitz和麻省理工學(xué)院的WilliamDaily在開發(fā)多計(jì)算機(jī)時(shí)采用了這種顯式方法。7.并行程序的設(shè)計(jì)環(huán)境并行處理與體系結(jié)構(gòu)課件總結(jié)：要使一個(gè)環(huán)境對(duì)用戶更加友好，必須要有專用軟件工具。一些工具是傳統(tǒng)高級(jí)語(yǔ)言的并行擴(kuò)展；一些則是集成環(huán)境其中包括提供不同級(jí)別的程序抽象、驗(yàn)證、測(cè)試、查錯(cuò)和調(diào)試等各種工具；性能預(yù)測(cè)和監(jiān)控；輔助程序開發(fā)的可視化支持、性能測(cè)量以及計(jì)算結(jié)果的圖形顯示及動(dòng)畫表示總結(jié)：三、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)向高性能發(fā)展歷程主要探討順序到并行的過(guò)程三、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)向高性能發(fā)展歷程主要探討順序到并行的過(guò)程并行處理與體系結(jié)構(gòu)課件1.先行、并行性和流水線技術(shù)用先行技術(shù)預(yù)取指令可使I／E(指令讀取／譯碼和執(zhí)行)支持功能并行性的方法有兩種：一種是同時(shí)使用多個(gè)功能部件；另一種是在不同處理級(jí)分別實(shí)施流水線技術(shù)。流水線指令執(zhí)行、流水線算術(shù)計(jì)算和存儲(chǔ)器存取操作。1.先行、并行性和流水線技術(shù)2.Flynn分類法MkhealFlynn(1972)根據(jù)指令和數(shù)據(jù)流概念提出了不同計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的分類法。2.Flynn分類法并行處理與體系結(jié)構(gòu)課件傳統(tǒng)的順序機(jī)被稱為SISD(單指令流單數(shù)據(jù)流)計(jì)算機(jī)。向量計(jì)算機(jī)--標(biāo)量和向量硬件裝備，或以SIMD(單指令流多數(shù)據(jù)流)機(jī)的形式出現(xiàn)。并行計(jì)算機(jī)則屬M(fèi)IMD(多指令流多數(shù)據(jù)流)機(jī)傳統(tǒng)的順序機(jī)被稱為SISD(單指令流單數(shù)據(jù)流)計(jì)算機(jī)。MISD(多指令流單數(shù)據(jù)流)機(jī)在執(zhí)行不同的指令流時(shí)，同一數(shù)據(jù)流通過(guò)處理機(jī)線性陣列。這種系統(tǒng)結(jié)構(gòu)也就是所謂流水線執(zhí)行特定算法的脈動(dòng)陣列(Systolicarrays)。由卡內(nèi)基—梅隆大學(xué)的美籍華人學(xué)者H．T．Kung于1978年提出的。這一結(jié)構(gòu)是隨著VLSI技術(shù)的發(fā)展和各種大運(yùn)算量的信號(hào)/圖象處理及科學(xué)計(jì)算的運(yùn)算要求而建立起來(lái)的。MISD(多指令流單數(shù)據(jù)流)機(jī)脈動(dòng)陣列的特點(diǎn)：處理單元簡(jiǎn)單流水算法專業(yè)脈動(dòng)陣列的特點(diǎn)：例：數(shù)據(jù)流計(jì)算機(jī)數(shù)據(jù)流的計(jì)算模型--試圖使并行計(jì)算的基本方面在機(jī)器層顯式化，而不利用有可能限制程序并行性的人為約束。它的想法是程序由一個(gè)基本數(shù)據(jù)依賴圖來(lái)表示；一個(gè)指令可能在獲得了它的操作數(shù)后的任意時(shí)刻被執(zhí)行，不是顯式控制線性程序列的固定組合。例：數(shù)據(jù)流計(jì)算機(jī)并行處理與體系結(jié)構(gòu)課件3.并行／向量計(jì)算機(jī)

真正的并行計(jì)算機(jī)是那些以MIMD模式執(zhí)行程序的計(jì)算機(jī)。并行計(jì)算機(jī)有兩大類，即共享存儲(chǔ)型多處理機(jī)和消息傳遞型多計(jì)算機(jī)。多處理機(jī)和多計(jì)算機(jī)之間的主要差別就在于存儲(chǔ)器共享和處理機(jī)間通信機(jī)制的不同。多處理機(jī)系統(tǒng)中的處理機(jī)通過(guò)公用存儲(chǔ)器的共享變量實(shí)現(xiàn)互相通信。多計(jì)算機(jī)系統(tǒng)的每個(gè)計(jì)算機(jī)結(jié)點(diǎn)有一個(gè)與其它結(jié)點(diǎn)不共享的本地存儲(chǔ)器。處理機(jī)之間的通信通過(guò)結(jié)點(diǎn)間的消息傳遞來(lái)實(shí)現(xiàn)。3.并行／向量計(jì)算機(jī)顯式向量計(jì)算機(jī)指令是隨向量處理機(jī)的問(wèn)世而出現(xiàn)的。一臺(tái)向量處理機(jī)可以裝備有用硬件或固件并發(fā)控制的多條向量流水線。顯式向量計(jì)算機(jī)4.開發(fā)層次

LionelNi的最新分類法(1990)，并行計(jì)算機(jī)的分層開發(fā)可表示于下圖4.開發(fā)層次并行處理與體系結(jié)構(gòu)課件四、性能的系統(tǒng)屬性1

.時(shí)鐘頻率和CPI

主頻當(dāng)前數(shù)字計(jì)算機(jī)的CPU(或簡(jiǎn)稱處理機(jī))是由一個(gè)恒定周期(τ，以ns表示)的時(shí)鐘驅(qū)動(dòng)的。周期的倒數(shù)是時(shí)鐘頻率(ｆ＝1/

τ）（以MHz表示）。四、性能的系統(tǒng)屬性1.時(shí)鐘頻率和CPI程序的規(guī)模是由其指令數(shù)(Ic)，也就是程序串要執(zhí)行的機(jī)器指令數(shù)來(lái)決定的。執(zhí)行不同的機(jī)器指令所需要的時(shí)鐘周期數(shù)也是不一樣的。一條指令的周期數(shù)(CPl)就成為衡量執(zhí)行每條指令所需時(shí)間的重要參數(shù)。程序的規(guī)模2.性能因子執(zhí)行程序所需的CPU時(shí)間：設(shè)Ic為已知程序的指令條數(shù)。執(zhí)行程序所需的CPU時(shí)間(T，以秒/程序表示)可用三個(gè)主要因素的乘積來(lái)計(jì)算：

T＝Ic

×CPI×τ2.性能因子可將上式重寫成如下形式：

T＝Ic

×(p+m×k)×τ

一種指令類型的CPI可分為完成指令所需的處理機(jī)周期數(shù)和存儲(chǔ)器周期數(shù)兩部分。完整的指令執(zhí)行過(guò)程可能包含一至四次存儲(chǔ)器訪問(wèn)(一次用于取指令，兩次用于取操作數(shù)，一次用于存儲(chǔ)結(jié)果)，這與指令的類型有關(guān)?？蓪⑸鲜街貙懗扇缦滦问剑?/p>