本科系統(tǒng)結(jié)構(gòu)課件 chapter1-5

§5并發(fā)性發(fā)展及計(jì)算機(jī)系統(tǒng)的分類并行性概念

計(jì)算機(jī)系統(tǒng)的并行性發(fā)展

并行處理系統(tǒng)的結(jié)構(gòu)與多機(jī)系統(tǒng)的耦合度

計(jì)算機(jī)系統(tǒng)的分類

并行性概念

只要在同一時(shí)刻或是在同一時(shí)間間隔內(nèi)完成兩種或兩種以上性質(zhì)相同或不同的工作，它們在時(shí)間上能互相重疊。

同時(shí)性（Simultaneity）：兩個(gè)或多個(gè)事件在同一時(shí)刻發(fā)生。并發(fā)性（Concurrency）：兩個(gè)或多個(gè)事件在同一時(shí)間間隔內(nèi)發(fā)生。

從計(jì)算機(jī)系統(tǒng)中執(zhí)行程序角度來看

指令內(nèi)部

指令之間任務(wù)或進(jìn)程之間作業(yè)或進(jìn)程之間

從處理數(shù)據(jù)的并行性來看

位串字串位并字串位片串字并全并行存儲器操作并行處理器操作步驟并行處理器操作并行指令、任務(wù)、作業(yè)并行

并行性開發(fā)途徑

時(shí)間重疊（TimeInterleaving）是在并行性概念中引入時(shí)間因素，讓多個(gè)處理過程在時(shí)間上相互錯(cuò)開，輪流重疊地使用同一套硬件設(shè)備的各個(gè)部分，以加快硬件周轉(zhuǎn)而贏得速度。舉例：流水線分離、細(xì)化功能部件→流水線→功能不同的多機(jī)系統(tǒng)→異構(gòu)型多處理機(jī)系統(tǒng)指令流水線舉例取指分析執(zhí)行kK+1kkK+1K+1K+2K+2K+2部件分析取指執(zhí)行時(shí)間并行性開發(fā)途徑（續(xù)）資源重復(fù)（ResourceReplication）：是在并行性概念中引入空間因素，通過重復(fù)設(shè)置硬件資源來提高可靠性或性能。多操作部件和多體存儲器→相聯(lián)、并行處理機(jī)→同構(gòu)型多處理機(jī)系統(tǒng)CUPE(0)PE(1)PE(N-1)資源重復(fù)的例子并行性開發(fā)途徑（續(xù)）資源共享（ResourceSharing）：是利用軟件的方法讓多個(gè)用戶按一定時(shí)間順序輪流地使用同一套資源，以提高其利用率，這樣也可以提高整個(gè)系統(tǒng)的性能。網(wǎng)絡(luò)打印機(jī)多道程序、分時(shí)OS→真正的處理機(jī)代替虛擬機(jī)→分布處理系統(tǒng)計(jì)算機(jī)系統(tǒng)的并行性發(fā)展

1960年以前

算術(shù)運(yùn)算的位運(yùn)算（EDSAC、EDVAC、UNIVAC1）輸入輸出間操作的并行直接存儲器訪問（DMA）IBM709系列1960年至1970年流水線單處理機(jī)多功能部件流水線高速緩沖存儲器Cache計(jì)算機(jī)系統(tǒng)的并行性發(fā)展(續(xù)）1970年至1980年多種并行處理系統(tǒng)結(jié)構(gòu)，例：向量、陣列、相聯(lián)等1980年至1990年RISC、多處理機(jī)、數(shù)據(jù)流機(jī)、智能機(jī)1990年以來MPP:MassivelyParallelProcessor大規(guī)模并行處理機(jī)SMP:SymmetricMultiprocessor對稱多處理機(jī)Cluster:機(jī)群、集群坐落于LawrenceLivermore國家實(shí)驗(yàn)室的ASCIWhiteFUJITSUVPP5000IBMp69032x1.7GHzPower4+,217GFlops128GB內(nèi)存，205GB/S內(nèi)存帶寬3xI/O抽屜，60xPCI-X，18GB/SI/O子系統(tǒng)帶寬42x146.8GBUltraSCSI3磁盤，1920MB/S磁盤接口帶寬（stripping）2xGigabitEthernet接口IBMLangchaoTERASCOPEServer10000系統(tǒng)總節(jié)點(diǎn)數(shù)量100個(gè)每節(jié)點(diǎn)2×2.8G處理器，2G內(nèi)存96個(gè)計(jì)算節(jié)點(diǎn)，1個(gè)服務(wù)節(jié)點(diǎn)，3個(gè)存儲節(jié)點(diǎn)系統(tǒng)的峰值計(jì)算能力1.0752Tflops采用Infiniband高性能互聯(lián)網(wǎng)絡(luò)帶寬3.3Gbps-10Gbps，MPI帶寬:單向>800MB/s延遲<7us并行處理計(jì)算機(jī)的結(jié)構(gòu)

流水線計(jì)算機(jī)（時(shí)間重疊）

陣列處理機(jī)（資源重復(fù)）多處理機(jī)系統(tǒng)（資源共享）數(shù)據(jù)流計(jì)算機(jī)

流水線計(jì)算機(jī)、陣列處理機(jī)和多處理機(jī)流水線計(jì)算機(jī)：主要通過時(shí)間重疊，讓多個(gè)部件在時(shí)間上交錯(cuò)重疊地并行執(zhí)行運(yùn)算和處理，以實(shí)現(xiàn)時(shí)間上的并行。陣列處理機(jī)：主要通過資源重復(fù)，設(shè)置大量算術(shù)邏輯單元，在同一控制部件作用下同時(shí)運(yùn)算和處理，以實(shí)現(xiàn)空間上的并行。多處理機(jī)系統(tǒng)：主要通過資源共享，讓共享輸入/輸出子系統(tǒng)、數(shù)據(jù)庫資源及共享或不共享貯存的一組處理機(jī)在統(tǒng)一的操作系統(tǒng)全盤控制下，實(shí)現(xiàn)軟件和硬件各級上相互作用，達(dá)到時(shí)間和空間上的異步并行。多機(jī)系統(tǒng)指的是多處理機(jī)系統(tǒng)和多計(jì)算機(jī)系統(tǒng)

多處理機(jī)系統(tǒng)：是由多臺處理機(jī)組成的單一計(jì)算機(jī)系統(tǒng)，各處理機(jī)都可有自己的控制部件，可帶自己的局部存儲器，能執(zhí)行各自的程序。多計(jì)算機(jī)系統(tǒng)：是由多臺獨(dú)立的計(jì)算機(jī)組成的系統(tǒng)，各計(jì)算機(jī)分別在邏輯上獨(dú)立的操作系統(tǒng)控制下運(yùn)行，機(jī)間可以互不通信，即使通信也只是經(jīng)通道或通信線路以文件或數(shù)據(jù)集形式進(jìn)行，實(shí)現(xiàn)多個(gè)作業(yè)的并行。

多機(jī)系統(tǒng)的耦合度

為了反映多機(jī)系統(tǒng)中各級器之間物理連接的緊密程度和交叉作用能力的強(qiáng)弱。最低耦合系統(tǒng)（LeastCoupledSystem）：各種脫機(jī)系統(tǒng)

松散耦和系統(tǒng)（LooselyCoupledSystem）：如果多臺計(jì)算機(jī)通過通道或通信線路實(shí)現(xiàn)互連，共享某些磁帶、磁盤等外圍設(shè)備，以較低頻帶在文件或數(shù)據(jù)集一級相互作用。間接耦合系統(tǒng)緊密耦合系統(tǒng)（TightlyCoupledSystem）：如果多臺機(jī)器之間通過總線或高速開關(guān)互連，共享主存，并有較高的信息傳輸速度，可以實(shí)現(xiàn)數(shù)據(jù)集一級、任務(wù)級、作業(yè)級的并行。直接耦合系統(tǒng)

名次解釋UMA:UniformMemoryAccess均勻存儲訪問NUMA:NouniformMemoryAccess非均勻存儲訪問COMA:Cache-OnlyMemoryAccess全高速緩存存儲訪問CC-NUMA:Cache-CoherentNonuniformMemoryAccess高速緩存一致性均勻存儲訪問NCC-NUMA:Cache-CoherentNonuniformMemoryAccess非高速緩存一致性均勻存儲訪問NORMA:No-RemoteMemoryAccess非遠(yuǎn)程存儲訪問DSM:DistributedSharedMemory分布式共享存儲PVP:ParallelVectorProcessor并行向量處理機(jī)計(jì)算機(jī)系統(tǒng)的分類

采用的基本器件

計(jì)算機(jī)系統(tǒng)成本1966年MichaelJ,Flynn1978年DavidJ.Kuck：用指令流和執(zhí)行流（ExecutionStream）及其多倍性來描述計(jì)算機(jī)系統(tǒng)總控制器的結(jié)構(gòu)特征

1972年馮澤云：提出用數(shù)據(jù)處理的并行度來定量地描述各種計(jì)算機(jī)系統(tǒng)特性。按采用的基本器件分類計(jì)算機(jī)的更新?lián)Q代第一代電子管計(jì)算機(jī)第二代晶體管計(jì)算機(jī)第三代中小規(guī)模集成電路第四代大或超大規(guī)模集成電路第五代VLSI（甚大規(guī)模集成電路）計(jì)算機(jī)性能的大幅度提高或更新?lián)Q代，一方面依靠器件的不斷更新，同時(shí)也依賴系統(tǒng)結(jié)構(gòu)的不斷改進(jìn)。第一代1945~1954電子管繼電器存儲程序計(jì)算機(jī)程序控制I/O機(jī)器語言匯編語言普林斯頓ISA、ENIAC、IBM701第二代1955~1964晶體管、磁芯印刷電路浮點(diǎn)數(shù)據(jù)表示、尋址技術(shù)、中斷、I/O處理機(jī)高級語言、編譯、批處理監(jiān)控程序UnivacLARC、CDC1604IBM7030第三代1965~1973）多層印刷電路微程序流水線、Cache、先行處理、系列機(jī)多道程序分時(shí)操作系統(tǒng)IBM360/370CDC6600/7600DECPDP-8第四代1974~1990LSI、VLSI半導(dǎo)體存儲器向量處理分布式存儲器并行和分布處理Cray-1、IBM3090DECVAX9000Convax-1第五代1990~

高性能微處理器高密度電路超標(biāo)量、超流水、SMP、MP、MPP大規(guī)模、可擴(kuò)展并行與分布處理SGICrayT3EIBM、SP2、DECAlphaServer8400五代計(jì)算機(jī)的特征表

按計(jì)算機(jī)系統(tǒng)成本分類巨型計(jì)算機(jī)、超級計(jì)算機(jī)

SuperComputer大型計(jì)算機(jī)

MainComputer中型機(jī)算機(jī)

MidComputer小型計(jì)算機(jī)

MiniComputer微型計(jì)算機(jī)

MicroComputer

工作站介于小型機(jī)和微型機(jī)之間，具有小型機(jī)的性能，微型機(jī)的價(jià)格。

本人的分類（從應(yīng)用、成本）高性能計(jì)算機(jī)（MPP、Cluster、SMP）服務(wù)器工作站臺式機(jī)便攜機(jī)手持式終端（PDA、MP3、手機(jī)）個(gè)人計(jì)算機(jī)1981年8月12日1985年1986年1990年1993年1994年1995年2000年IBM5150Windows1.0CompaqWindows3.1PentiumNetscapeWindows95Pentium4WristPCDesktopPCTabletPCPocketPCPhonePC無線連接WearablecomputerMichaelJ,Flynn分類指令流：是指機(jī)器執(zhí)行的指令序列。

數(shù)據(jù)流：是指指令流調(diào)用的數(shù)據(jù)序列，包括輸入數(shù)據(jù)和中間結(jié)果。多倍性：是指在系統(tǒng)性能瓶頸部件上處于同一執(zhí)行階段的指令或數(shù)據(jù)的最大可能個(gè)數(shù)。

MichaelJ,Flynn分類SISD單指令流單數(shù)據(jù)流傳統(tǒng)的單處理機(jī)屬于SISD計(jì)算機(jī)SIMD單指令流多數(shù)據(jù)流并行處理機(jī)是SIMD計(jì)算機(jī)的典型代表我國的YH-I型是此類計(jì)算機(jī)型MISD多指令流單數(shù)據(jù)流實(shí)際上不存在，但也有學(xué)者認(rèn)為存在MIMD多指令流多數(shù)據(jù)流包括了大多數(shù)多處理機(jī)及多計(jì)算機(jī)系統(tǒng)我國的YH-II型計(jì)算機(jī)是這種類型的計(jì)算機(jī)CUPUMMCSDSISSISDCU：控制部件，PU：處理機(jī)，MM：貯存模塊，SM：共享主存IS：指令流，CS：控制流，DS：數(shù)據(jù)流CUPU1PU2PUnMM1MM2MMmDS1DS2DSnCSISSIMDSMCU1PU1PU2PUnMM1MM2MMmDSDSCS1ISnMISDSMCU2CUnCS2CSnIS2IS1CU：控制部件，PU：處理機(jī)，MM：貯存模塊，SM：共享主存IS：指令流，CS：控制流，DS：數(shù)據(jù)流CU1PU1PU2PUnMM1MM2MMmDS1DSnCS1ISnMIMDCU2CUnCS2CSnIS2IS1DS2CU：控制部件，PU：處理機(jī)，MM：貯存模塊，SM：共享主存IS：指令流，CS：控制流，DS：數(shù)據(jù)流DavidJ.Kuck分類用指令流和執(zhí)行流（ExecutionStream）及其多倍性來描述計(jì)算機(jī)系統(tǒng)總控制器的結(jié)構(gòu)特征。

SISE：單處理機(jī)系統(tǒng)

SIME：多操作部件的處理機(jī)MISE：帶指令級多道程序的單處理機(jī)MIME：多處理機(jī)

馮澤云分類提出用數(shù)據(jù)處理的并行度來定量地描述各種計(jì)算機(jī)系統(tǒng)特性。

WSBS（字串位串）

WSBP（字串位并）WPBS（字并位串）WPBP（字并位并）

位片寬字寬SISDSIMD（MPP）SIMDMIMD1mn1m’n’VonNeumann結(jié)構(gòu)計(jì)算機(jī)運(yùn)算器ALU控制器輸出設(shè)備輸入設(shè)備存儲器馮·諾依曼的設(shè)計(jì)思想“程序存儲”核心思想計(jì)算機(jī)的程序和數(shù)據(jù)可以一同存在于存儲器中，計(jì)算機(jī)通過在存儲器中順序讀取程序來獲取指令主存儲器程序控制器I/O設(shè)備算術(shù)－邏輯單元存儲數(shù)據(jù)和指令對二進(jìn)制數(shù)進(jìn)行算術(shù)和邏輯運(yùn)算控制內(nèi)存中的指令并執(zhí)行系統(tǒng)的輸入輸出設(shè)備存儲程序控制

StoredProgramControl

實(shí)現(xiàn)指令流程的三或四個(gè)階段

取指令

取操作數(shù)

執(zhí)行指令

寫回結(jié)果VonNeumann機(jī)結(jié)構(gòu)的主要特征

存儲器是順序線性編址的一維結(jié)構(gòu)按地址訪問、單元位數(shù)固定、運(yùn)算速度與訪存次數(shù)有關(guān)指令=操作碼+地址碼

操作數(shù)的類型由操作碼決定指令在存儲器中是按其執(zhí)行順序存儲存儲器內(nèi)指令和數(shù)據(jù)同等看待二進(jìn)制編碼、運(yùn)算以運(yùn)算器為中心，I/O與存儲器之間數(shù)據(jù)通過運(yùn)算器，運(yùn)算器、存儲器、I/O設(shè)備的操作及之間的聯(lián)系，由控制器控制

VonNeumann型結(jié)構(gòu)的局限性

以數(shù)值計(jì)算為主，對自然語言、圖像、圖形和符號處理的能力較差；程序算法在整體上為順序型，限制并行操作發(fā)揮；軟件系統(tǒng)越來越復(fù)雜，正確性不能保證，軟件生產(chǎn)效率低；硬件投資大，可靠性差，體系結(jié)構(gòu)受限制；應(yīng)用人員既懂專業(yè)知識，又具備編程技巧；

VonNeumann型結(jié)構(gòu)的缺點(diǎn)

存在兩個(gè)瓶頸

物理瓶頸：CPU與存儲器之間頻繁交換信智能瓶頸：每次只能順序執(zhí)行一條指令低級的機(jī)器語言與高級語言程序設(shè)計(jì)之間存在巨大的語義差距復(fù)雜的數(shù)據(jù)結(jié)構(gòu)對象無法直接放到一維線性結(jié)構(gòu)地址空間存儲器中，必須經(jīng)過地址映像

VonNeumann型結(jié)構(gòu)的改進(jìn)

增加了新的數(shù)據(jù)表示：浮點(diǎn)數(shù)、字符串

采用虛擬存儲器，方便了高級語言編程引入堆棧，支持過程調(diào)用、遞歸機(jī)制采用變址寄存器，并增加間接尋址方式增加CPU內(nèi)的通用寄存器和增設(shè)Cache采用存儲器交叉訪問技術(shù)，以及無沖突并行存儲器采用指令流水技術(shù)采用多功能部件采用支持多處理機(jī)采用自定義數(shù)據(jù)表示使程序和數(shù)據(jù)空間分開

四十年來計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的改進(jìn)

串行算法-----〉適應(yīng)并行算法出現(xiàn)向量計(jì)算機(jī)、并行計(jì)算機(jī)、多處理機(jī)高級語言與機(jī)器語言的語義差距減少出現(xiàn)面向高級語言計(jì)算機(jī)機(jī)器和直接執(zhí)行高級語言機(jī)器硬件系統(tǒng)與操作系統(tǒng)和數(shù)據(jù)庫管理系統(tǒng)軟件相適應(yīng)出現(xiàn)面向操作系統(tǒng)機(jī)器和數(shù)