第2講-并行計算機系統(tǒng)及其結(jié)構(gòu)模型

1、1第二講第二講 并行計算機系統(tǒng)及其結(jié)構(gòu)模型并行計算機系統(tǒng)及其結(jié)構(gòu)模型2并行計算的研究內(nèi)容并行計算的研究內(nèi)容Issues in Parallel Computing 并行計算的研究內(nèi)容廣泛，包括并行計算機系并行計算的研究內(nèi)容廣泛，包括并行計算機系統(tǒng)結(jié)構(gòu)、并行算法設(shè)計、并行編程環(huán)境等，具統(tǒng)結(jié)構(gòu)、并行算法設(shè)計、并行編程環(huán)境等，具體表現(xiàn)在下面幾個方面：體表現(xiàn)在下面幾個方面：（1）并行計算機的設(shè)計）并行計算機的設(shè)計 Design of Parallel Computers包括并行計算機的結(jié)構(gòu)設(shè)計、互聯(lián)拓?fù)?、網(wǎng)包括并行計算機的結(jié)構(gòu)設(shè)計、互聯(lián)拓?fù)?、網(wǎng)絡(luò)通信等。設(shè)計并行計算機重要的一點要考慮絡(luò)通信等。設(shè)計并行

2、計算機重要的一點要考慮處理機數(shù)目的按比例增長（即可擴展性）及支處理機數(shù)目的按比例增長（即可擴展性）及支持快速通信及處理機間的數(shù)據(jù)共享等。持快速通信及處理機間的數(shù)據(jù)共享等。 3(2)有效算法的設(shè)計有效算法的設(shè)計 Design of Efficient Algorithms如果沒有有效的并行算法，并行計算機無法使用，如果沒有有效的并行算法，并行計算機無法使用，而并行算法的設(shè)計完全不同于串行算法的設(shè)計，不同而并行算法的設(shè)計完全不同于串行算法的設(shè)計，不同的并行計算機的算法設(shè)計不同，只有將不同的并行計的并行計算機的算法設(shè)計不同，只有將不同的并行計算機與不同的實際問題相結(jié)合，才能設(shè)計出有效的并算機與不同的

3、實際問題相結(jié)合，才能設(shè)計出有效的并行算法。主要研究內(nèi)容包括并行計算模型、并行算法行算法。主要研究內(nèi)容包括并行計算模型、并行算法的一般設(shè)計方法、基本設(shè)計技術(shù)和一般設(shè)計過程，并的一般設(shè)計方法、基本設(shè)計技術(shù)和一般設(shè)計過程，并討論一些數(shù)值并行算法與非數(shù)值并行算法的設(shè)計。討論一些數(shù)值并行算法與非數(shù)值并行算法的設(shè)計。 4(3)評價并行算法的方法評價并行算法的方法Methods for Evaluating Parallel Algorithms 對于給定的并行計算機及運行在上面的并行算對于給定的并行計算機及運行在上面的并行算法，需要評價運行性能。法，需要評價運行性能。 性能分析需解決的問題：如何利用基于并

4、行計性能分析需解決的問題：如何利用基于并行計算機及其相適應(yīng)的并行算法去快速地解決問題，及算機及其相適應(yīng)的并行算法去快速地解決問題，及如何有效地利用各個處理器。研究內(nèi)容包括結(jié)合機如何有效地利用各個處理器。研究內(nèi)容包括結(jié)合機器與算法，提出相應(yīng)的性能評測指標(biāo)，為設(shè)計高效器與算法，提出相應(yīng)的性能評測指標(biāo)，為設(shè)計高效的并行算法提供依據(jù)。的并行算法提供依據(jù)。 5(4)并行計算機語言并行計算機語言 Parallel Computing Language與傳統(tǒng)的機器語言不同，并行計算機語言依賴與傳統(tǒng)的機器語言不同，并行計算機語言依賴于并行計算機，并行計算機語言必須簡潔，編程容于并行計算機，并行計算機語言必須簡

5、潔，編程容易，可以有效地實現(xiàn)，目前的語言有：易，可以有效地實現(xiàn)，目前的語言有：PVM（Parallel Virtual Machine）、）、MPI(Message Passing Interface)、HPF(High Performance Fortran) 等，而且新的編程語言與編程模式正在不等，而且新的編程語言與編程模式正在不斷地出現(xiàn)。斷地出現(xiàn)。 6(5)并行編程環(huán)境與工具并行編程環(huán)境與工具Parallel Programming Environments and Tools 為了使編程容易，必須開發(fā)綜合的編程環(huán)為了使編程容易，必須開發(fā)綜合的編程環(huán)境與工具，且能達到兩個目的：并行計算機

6、的境與工具，且能達到兩個目的：并行計算機的底層結(jié)構(gòu)對用戶透明；為用戶提供設(shè)計與開發(fā)底層結(jié)構(gòu)對用戶透明；為用戶提供設(shè)計與開發(fā)程序所需要的調(diào)試器與模擬器等工具程序所需要的調(diào)試器與模擬器等工具 7(6)并行程序的可移植性并行程序的可移植性Portable Parallel Programs 可移植性為并行程序設(shè)計的主要問題，要可移植性為并行程序設(shè)計的主要問題，要求在一臺并行機上開發(fā)的程序不加修改或進行求在一臺并行機上開發(fā)的程序不加修改或進行少量修改即可在另一臺計算機上運行。這一點少量修改即可在另一臺計算機上運行。這一點為目前受到了廣泛關(guān)注的重要課題。為目前受到了廣泛關(guān)注的重要課題。 8(7) 并行計

7、算機的自動編程并行計算機的自動編程 Automatic Programming of Parallel Computers可否設(shè)計一個并行化編譯器，使用戶的串可否設(shè)計一個并行化編譯器，使用戶的串行程序通過并行化編譯器編譯，直接可在并行行程序通過并行化編譯器編譯，直接可在并行機上運行。到目前為此，這種編譯器還不存在，機上運行。到目前為此，這種編譯器還不存在，而僅有一些半自動并行化編譯器。而僅有一些半自動并行化編譯器。 9并行計算機分類并行計算機分類 對并行計算機的分類有多種方法，其中最著名的是對并行計算機的分類有多種方法，其中最著名的是19661966年由年由M.J.FlynnM.J.Flynn

8、提出的分類法，稱為提出的分類法，稱為FlynnFlynn分類法。分類法。FlynnFlynn分類法是從計算機的運行機制進行分類的。首先分類法是從計算機的運行機制進行分類的。首先作如下定義：作如下定義：指令流（指令流（instruction streaminstruction stream）：機器執(zhí)行的指）：機器執(zhí)行的指令序列；令序列；數(shù)據(jù)流（數(shù)據(jù)流（data streamdata stream）：由指令流調(diào)用的數(shù)據(jù)序）：由指令流調(diào)用的數(shù)據(jù)序列，包括輸入數(shù)據(jù)和中間結(jié)果。列，包括輸入數(shù)據(jù)和中間結(jié)果。10FlynnFlynn根據(jù)指令流和數(shù)據(jù)流的不同組織方式，把計算機根據(jù)指令流和數(shù)據(jù)流的不同組織方式，

9、把計算機系統(tǒng)的結(jié)構(gòu)分為以下四類：系統(tǒng)的結(jié)構(gòu)分為以下四類：（1 1）單指令流單數(shù)據(jù)流單指令流單數(shù)據(jù)流（Single Instruction Single Instruction stream Single Data stream, SISDstream Single Data stream, SISD）；）；（2 2）單指令流多數(shù)據(jù)流單指令流多數(shù)據(jù)流（Single Instruction Single Instruction stream Multiple Data stream, SIMDstream Multiple Data stream, SIMD）；）；（3 3）多指令流單數(shù)據(jù)流多指令

10、流單數(shù)據(jù)流（Multiple Instruction Multiple Instruction stream Single Data stream, MISDstream Single Data stream, MISD）；）；（4 4）多指令流多數(shù)據(jù)流多指令流多數(shù)據(jù)流（Multiple Instruction Multiple Instruction stream Multiple Data stream, MIMDstream Multiple Data stream, MIMD）。）。SISDSISD就是普通的順序處理的串行機。就是普通的順序處理的串行機。SIMDSIMD和和MIMDMI

11、MD是典是典型的并行計算機。型的并行計算機。MISDMISD在實際中代表何種計算機，也在實際中代表何種計算機，也存在不同的看法，甚至有學(xué)者認(rèn)為根本不存在存在不同的看法，甚至有學(xué)者認(rèn)為根本不存在MISDMISD。 11單指令流多數(shù)據(jù)流機單指令流多數(shù)據(jù)流機SIMD 在一臺在一臺SIMDSIMD計算機中，有一個計算機中，有一個控制部件控制部件（又稱（又稱為控制單元，為控制單元，control unitcontrol unit）和許多）和許多處理單元處理單元（processing unitprocessing unit）。）。大量的處理單元通常構(gòu)成陣列，因此大量的處理單元通常構(gòu)成陣列，因此SIMDSI

12、MD計算計算機有時也稱為機有時也稱為陣列處理機陣列處理機。所有的處理單元在。所有的處理單元在控制部件的統(tǒng)一控制下工作?？刂撇考蛩锌刂撇考慕y(tǒng)一控制下工作?？刂撇考蛩械奶幚韱卧獜V播同一條指令，所有的處理單元的處理單元廣播同一條指令，所有的處理單元同時執(zhí)行這條指令，但是每個處理單元操作的同時執(zhí)行這條指令，但是每個處理單元操作的數(shù)據(jù)不同?？刂撇考梢杂羞x擇地屏蔽掉一些數(shù)據(jù)不同。控制部件可以有選擇地屏蔽掉一些處理單元，被屏蔽掉的處理單元不執(zhí)行控制部處理單元，被屏蔽掉的處理單元不執(zhí)行控制部件廣播的指令。件廣播的指令。12SIMD計算機其結(jié)構(gòu)如下圖所示，其中計算機其結(jié)構(gòu)如下圖所示，其中PEPE表示

13、處理單元，表示處理單元，P P表示處理器，表示處理器，M M表示存儲器表示存儲器。SIMDSIMD中通常包含大量處理單元中通常包含大量處理單元PEPE，而控制部件只有一個。控制部件廣播一，而控制部件只有一個?？刂撇考V播一條指令，所有的處理單元同時執(zhí)行這條指令，但不同的處理單元操作的數(shù)條指令，所有的處理單元同時執(zhí)行這條指令，但不同的處理單元操作的數(shù)據(jù)可能不同。據(jù)可能不同。13典型的典型的SIMDSIMD計算機計算機-MasPar MP-1-MasPar MP-1可有可有10241024，40964096，1638416384個處理器。個處理器。在在16k16k個處理器，個處理器，3232位整數(shù)

14、運算，位整數(shù)運算，16kB16kB局部存局部存儲器模塊的配置下，儲器模塊的配置下，1.5GFlops.1.5GFlops.單指令流多數(shù)據(jù)流機單指令流多數(shù)據(jù)流機SIMD 14多指令流多數(shù)據(jù)流機多指令流多數(shù)據(jù)流機MIMD在在MIMDMIMD計算機中沒有統(tǒng)一的控制部件。在計算機中沒有統(tǒng)一的控制部件。在MIMDMIMD中，各中，各處理器可以獨立地執(zhí)行不同的指令。實際上，在處理器可以獨立地執(zhí)行不同的指令。實際上，在SIMDSIMD機中，各處理單元執(zhí)行的是同一個程序，而在機中，各處理單元執(zhí)行的是同一個程序，而在MIMDMIMD機機上，各處理器可以獨立執(zhí)行不同的程序。上，各處理器可以獨立執(zhí)行不同的程序。在在

15、MIMDMIMD中，每個處理器都有控制部件，各處理器通過中，每個處理器都有控制部件，各處理器通過互連網(wǎng)絡(luò)進行通信。互連網(wǎng)絡(luò)進行通信。MIMDMIMD結(jié)構(gòu)比結(jié)構(gòu)比SIMDSIMD結(jié)構(gòu)更加靈活。結(jié)構(gòu)更加靈活。SIMDSIMD計算機通常要求實際問題包含大量的對不同數(shù)據(jù)計算機通常要求實際問題包含大量的對不同數(shù)據(jù)的相同運算（例如向量運算和矩陣運算）才能發(fā)揮其的相同運算（例如向量運算和矩陣運算）才能發(fā)揮其優(yōu)勢。而優(yōu)勢。而MIMDMIMD計算機則無此要求，它可以適應(yīng)更多的計算機則無此要求，它可以適應(yīng)更多的并行算法，因此可以更加充分地開掘?qū)嶋H問題的并行并行算法，因此可以更加充分地開掘?qū)嶋H問題的并行性。性。SI

16、MDSIMD所使用的所使用的CPUCPU通常是專門設(shè)計的，而通常是專門設(shè)計的，而MIMDMIMD可以可以使用通用使用通用CPUCPU。15多指令流多數(shù)據(jù)流機多指令流多數(shù)據(jù)流機MIMD多指令流多數(shù)據(jù)流機多指令流多數(shù)據(jù)流機MIMD一般可以分為一般可以分為5類：類： 1、并行向量處理機、并行向量處理機PVP（Parallel Vector Processor） 2、對稱多處理機、對稱多處理機SMP（Symmetric Multiprocessor） 3、大規(guī)模并行處理機、大規(guī)模并行處理機MPP（Massively Parallel Processor ） 4、工作站機群、工作站機群COW（Clust

17、er Of Workstations，也稱為，也稱為Network Of Workstations，NOW） 5、分布式共享存儲多處理機、分布式共享存儲多處理機DSM（Distributed Shared Memory）。）。16并行向量處理機并行向量處理機 PVP在并行向量處理機中有少量在并行向量處理機中有少量專門定制的向量處理器專門定制的向量處理器。每個向量處理器有很高的處理能力。并行向量處理機每個向量處理器有很高的處理能力。并行向量處理機通過向量處理和多個向量處理器并行處理兩條途徑來通過向量處理和多個向量處理器并行處理兩條途徑來提高處理能力。提高處理能力。Cray C-90、Cray T

18、-90、NEC SX-4和和我國的我國的銀河銀河1號號都是都是PVP。PVP通常使用定制的高帶寬網(wǎng)絡(luò)將向量處理器連向共通常使用定制的高帶寬網(wǎng)絡(luò)將向量處理器連向共享存儲器模塊。存儲器可以以很高的速度向處理器提享存儲器模塊。存儲器可以以很高的速度向處理器提供數(shù)據(jù)。例如，在供數(shù)據(jù)。例如，在Cray T-90中，共享存儲器能以中，共享存儲器能以14GB/s的速率將數(shù)據(jù)提供給一個處理器。這種機器通的速率將數(shù)據(jù)提供給一個處理器。這種機器通常不使用高速緩存，而是使用大量的向量寄存器和指常不使用高速緩存，而是使用大量的向量寄存器和指令緩沖器。令緩沖器。17并行向量處理機其系統(tǒng)結(jié)構(gòu)如下圖所示。圖中并行向量處理機

19、其系統(tǒng)結(jié)構(gòu)如下圖所示。圖中VPVP表示表示 向量處理器，向量處理器，SMSM表示共享存儲器。表示共享存儲器。 18對稱多處理機對稱多處理機 SMP對稱多處理機的最大特點是其中的各處理器完全平等，無對稱多處理機的最大特點是其中的各處理器完全平等，無主從之分。所有的處理器都可以訪問任何存儲單元和主從之分。所有的處理器都可以訪問任何存儲單元和I/O設(shè)備。存儲器一般使用設(shè)備。存儲器一般使用共享存儲器共享存儲器，只有一個地址空間。，只有一個地址空間。因為使用共享存儲器，通信可用共享變量（讀寫同一內(nèi)存因為使用共享存儲器，通信可用共享變量（讀寫同一內(nèi)存單元）來實現(xiàn)。這使得編程很容易。單元）來實現(xiàn)。這使得編程

20、很容易。對稱多處理機（對稱多處理機（Symmetric Multiprocessor, SMP）結(jié)）結(jié)構(gòu)在現(xiàn)今的并行服務(wù)器中普遍采用。它是應(yīng)用得最廣泛的構(gòu)在現(xiàn)今的并行服務(wù)器中普遍采用。它是應(yīng)用得最廣泛的并行計算機，例如曙光并行計算機，例如曙光1號、號、HP9000/T600、IBM RS6000/R40、SGI Power Challenge XL、SUN Ultra Enterprise 6000等。等。采用商用微處理器，通常有片上和外置采用商用微處理器，通常有片上和外置Cache，基于總線，基于總線或交叉開關(guān)連接，集中式共享存儲或交叉開關(guān)連接，集中式共享存儲19SMP的結(jié)構(gòu)如下圖所示。的結(jié)

21、構(gòu)如下圖所示。P/C表示處理器和高表示處理器和高速緩存，速緩存，SM表示共享存儲器。表示共享存儲器。20對稱多處理機對稱多處理機SMP優(yōu)點優(yōu)點對稱性對稱性單地址空間，易編程，動態(tài)負(fù)載平衡，無需顯式數(shù)據(jù)分配單地址空間，易編程，動態(tài)負(fù)載平衡，無需顯式數(shù)據(jù)分配高速緩存及其一致性，硬件維持一致性高速緩存及其一致性，硬件維持一致性低通信延遲低通信延遲問題問題所有的處理器都可以訪問存儲器和所有的處理器都可以訪問存儲器和I/O設(shè)備，使得存儲器設(shè)備，使得存儲器和和I/O設(shè)備的負(fù)載很大，容易成為系統(tǒng)的瓶頸，這限制了設(shè)備的負(fù)載很大，容易成為系統(tǒng)的瓶頸，這限制了系統(tǒng)中處理器的數(shù)量。系統(tǒng)中處理器的數(shù)量?？捎眯裕嚎偩€、

22、存儲器、操作系統(tǒng)中有一個失效就會導(dǎo)致可用性：總線、存儲器、操作系統(tǒng)中有一個失效就會導(dǎo)致整個系統(tǒng)的崩潰，系統(tǒng)不夠可靠和穩(wěn)定。整個系統(tǒng)的崩潰，系統(tǒng)不夠可靠和穩(wěn)定。不可擴放性：總線和交叉開關(guān)一旦做成就難以擴展。不可擴放性：總線和交叉開關(guān)一旦做成就難以擴展。21大規(guī)模并行處理機（大規(guī)模并行處理機（MPP）大規(guī)模并行處理機（大規(guī)模并行處理機（Massively Parallel Processor, MPP）是指由幾）是指由幾百或幾千臺處理機組成的大規(guī)模并行計算機系統(tǒng)。百或幾千臺處理機組成的大規(guī)模并行計算機系統(tǒng)。Intel和美國和美國Sandia國家實驗室國家實驗室1997年年6月研制成功的月研制成功的

23、MPP系統(tǒng)系統(tǒng)ASCI Option Red有有9216個處理器。個處理器。MPP系統(tǒng)中處理器數(shù)目巨大，整個系統(tǒng)規(guī)模龐大，許多硬件設(shè)備是專門系統(tǒng)中處理器數(shù)目巨大，整個系統(tǒng)規(guī)模龐大，許多硬件設(shè)備是專門設(shè)計制造的，開發(fā)起來比較困難，通常被視為國家綜合實力的象征。同設(shè)計制造的，開發(fā)起來比較困難，通常被視為國家綜合實力的象征。同時，時，MPP能夠提供其它并行計算機不能達到的計算能力。達到能夠提供其它并行計算機不能達到的計算能力。達到3T性能目性能目標(biāo)和解決重大挑戰(zhàn)性課題都寄希望于標(biāo)和解決重大挑戰(zhàn)性課題都寄希望于MPP。大規(guī)模并行處理機一般指規(guī)模非常大的并行計算機系統(tǒng)，含有成千上萬大規(guī)模并行處理機一般指

24、規(guī)模非常大的并行計算機系統(tǒng)，含有成千上萬個處理器。它一般采用個處理器。它一般采用分布式存儲器分布式存儲器，存儲器一般為處理器私有，各處，存儲器一般為處理器私有，各處理器之間用消息傳遞的方式通信。理器之間用消息傳遞的方式通信。大規(guī)模并行處理機的互連網(wǎng)絡(luò)一般是專門設(shè)計定制的。典型的大規(guī)模并行處理機的互連網(wǎng)絡(luò)一般是專門設(shè)計定制的。典型的MPP有有Intel Paragon、IBM SP2以及以及Option Red、曙光曙光1000等。等。 22處理節(jié)點采用商用微處理器處理節(jié)點采用商用微處理器專門設(shè)計制造的高速互連網(wǎng)絡(luò)專門設(shè)計制造的高速互連網(wǎng)絡(luò) 每個節(jié)點內(nèi)有一個或多個處理器、高速緩存、一每個節(jié)點內(nèi)有

25、一個或多個處理器、高速緩存、一個本地存儲器和本地互連網(wǎng)絡(luò)個本地存儲器和本地互連網(wǎng)絡(luò) ，有的，有的MPP系統(tǒng)節(jié)系統(tǒng)節(jié)點內(nèi)還有磁盤點內(nèi)還有磁盤存儲器在物理上是分布的，而且都是私有的存儲器在物理上是分布的，而且都是私有的程序由多個進程組成，每個都有其私有空間，進程序由多個進程組成，每個都有其私有空間，進程間采用消息傳遞相互作用程間采用消息傳遞相互作用大規(guī)模并行處理機（大規(guī)模并行處理機（MPP）23典型典型MPP系統(tǒng)特性比較系統(tǒng)特性比較MPP模型模型Intel/Sandia ASCI Option RedIBM SP2SGI/Cray Origin2000一個大型樣機的配置一個大型樣機的配置9072個

26、處理器，個處理器，1.8Tflop/s(NSL)400個處理器，個處理器，100Gflop/s(MHPCC)128個處理器，個處理器，51Gflop/s(NCSA)問世日期問世日期1996年年12月月1994年年9月月1996年年10月月處理器類型處理器類型200MHz, 200Mflop/s Pentium Pro67MHz，267Mflop/s POWER2200MHz，400Mflop/s MIPS R10000節(jié)點體系結(jié)構(gòu)節(jié)點體系結(jié)構(gòu)和數(shù)據(jù)存儲器和數(shù)據(jù)存儲器2個處理器，個處理器，32到到256MB主存，共主存，共享磁盤享磁盤1個處理器，個處理器，64MB到到2GB本地主存，本地主存，1

27、GB到到14.5GB本地本地磁盤磁盤2個處理器，個處理器，64MB到到256MB分布共享分布共享主存和共享磁盤主存和共享磁盤互連網(wǎng)絡(luò)和主存模型互連網(wǎng)絡(luò)和主存模型分離兩維網(wǎng)孔，分離兩維網(wǎng)孔，NORMA多級網(wǎng)絡(luò)，多級網(wǎng)絡(luò)，NORMA胖超立方體網(wǎng)絡(luò)，胖超立方體網(wǎng)絡(luò)，CC-NUMA節(jié)點操作系統(tǒng)節(jié)點操作系統(tǒng)輕量級內(nèi)核輕量級內(nèi)核（LWK）完全完全AIX（IBM UNIX）微內(nèi)核微內(nèi)核Cellular IRIX自然編程機制自然編程機制基于基于PUMA Portals的的MPIMPI和和PVMPower C， Power Fortran其他編程模型其他編程模型Nx，PVM，HPFHPF，LindaMPI，PV

28、M24MPP所用的高性能所用的高性能CPU特性比較特性比較屬性Pentium ProPowerPC 602Alpha 21164AUltra SPARC IIMIPS R10000工藝BiCMOSCMOSCMOSCMOSCMOS晶體管數(shù)5.5M/15.5M7M9.6M5.4M6.8M時鐘頻率150MHz133MHz417MHz200MHz200MHz電壓2.9V3.3V2.2V2.5V3.3V功率20W30W20W28W30W字長32位64位64位64位64位I/O高速緩存8KB/8KB32KB/32KB8KB/8KB16KB/16KB32KB/32KB2級高速緩存256KB(多芯片模塊)11

29、28MB(片外)96KB(片上)16MB(片外)16MB(片外)執(zhí)行單元5個單元6個單元4個單元9個單元5個單元超標(biāo)量3路(Way)4路4路4路4路流水線深度14級48級79級9級57級SPECint 92366225500350300SPECfp 92283300750550600SPECint 958.0922511N/A7.4SPECfp 956.7030017N/A15其它特性CISC/RISC混合短流水線長L1高速緩存最高時鐘頻率最大片上2級高速緩存多媒體和圖形指令MP機群總線可支持4個CPU25MPPMPP的結(jié)構(gòu)如下圖所示。其中的結(jié)構(gòu)如下圖所示。其中MBMB表示存儲器總線，表示存儲

30、器總線，P/CP/C表示處理器表示處理器和高速緩存，和高速緩存，NICNIC表示網(wǎng)絡(luò)接口電路，表示網(wǎng)絡(luò)接口電路，LMLM表示本地存儲器。表示本地存儲器。NICNIC是用來將計算機與網(wǎng)絡(luò)（例如局域網(wǎng)）連接起來的接口電路。是用來將計算機與網(wǎng)絡(luò)（例如局域網(wǎng)）連接起來的接口電路。它的功能有：將消息格式化、路由選擇、流和錯誤控制等。它的功能有：將消息格式化、路由選擇、流和錯誤控制等。26分布式共享存儲器多處理機分布式共享存儲器多處理機 DSM分布式共享存儲器多處理機的主要特點是它的存儲分布式共享存儲器多處理機的主要特點是它的存儲器在物理上是分布在各個結(jié)點中的，但是通過硬件器在物理上是分布在各個結(jié)點中的，

31、但是通過硬件和軟件為用戶提供一個單一地址的編程空間，即形和軟件為用戶提供一個單一地址的編程空間，即形成一個成一個虛擬的共享存儲器虛擬的共享存儲器。 DSM相對于相對于MPP的優(yōu)的優(yōu)越性是編程較容易。越性是編程較容易。它通過高速緩存目錄支持分布高速緩存的一致性。它通過高速緩存目錄支持分布高速緩存的一致性。DSM與與SMP的區(qū)別在于各結(jié)點內(nèi)有存儲器，與的區(qū)別在于各結(jié)點內(nèi)有存儲器，與MPP的區(qū)別在于存儲器在邏輯上是共享的。的區(qū)別在于存儲器在邏輯上是共享的。典型的典型的DSM有有Stanford DASH、SGI/Cray Origin 2000。27DSM的結(jié)構(gòu)如下圖所示，其中的結(jié)構(gòu)如下圖所示，其中

32、DIR表示高速緩表示高速緩存目錄，其它符號同前。存目錄，其它符號同前。28工作站機群（工作站機群（COW）1994年,NASA兩位工程師構(gòu)建了第一個機群系統(tǒng):Beowulf16臺100MHz 486微機10Mb/s以太網(wǎng)絡(luò)74Mflops1997年,UC Berkeley NOW-2100臺SUN工作站Myrinet10Gflops首次進入Top 500最新的Top 500中，機群占81%29典型的機群系統(tǒng)結(jié)構(gòu)典型的機群系統(tǒng)結(jié)構(gòu)30工作站機群工作站機群COW分布式存儲，分布式存儲，MIMD，工作站，工作站+商用互連網(wǎng)絡(luò)，每個節(jié)點是一個商用互連網(wǎng)絡(luò)，每個節(jié)點是一個完整的計算機，有自己的磁盤和操作

33、系統(tǒng)，而完整的計算機，有自己的磁盤和操作系統(tǒng)，而MPP中只有微內(nèi)核中只有微內(nèi)核優(yōu)點：優(yōu)點：投資風(fēng)險小投資風(fēng)險小系統(tǒng)結(jié)構(gòu)靈活系統(tǒng)結(jié)構(gòu)靈活性能性能/價格比高價格比高能充分利用分散的計算資源能充分利用分散的計算資源可擴放性好可擴放性好問題問題通信性能通信性能并行編程環(huán)境并行編程環(huán)境例子：例子：Berkeley NOW，Alpha Farm, FXCOWP/CMMIOMIOMP/CNICNICDDLAN31工作站機群工作站機群 工作站機群是一種新興的并行系統(tǒng)。工作站機群是一種新興的并行系統(tǒng)。COW是由高檔商品是由高檔商品微機（包括工作站）用高速商品互連網(wǎng)絡(luò)（有的商用機群微機（包括工作站）用高速商品互連網(wǎng)絡(luò)（有的商用機群也使用定制的網(wǎng)絡(luò)）連接而成。也使用定制的網(wǎng)絡(luò)）連接而成。COW的每個結(jié)點都是一臺完整的計算機（可能沒有鼠標(biāo)、的每個結(jié)點都是一臺完整的計算機（可能沒有鼠標(biāo)、顯示器等外設(shè)）。顯示器等外設(shè)）。COW的每個結(jié)點上都有完整的操作系統(tǒng)，而的每個結(jié)點上都有完整的操作系統(tǒng)，而MPP的每個的每個結(jié)點上通常只有操作系統(tǒng)的微核。結(jié)點上通常只有操作系統(tǒng)的微核。COW的每個結(jié)點內(nèi)有本地磁盤，而的每個結(jié)點內(nèi)有本地磁盤，而MPP的結(jié)點內(nèi)沒有。的結(jié)點內(nèi)沒有。COW各結(jié)點的網(wǎng)絡(luò)接口是連接到各結(jié)點的網(wǎng)絡(luò)接口是連接到I/O總