高性能計算機體系結(jié)構(gòu) 小論文

1、高性能計算機體系結(jié)構(gòu)技術(shù)分析摘 要：本文簡單介紹了高性能計算機在科技、工業(yè)等眾多領(lǐng)域的廣泛應(yīng)用，結(jié)合TOP500的最新排名，簡單概括了當(dāng)今比較流行的幾大體系結(jié)構(gòu)技術(shù)，初步了解HPC的發(fā)展?fàn)顩r，嘗試性地說明高性能計算機的發(fā)展方向。關(guān)鍵詞：高性能計算機；體系結(jié)構(gòu)；ISC；TOP500； SMP；MPP；cluster一、研究背景1.1基本概念高性能計算機，（HPC：High Performance Computer）傳統(tǒng)上指的是運行速度非?？斓挠嬎銠C，等同于超級計算機，致力于專業(yè)用戶進(jìn)行大規(guī)?？茖W(xué)和工程計算，追求的性能指標(biāo)是浮點計算能力。隨著對于高性能計算的應(yīng)用需求由CPU運算密集型的科學(xué)和工程計

2、算拓展到IO處理密集型的商業(yè)事務(wù)處理，高性能計算機從單純追求CPU 運算能力變?yōu)樽非蟀?IO 處理能力在內(nèi)的綜合性能指標(biāo)，而且隨著用戶群體的擴大、對價格的日趨敏感以及PC 服務(wù)器和互連網(wǎng)絡(luò)等技術(shù)的成熟，高性能計算機已經(jīng)傾向走產(chǎn)業(yè)化發(fā)展道路，采用開放的軟硬件技術(shù)。當(dāng)前，以機群為載體的高性能計算機已廣泛應(yīng)用于教育、游戲、氣象、石油、航空航天、金融、生物、制造、信息建設(shè)等各個領(lǐng)域。 1.2發(fā)展歷程 （1）專用時代包括向量機，MPP系統(tǒng)，SGI NUMA 系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀河，曙光1000等。之所以稱為“專用”，并不是說它們只能運行某種應(yīng)用，是指它們的組成部件是專門設(shè)計

3、的，它們的CPU板，內(nèi)存板，I/O板，操作系統(tǒng)，甚至I/O系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。（2）普及時代高性能計算機價格下降，應(yīng)用門檻降低，應(yīng)用開始普及。兩個技術(shù)趨勢起到重要作用商品化趨勢使得大量生產(chǎn)的商品部件接近了高性能計算機專有部件標(biāo)準(zhǔn)化趨勢使得這些部件之間能夠集成一個系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。機群系統(tǒng)是高性能計算機的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。1.3高性能計算機系統(tǒng)架構(gòu) Constellation 星群 PVP Parallel Vector Processors 并

4、行向量機系統(tǒng)SMP Symmetric Multiple Processor 對稱多處理器DSM （NUMA） 分布共享存儲 非一致性訪問分布共享存儲MPP Massively Parallel Processor 大規(guī)模并行處理機COW cluster of workstations 工作站集群 1.4高性能計算機分類現(xiàn)代高性能計算機都屬于MIMD(多指令多數(shù)據(jù)流)。MIMD從結(jié)構(gòu)上和訪存方式上，又可以分為：結(jié)構(gòu)模型：PVP, SMP, MPP, DSM, COW訪存模型：UMA, NUMA, COMA, CC-NUMA, NORMA 2003-2011年計算機系統(tǒng)結(jié)構(gòu)TOP500分布和性能

5、表現(xiàn)分布二、幾大主流技術(shù)分析2.1對稱多處理SMP技術(shù)對稱多處理(symmetrical multiprocessing，SMP)技術(shù)是相對非對稱多處理技術(shù)而言的、應(yīng)用十分廣泛的并行技術(shù)在這種架構(gòu)中，多個處理器運行操作系統(tǒng)的單一復(fù)本，并共享內(nèi)存和一臺計算機的其它資源SMP系統(tǒng)采用商品化的處理器，這些處理器通過總線或交叉開關(guān)連接到共享存儲器。所有的處理器都可以平等地訪問內(nèi)存、I0和外部中斷系統(tǒng)資源被系統(tǒng)中所有CPU共享，工作負(fù)載能夠均勻地分配到所有可用的處理器之上目前，大多數(shù)SMP系統(tǒng)的CPU是通過共享系統(tǒng)總線來存取數(shù)據(jù)，實現(xiàn)對稱多處理的在SMP系統(tǒng)中增加更多處理器的兩個主要問題是系統(tǒng)不得不消耗

6、資源來支持處理器搶占內(nèi)存，以及內(nèi)存同步。對稱式共享存儲：任意處理器可直接訪問任意內(nèi)存地址。且訪問延遲、帶寬、機率都是等價的，系統(tǒng)是對稱的。微處理器: 一般少于64個; 處理器不能太多, 總線和交叉開關(guān)的一旦做成難于擴展；應(yīng)用實例: IBM R50, SGI Power Challenge, SUN Enterprise, 曙光一號。2.2 非一致訪問分布共享存儲NUMA技術(shù)在非一致訪問分布共享存儲技術(shù)(non uniformmemory access,NUMA)體系結(jié)構(gòu)中，每個處理器與本地存儲器和高速緩存相連，多個處理器通過處理器、存儲器互聯(lián)網(wǎng)絡(luò)相連處理器還通過處理器、IO網(wǎng)絡(luò)訪問共享的IO和

7、外圍設(shè)備至于處理器之間的通信則通過可選的處理器之間的通信網(wǎng)絡(luò)來實現(xiàn)NMUA技術(shù)在科學(xué)與工程計算領(lǐng)域具有不可替代的地位，在聯(lián)機事務(wù)處理(OLTP)、決策支持服務(wù)(DSS)和Intranet以及Internet中的地位也越來越重要目前，NUMA并行機的處理器數(shù)目可達(dá)到512個，且?guī)捒呻S處理器數(shù)目基本上呈線性擴展這樣大的處理器數(shù)，使單一系統(tǒng)映像的NUMA機足以覆蓋絕大多數(shù)的應(yīng)用首先，由于它具有與SMP相同的編程模式，因此在科學(xué)與工程計算領(lǐng)域具有不可替代的地位；其次，由于它具有共享內(nèi)存和良好的可擴展性優(yōu)勢，可以適應(yīng)企業(yè)數(shù)據(jù)中心的多種應(yīng)用NUMA系統(tǒng)能夠運行世界上一些最大的UNIX數(shù)據(jù)庫應(yīng)用，而且正被

8、廣泛接受為電子商務(wù)的主流技術(shù)，包括處理功能強大、IO的大規(guī)?？蓴U展性、高可用性、工作負(fù)荷和資源管理的廣泛靈活性，而且無需改變SMP編程模型等優(yōu)越技術(shù)分布共享存儲： 內(nèi)存模塊物理上局部于各個處理器內(nèi)部,但邏輯上(用戶)是共享存儲的。這種結(jié)構(gòu)也稱為基于Cache目錄的非一致內(nèi)存訪問(CC-NUMA)結(jié)構(gòu)，局部與遠(yuǎn)程內(nèi)存訪問的延遲和帶寬不一致。與SMP的主要區(qū)別：DSM在物理上有分布在各個節(jié)點的局部內(nèi)存從而形成一個共享的存儲器；微處理器: 16-128個,幾百到千億次。應(yīng)用實例: SGI Origin 2000, Cray T3D。2.3 MPP技術(shù)MPP模式則是一種分布式存儲器模式，能夠?qū)⒏嗟奶?/p>

9、理器納入一個系統(tǒng)的存儲器。一個分布式存儲器模式具有多個節(jié)點，每個節(jié)點都有自己的存儲器，可以配置為SMP模式，也可以配置為非SMP模式。單個的節(jié)點相互連接起來就形成了一個總系統(tǒng)。MPP體系結(jié)構(gòu)對硬件開發(fā)商頗具吸引力，因為它們出現(xiàn)的問題比較容易解決，開發(fā)成本比較低。由于沒有硬件支持共享內(nèi)存或高速緩存一致性的問題，所以比較容易實現(xiàn)大量處理器的連接。單一SMP模式與MPP模式的關(guān)鍵區(qū)別在于，在SMP模式中，數(shù)據(jù)一致性是由硬件專門管理的，這樣做比較容易實現(xiàn)，但成本較高；在MPP模式中，節(jié)點之間的一致性是由軟件來管理，因此，它的速度相對較慢，但成本卻低得多。物理和邏輯上均是分布內(nèi)存，能擴展至成百上千個處理

10、器(微處理器或向量處理器)。采用專門設(shè)計和定制的高通信帶寬和低延遲的互聯(lián)網(wǎng)絡(luò) 。相應(yīng)架構(gòu)的計算機是一種異步的MIMD機器；程序系由多個進(jìn)程組成，每個都有其私有地址空間，進(jìn)程間采用傳遞消息相互作用。典型應(yīng)用：CRAY T3E(2048), ASCI Red(3072), IBM SP2, 曙光1000。2.4集群Cluster技術(shù)集群(Cluster)技術(shù)是高性能計算機的一項重要可發(fā)展技術(shù)它是一組相互獨立的計算機，利用高速通信網(wǎng)絡(luò)組成一個單一的計算機系統(tǒng)，并以單一系統(tǒng)的模式加以管理其出發(fā)點是提供高可靠性、可擴充性和抗災(zāi)難性一個集群包含多臺擁有共享數(shù)據(jù)存儲空間的服務(wù)器，各服務(wù)器通過內(nèi)部局域網(wǎng)相互通

11、信，完成同一項工作。當(dāng)一臺服務(wù)器發(fā)生故障時，它所運行的應(yīng)用程序?qū)⒂善渌?wù)器自動接管在大多數(shù)模式下，集群中所有的計算機擁有一個共同的名稱。集群分為同構(gòu)與異構(gòu)兩種，它們的區(qū)別在于：組成集群系統(tǒng)的計算機之間的體系結(jié)構(gòu)是否相同。集群計算機按功能和結(jié)構(gòu)可以分成以下幾類:1）高可用性集群 High-availability (HA) clusters高可用性集群一般是指當(dāng)集群中有某個節(jié)點失效的情況下，其上的任務(wù)會自動轉(zhuǎn)移到其他正常的節(jié)點上。還指可以將集群中的某節(jié)點進(jìn)行離線維護(hù)再上線，該過程并不影響整個集群的運行。2）負(fù)載均衡集群 Load balancing clusters負(fù)載均衡集群負(fù)載均衡集群運行

12、時，一般通過一個或者多個前端負(fù)載均衡器，將工作負(fù)載分發(fā)到后端的一組服務(wù)器上，從而達(dá)到整個系統(tǒng)的高性能和高可用性。這樣的計算機集群有時也被稱為服務(wù)器群（Server Farm）。 一般高可用性集群和負(fù)載均衡集群會使用類似的技術(shù)，或同時具有高可用性與負(fù)載均衡的特點。3）高性能計算集群 High-performance (HPC) clusters高性能計算集群高性能計算集群采用將計算任務(wù)分配到集群的不同計算節(jié)點而提高計算能力，因而主要應(yīng)用在科學(xué)計算領(lǐng)域。比較流行的HPC采用Linux操作系統(tǒng)和其它一些免費軟件來完成并行運算。這一集群配置通常被稱為Beowulf集群。這類集群通常運行特定的程序以發(fā)揮

13、HPC cluster的并行能力。這類程序一般應(yīng)用特定的運行庫, 比如專為科學(xué)計算設(shè)計的MPI庫。HPC集群特別適合于在計算中各計算節(jié)點之間發(fā)生大量數(shù)據(jù)通訊的計算作業(yè)，比如一個節(jié)點的中間結(jié)果或影響到其它節(jié)點計算結(jié)果的情況。Linux虛擬服務(wù)器（LVS）項目在Linux操作系統(tǒng)上提供了最常用的負(fù)載均衡軟件。4）網(wǎng)格計算 Grid computing網(wǎng)格計算網(wǎng)格計算或網(wǎng)格集群是一種與集群計算非常相關(guān)的技術(shù)。網(wǎng)格計算是針對有許多獨立作業(yè)的工作任務(wù)作優(yōu)化，在計算過程中作業(yè)間無需共享數(shù)據(jù)。網(wǎng)格主要服務(wù)于管理在獨立執(zhí)行工作的計算機間的作業(yè)分配。資源如存儲可以被所有結(jié)點共享，但作業(yè)的中間結(jié)果不會影響在其他網(wǎng)

14、格結(jié)點上作業(yè)的進(jìn)展。網(wǎng)格與傳統(tǒng)集群的主要差別是網(wǎng)格是連接一組相關(guān)并不信任的計算機，它的運作更像一個計算公共設(shè)施而不是一個獨立的計算機。還有，網(wǎng)格通常比集群支持更多不同類型的計算機集合。三、 高性能計算的發(fā)展現(xiàn)狀3.1 HPC性能比較2011年11月統(tǒng)計得到，高性能計算機排名前三甲：名次超級計算機名國家名稱性能1K Computer日本12.772天河-1A中國4.703Cray XT5-HE美國2.33注:超級計算機運算速度單位： petaflop/s=千萬億次/秒3.2 集群成為超級計算系統(tǒng)的主流根據(jù)2011年對排行前500名的機器作TOP500統(tǒng)計，TOP500中的Cluster約占82，

15、MPP(含CCNUMA)約占17.8，而其他結(jié)構(gòu)僅占02.集群架構(gòu)的超級計算系統(tǒng)，特別是以采用普通商用芯片和內(nèi)聯(lián)技術(shù)組成的所謂“貝奧伍爾夫集群(Beowulf Cluster)”系統(tǒng)，在近幾年獲得突飛猛進(jìn)的發(fā)展，迅速成為目前高性能計算架構(gòu)的主流在最新的全球500強排名上，確實已有超過80的系統(tǒng)屬于集群系統(tǒng)它大受歡迎的主要原因在于其經(jīng)濟(jì)有效性和公開性，與MPP的不同之處在于，它一般采用廉價的普通IA服務(wù)器為運算節(jié)點，小規(guī)模的系統(tǒng)一般用以太網(wǎng)進(jìn)行內(nèi)聯(lián)，規(guī)模大一點的和性能要求較高的系統(tǒng)多采用InfiniBand、QsNET 或Myrinet作為內(nèi)聯(lián)網(wǎng)絡(luò)，外加免費的、公開的、通用的操作系統(tǒng)(Linux

16、)和并行編程接口(MPI)，使超級計算機的造價告別了天文數(shù)字一個擁有2個服務(wù)器和4用戶站的負(fù)載均衡集群3.3 基于刀片式服務(wù)器的集群架構(gòu)興起刀片服務(wù)器是指在集成了網(wǎng)絡(luò)等I/O接口和供電、散熱、管理等功能的機柜內(nèi)，插入多個卡式（刀片狀）服務(wù)器單元。這些卡式服務(wù)器單元就是通常所說的刀片。刀片本身具有處理器、內(nèi)存、硬盤、主板等部件，與塔式和機架式服務(wù)器的區(qū)別在于I/O接口、供電、散熱和管理等功能全部由機柜統(tǒng)一提供。每個刀片可以獨立安裝自己的操作系統(tǒng)，因此可以把一個刀片看成一個簡化的機架式服務(wù)器。但是刀片本身并不能單獨運行，它依賴于機柜的公用部件，例如電源、散熱等。刀片服務(wù)器是塔式服務(wù)器和機架服務(wù)器之

17、后的又一種服務(wù)器類型，是服務(wù)器技術(shù)的最新發(fā)展。特別是在人們逐漸認(rèn)識到每瓦特計算能力每立方米計算能力的重要性時，刀片服務(wù)器提供了一種切實可行的改進(jìn)方法，它在增加計算密度的同時，大大簡化了系統(tǒng)管理和部署難度，減少了線纜和系統(tǒng)功耗，符合人們當(dāng)前對資源（空間、電力、人力）節(jié)省的訴求。四 高性能計算的發(fā)展方向計算規(guī)模達(dá)千萬億次的高端HPC是服務(wù)于國家的戰(zhàn)略應(yīng)用需求，而計算規(guī)模在萬億次的低端PHPC則是普及HPC，服務(wù)于國家經(jīng)濟(jì)建設(shè).高性能計算的一個發(fā)展方向是可擴展系統(tǒng)，它是研究人員研究千萬億次高性能計算機(high permance computer, HPC) 的主要關(guān)鍵技術(shù);另一個發(fā)展方向是普及型系統(tǒng)，當(dāng)前科研人員主要研究方向是個人高性能計算機(personal high performance computer, PHPC)。綜上所述，超級計算機正在完成一個從