高性能網(wǎng)格并行計算論文

1、高性能網(wǎng)格并行計算摘 要 ：對高性能計算的各種方式進行了分析和比較，并闡述了網(wǎng)格和元計算的關系。通過對當前各種網(wǎng)格工程的透視，論述了網(wǎng)格體系結構和網(wǎng)格服務語義。探討了網(wǎng)格的兩個關鍵特點：異構性和動態(tài)性及其解決方法。對于認識網(wǎng)格概念以及指明未來高性能并行計算發(fā)展方向有一定意義。關鍵詞：網(wǎng)格；高性能計算；開放網(wǎng)格服務體系結構； 異構性1 高性能計算的各種形式1.1 分布式計算所謂分布式計算是指在分布式計算機系統(tǒng)上的程序設計 和實現(xiàn)。而分布式系統(tǒng)又是指由多個地理上分散的計算機經(jīng) 互聯(lián)網(wǎng)連接而成的系統(tǒng)，它是多計算機系統(tǒng)的一種形式，強 調資源、任務、功能和控制的全面分布。就物理資源而言， 包括處理機、輸

2、入輸出設備、通信接口和輔助存儲器等。就 邏輯資源而言，包括進程、任務、文件、表格和數(shù)據(jù)庫等。 早期分布式計算的側重點是分布資源的共享利用，以便減少 購買昂貴設備( )如激光圖形打印機 的開銷。由于分布式計算 系統(tǒng)中有多個處理結點，因此應用任務在各個結點上的負載 平衡也是分布式計算追求的目標。分布式計算主要是支持具 有地理分布特征的應用項目，如飛機售票系統(tǒng)、銀行通存通 兌系統(tǒng)等。而且還能利用分布資源實現(xiàn)容錯功能，但計算任 務的高性能不是它刻意追求的目標。 1.2 并行計算并行計算簡單地說，就是在并行計算機上所做的計算， 它和常說的高性能計算、超級計算是同義詞。并行計算的物 質基礎是高性能并行計算

3、機，如單指令多數(shù)據(jù)流機 、SIMD 并行向量處理機PVP、對稱多處理機SMP、大規(guī)模并行處理 機MPP、工作站機群COW，也包括分布網(wǎng)絡計算機等。任 何超級計算都離不開使用并行技術，從理論上講，沒有因果 關系( )或依賴關系 的兩個事件可以并發(fā)執(zhí)行。直覺上，則是 指兩個事件同時執(zhí)行。開發(fā)并行性的途徑有3種，即時間共 享、空間共享和資源重復。如流水線計算機是通過時間共 享，讓多個部件在時間上交錯重疊地執(zhí)行運算和處理；陣列 處理機利用的是資源重復。由于業(yè)已提供的計算能力總是滿 足不了人類對計算能力的需求，而且這種需求是無止境的， 因此并行計算的宗旨是追求高性能，有時甚至不惜代價去達 到這樣的目標。

4、另外，并行計算理論還不成熟，尚沒有成為 主流計算技術，許多問題有待解決。 1.3 異構計算自 Freund首先提出優(yōu)化選擇理論之后1，異構計算便成 為近年并行處理研究的新臺階。 IEEE每年組織召開一次 HCW(heterogeneous computing workshop)。所謂異構計算， 是指將性能、屬性各異的計算機(如PC、工作站群、向量機 等)，通過高速網(wǎng)絡連成并行計算環(huán)境，充分利用程序和體 系結構的異構性，各盡潛能，合理分治，協(xié)同完成一個計算 任務，使得完成時間最少的過程。形象地說，異構計算如同 交響樂團演奏一首樂曲，各種樂器協(xié)同彈奏，產(chǎn)生最美妙的 樂感。據(jù)報道，許多超級計算機的峰

5、值性能只發(fā)揮了 ，5% 原因是程序特征和體系結構不匹配。異構計算追求的目標正 是充分挖掘程序和機器潛在的特征，并且讓這兩種特征匹 配，從而大大提高任務的執(zhí)行效率。 1.4 元計算元計算概念是伴隨著LAN向WAN、 Internet的發(fā)展過程 中提出來的。要回答什么是元計算，先要搞清楚什么是元系 統(tǒng)、元計算環(huán)境等概念。一般來講，具有存在的主要任務和 根本目標的任何形式的集體均可算是一個元系統(tǒng)。廣義上 講，元系統(tǒng)是一個異構系統(tǒng)，這個系統(tǒng)通過某種網(wǎng)絡將各個 構件無縫地結合在一起，每個構件有自己的分工，完成一種 特定的任務。整個系統(tǒng)將所有構件協(xié)調起來完成一個總體目 標，并對外表現(xiàn)為單一的整體，且構件對

6、外是不可見的。如 果為了計算目的而組建的元系統(tǒng)，則稱之為元計算環(huán)境。在 元計算環(huán)境中開展的程序設計和程序運行，則被稱為元計 算。如果將元計算環(huán)境引入到廣域網(wǎng)范圍內，使得廣域網(wǎng)上 的空閑計算機資源集成和共享起來，對那些亟需科學計算的 用戶提供統(tǒng)一界面的服務，而不必關心用戶提交的任務是如 何劃分的，在何種機器上運行，結果如何收集等，這就是元 計算追求的目標 1.5 網(wǎng)格計算網(wǎng)格計算是在元計算的基礎上發(fā)展起來的，是Internet 應用的新發(fā)展，是在巨型機與互聯(lián)網(wǎng)技術的基礎上推出的一 項新變革，是完成超級計算任務的一種新模式，又稱為虛擬 計算環(huán)境，或全球計算統(tǒng)一平臺。網(wǎng)格試圖實現(xiàn)互聯(lián)網(wǎng)上所 有資源的

7、全面連通和共享，包括計算資源、存儲資源、通信 資源、軟件資源、信息資源等。網(wǎng)格計算需要使用一套能夠 把一個應用程序劃分成能在上千個計算機上執(zhí)行的軟件和機 制，感覺上如同個人使用一臺超級計算機一樣。從學術上 講，網(wǎng)格是分布計算的一種形態(tài)。網(wǎng)格追求的目標來源于人 們對“電力網(wǎng)”的類比理解，人們希望從網(wǎng)格中獲取“計算 或服務”，就像家電用插頭從電力網(wǎng)中獲得“電能”一樣方 便和普及。2 著名的網(wǎng)格工程2.1 Globus工程Globus是美國Argonne國家實驗室的研發(fā)項目，全美有 12所大學和研究機構參與了該工程。 Globus對資源管理、安 全、信息服務及數(shù)據(jù)管理等網(wǎng)格計算的關鍵理論進行研究，

8、開發(fā)了能在各種平臺上運行的網(wǎng)格計算工具軟件。 工Globus 程的目標是闡明網(wǎng)格化應用的需求和開發(fā)必要的技術來滿足 這些需求。 Globus系統(tǒng)的主要部分是Globus元計算工具軟 件，提供了實現(xiàn)高層服務需使用的底層機制。 Globus最重要的成果是 Globus Toolkits ，它是開放代 碼， 第1版在1999年推出 ,目前可得到的版本是 。Release 2.2 另外，基于OGSA機制的下一代Globus Toolkits 3.0即將推 出。 Globus技術已在NASA網(wǎng)格(NASA IPG)、歐洲數(shù)據(jù)網(wǎng)格 (Data Grid)、美國國家技術網(wǎng)格(NTG)等10多個網(wǎng)格工程中 得

9、到了廣泛應用。 2.2 Legion工程Legion工程是基于對象的元系統(tǒng)軟件2。它始于 1993 年， 由Virginia大學的課題研究組開發(fā)。 Legion工程的目標 是在一定的原則下構建高可用的、有效的、可擴展的系統(tǒng)。 Legion工程研究的關鍵問題是可擴展性、易編程性、容錯和 安全等。它支持應用代碼級的大規(guī)模并行計算，以及物理系 統(tǒng)復雜性的管理。 Legion工程開發(fā)了一個豐富的對象模型來 提供元計算服務，它提供了一個編程工具集、一個人機交互 的環(huán)境，以及一個應用程序請求元計算的執(zhí)行環(huán)境。在一個 Legion應用程序里，分布的構件被看作對象。2.3 Condor工程Condor工程 于

10、 20 世 紀 80 年代中期開始于 Wisconsin Madison ,大學是具體實現(xiàn)元計算含義的最初的平臺之一2。 一個Condor機群由局域網(wǎng)互聯(lián)的同構的工作站組成。 Condor 主要思想是認為并不是所有時刻、所有工作站都是忙碌的。 因此，在空閑機器上的CPU周期可以用來處理其它待執(zhí)行的 任務。 Condor網(wǎng)格包含一臺作為中央資源管理器的機器，它 負責把任務分配到其它空閑的Condor結點上。所有其它的 Condor結點運行兩個守護進程，一個負責與中央資源管理器 協(xié)商，并把本地任務遷移到其它機群上；另一個負責當該結 點空閑時通知中央資源管理器。 2.4 Ninf工程和Netsolv

11、e工程Ninf工程始于1995年，由日本開發(fā)，旨在構造一個強大 的 、 靈 活 的 網(wǎng) 絡 使 能 服 務 (NES) 系 統(tǒng) 。 Netsolve 是 由 Innovative Computing Laboratory開發(fā)的基于RPC /的客戶機 代 理/服務器系統(tǒng)2。 Ninf工程和Netsolve工程都以科學計算應 用為目的，它們鏈接有著名的數(shù)學庫，如ScaLAPACK. Ninf 和Netsolve使用一系列RPC函數(shù)調用的作為編程接口，用來 取代傳統(tǒng)的庫函數(shù)，通過極少量的代碼修改和重新編譯，應 用程序使用這些系統(tǒng)是可能的。這兩個系統(tǒng)非常相似，所以 開發(fā)了一個“橋”，用來轉換兩系統(tǒng)間的

12、內部數(shù)據(jù)格式，就 能使用彼此的資源。近來，兩個系統(tǒng)能夠與其它的元計算環(huán) 境接合， 如 和Globus Condor系統(tǒng)。 Ninf和Netsolve的不足是 被局限在數(shù)學應用上。 3 網(wǎng)格體系結構描述網(wǎng)格體系結構的目的不是提供對所需的協(xié)議和服務 進行完整羅列，而是闡明各組成部分的需求和關聯(lián)。一般用 “沙漏模型”來描述網(wǎng)格的層次結構，如圖1，兩頭大中間 小，最上層是應用服務，最下層是各種網(wǎng)格資源，中間層是 網(wǎng)格資源管理核心件。同時，每層的組成和功能可以利用其 任意下層的能力和行為來構建。并且如圖1所示的結構抽象 層次很高，在設計和實現(xiàn)上幾乎沒作什么限制。 圖 1 Globus協(xié)議結構及與互聯(lián)網(wǎng)協(xié)

13、議的關系構造層是物理或邏輯實體，它實現(xiàn)本地的具體資源的構造層是物理或邏輯實體，它實現(xiàn)本地的具體資源的操 作。連接層定義網(wǎng)格中網(wǎng)絡事務的通信與認證控制的核心協(xié) 議，構造層提交的各種資源間的數(shù)據(jù)交換都在這一層的控制 下實現(xiàn)，各資源間的認證、安全控制也在這里實現(xiàn)。資源層 的作用是對單個資源實施控制，資源和連接層形成了“沙漏 模型”的瓶頸。匯集層的作用是將資源層提交的受控資源匯 集在一起，供虛擬組織3的應用程序共享、調用。應用層是 網(wǎng)格上用戶的應用程序。應用程序通過各層的API調用相應 的服務，再通過服務調用網(wǎng)格上的資源來完成任務。 4 網(wǎng)格異構性及其解決方法從哲學的角度來說，同構是相對的，異構是絕對

14、的4。 基于Internet的信息系統(tǒng)無處不存在異構性，主要體現(xiàn)在以 下方面：計算機硬件平臺的異構性，網(wǎng)格中進行計算的服務 器可以是大型機、小型機、工作站或PC. 這些機器在計算機 體系結構和指令系統(tǒng)上的都存在異構性?；A操作系統(tǒng)的異 構 性 ， 網(wǎng) 格 上 計 算 機 的 基 礎 操 作 系 統(tǒng) 可 以 是 、Unix Windows NT、 Mac等。操作系統(tǒng)之間的文件系統(tǒng)、命名規(guī) 則、文件類型、操作命令的解析和執(zhí)行、進程之間的通信機 制不可能相同。數(shù)據(jù)庫的異構性，網(wǎng)格中可以有一個或多個 數(shù)據(jù)庫系統(tǒng)。最流行的是關系型數(shù)據(jù)庫系統(tǒng)， 如 、Oracle Sybase、 SQL Server等。

15、也可采用由不同數(shù)據(jù)模型的數(shù)據(jù) 庫，如關系、模式、層次、網(wǎng)絡、面向對象型數(shù)據(jù)庫共同組成一個異構數(shù)據(jù)庫系統(tǒng)。此外，還有通信網(wǎng)絡、應用程序、信息本身的異構性。下面是異構性的一些解決辦法： (1)制定統(tǒng)一的規(guī)范、 協(xié)議，通過制定統(tǒng)一的規(guī)范和接口，使網(wǎng)格中的服務標準 化，用戶訪問網(wǎng)格中的共享資源都遵循統(tǒng)一的協(xié)議，調用標 準的接口來獲得所需要的服務。如在網(wǎng)格系統(tǒng)中，可利用 Web服務描述語言(WSDL)來描述所有的資源，屏蔽資源的 異構性。 (2)采用轉換機制和代理，在網(wǎng)格系統(tǒng)中，由于硬 件、操作系統(tǒng)、體系結構、數(shù)據(jù)庫等眾多資源的異構性，用 戶在請求利用這些異構資源時，必須對分配到這些異構資源 上的服務請

16、求進行合理的轉換。采用代理的方法是一種行之 有效的轉換機制。 (3)采用虛擬機(VM)技術（這也是隱藏異 構性的一種方法），用戶通過虛擬機提供的標準接口訪問異 構資源，而標準接口的具體實現(xiàn)由各異構資源提供者負責落 實，因此用戶感覺不到請求的資源的異構性。 和Java VM PVM是比較成功的采用虛擬機技術實現(xiàn)跨平臺、屏蔽異構 性的典型例子。 Java源程序經(jīng)過編譯成為UniCode代碼，并 利用不同操作系統(tǒng)上的Java VM轉化為本地的機器代碼執(zhí) 行，從而實現(xiàn)了Java源程序的平臺無關性。 (4)邏輯與物理的 映射，在網(wǎng)格系統(tǒng)中把物理資源都映射成邏輯資源，網(wǎng)格成 為邏輯共享資源的集合。一個或多

17、個物理資源可以映射到一 個邏輯資源，一個物理資源也可以映射成多個邏輯資源。用 戶通過訪問邏輯資源的形式間接訪問物理資源，映射關系負 責屏蔽資源的異構性。 URL是運用邏輯與物理資源映射技術 的成功實例。5 網(wǎng)格動態(tài)性及其解決方法動態(tài)性是網(wǎng)格的另一關鍵特征，表現(xiàn)在：網(wǎng)格規(guī)模和配 置是動態(tài)變化的；網(wǎng)格資源的利用率和服務質量是可調節(jié) 的；網(wǎng)格中服務請求是隨機的；網(wǎng)格中資源故障事件是不可 預測的；網(wǎng)格結點協(xié)同合作是不固定的。網(wǎng)格的動態(tài)性增加 了網(wǎng)格資源利用和管理的復雜性，為了充分地利用網(wǎng)格中的 共享資源，以下是一些解決方法： (1)預約，由于網(wǎng)格中共 享資源的動態(tài)性，一個資源在當前時間是可用的，但不能

18、保 證在以后的某一時刻是可用的。通過預約機制對用戶請求的 資源進行預約，保證用戶可以擁有必要的資源，從而順利地 完成應用程序的執(zhí)行。如在賓館預定了某一天的房間，而不 用擔心當天可能定不到房間。然而預約請求也會增加網(wǎng)格內 新資源協(xié)作的成本5。 (2)協(xié)商， 用戶不能無期限地獨占網(wǎng)格 中的共享資源。因此，資源的消費者應該與資源的提供者協(xié) 商資源使用的生命期。當請求的共享到達協(xié)商的生命期時， 共享資源被回收，以提供給其它的需要此共享資源的用戶使 用。資源的生命期是資源提供者與消費者雙方共同協(xié)商的結 果。資源的消費者可能希望更長時間地占用此資源，而資源 提供者則希望每個消費者占用資源盡量少的時間，以便

19、更多 的消費者可以使用該資源。 (3) -生產(chǎn)者 消費者模型方法，網(wǎng) 格中可利用的共享資源是動態(tài)的，不斷有新資源產(chǎn)生，也隨 時有因不可預測的原因而變得不可用的資源。生產(chǎn)者 消 費- 者模型用于管理動態(tài)的資源。當某些共享資源因利用率過高 而負載太重時，消費者將進行排隊等待資源生產(chǎn)者產(chǎn)生的共 享資源，資源的利用將依據(jù)一定的優(yōu)先規(guī)則，公平、有序地 進行著，從而保證動態(tài)資源的合理使用。 (4)自適應方法， 事實上，由于網(wǎng)格資源的動態(tài)特征，共享資源經(jīng)常只有在運 行時才能確定。因此，成功的應用任務必須能夠自我調節(jié)配 置，以適應動態(tài)的網(wǎng)格執(zhí)行環(huán)境，使它們的動作適應資源特 征的不斷變化。例如， 在Globus

20、網(wǎng)格工程中提出構建一個自 適 應 廣 域 資 源 環(huán) 境 (Adaptive Wide Area Resource Environment)來配置應用問題和優(yōu)化性能5。 (5) 容錯，資源 故障是無法避免的，也是不可預測的。它影響了應用任務的 順利執(zhí)行，降低了服務質量。容錯是解決資源故障問題的有 效方法,但也帶來其它一些問題，如降低資源利用率、增加系統(tǒng)復雜性等。 6 網(wǎng)格服務語義6.1 Web 服務Web 服務描述了一種重要的分布式計算示例，不同于 DCE、 CORBA、 Java RMI這樣簡單的、基于Internet標準的 分布式計算途徑，它強調異構分布式計算。 Web服務是一種 中性編程

21、語言、編程模型和系統(tǒng)軟件。 Web服務標準由W3C 等標準組織定義，已成為主要新工業(yè)技術的基礎，如 Microsoft的 .NET、 IBM的 Dynamic e-Business 和 的Sun Sun ONE. Web服務中有3個很重要的標準： 和SOAP, WSDL WSInspection. Web服務框架有兩個優(yōu)勢： (1)在異構環(huán)境里支持動態(tài)發(fā)現(xiàn)和組合服務，定義注冊機制和發(fā)現(xiàn)機制的接口，并 為具體的接口動態(tài)生成基于綁定的代理機制； (2)廣泛使用Web服務機制意味著基于Web服務的框架可以利用許多工具 及擴展服務， 如WSDL處理器、工作流系統(tǒng)等。6.2 Grid 服務Grid 服務

22、是一種提供良好接口集和遵循具體約定及協(xié) 議的Web服務6。 Grid服務的接口集強調資源的發(fā)現(xiàn)、動態(tài) 服務創(chuàng)建、生命周期管理、通知和可管理性。 Grid服務的約 定和協(xié)議強調命名、可升級性、授權和流控制。今后， Grid 服務還將考慮授權和并發(fā)控制。 Grid服務的接口和約定，特別考慮了關系到臨時服務實例管理的行為。虛擬組織參與者維護的不僅是一個永久靜態(tài)的服務集，它們需要動態(tài)地創(chuàng)建新的臨時服務實例，這些實例處理與特定的活動狀態(tài)相聯(lián)系的管理和交互，當活動狀態(tài)不再需要時，服務就被撤消。6.3 OGSA、 Globus Toolkits、 Web的聯(lián)系開放式網(wǎng)格服務體系結構(OGSA) (是將網(wǎng)格關

23、鍵技術 包 括Globus Toolkits)和Web服務機制集成起來，面向網(wǎng)格服務 而創(chuàng)建的一種分布系統(tǒng)框架。 OGSA的基本假定是把任何東 西都表示成服務6，具體地說，就是Grid服務。計算資源、 存儲資源、網(wǎng)絡、數(shù)據(jù)庫等都是服務。一個Grid服務實例就 是滿足一組約定和規(guī)范的服務。采用這種統(tǒng)一的面向服務的 模型意味著環(huán)境中的任意構件都是虛擬的。 OGSA的產(chǎn)生代表了Globus Toolkits 2.0的自然發(fā)展，雖然在Globus Toolkits中存在著工廠、注冊、可靠的和安全的 調用等概念，但不如 在 OGSA中的通用、靈活。 Globus Toolkits是OGSA實現(xiàn)的基礎。 OGSA的完善也代表了 服Web 務的自然發(fā)展。通過利用存在的Web服務技術集成支持臨時 的、有狀態(tài)的服務實例 , OGSA擴展了 Web服務框架的能 力。 7 結語網(wǎng)格是新生事