網(wǎng)格的可擴展體系結構研究

1、 e-Science 網(wǎng)格的可擴展體系結構研究 黃理燦 浙江大學計算機學院、計算機應用專業(yè) 提 要 e-Science主要研究科學領域的全球合作以及與之相適應的根底體系結構，它將對未來的科學研究方式產(chǎn)生革命性的影響。網(wǎng)格Grid是使e-Science成為可能的根底體系結構。 本文的主要奉獻有：1 提出了虛擬動態(tài)分層體系結構Virtual and Dynamic Hierarchical Architecture, VDHA ，用于解決e-Science 網(wǎng)格的動態(tài)和可擴展性問題。 VDHA結構綜合了C/S模式和P2P模式的優(yōu)點，并克服了它們的缺點。2 提出了高效的可擴展的效勞發(fā)現(xiàn)協(xié)議，包括完全

2、查詢和發(fā)現(xiàn)協(xié)議、領域相關查詢和發(fā)現(xiàn)協(xié)議。3 提出了基于PKI的可擴展的平安體系結構， 包括身份認證和訪問控制。4 提出了基于本體論的網(wǎng)格效勞描述語言(OGSDL)。旨在效勞的自動發(fā)現(xiàn)和自動執(zhí)行。5 實現(xiàn)了一個可擴展的網(wǎng)格系統(tǒng)原型VDHA_Grid。6 提出了應用于VDHA_Grid網(wǎng)格監(jiān)控的模型。 7 提出了基于VDHA文件共享效勞和虛擬學術討論效勞模型，提出了基于VDHA的異質信息共享效勞和知識檢索效勞原型?？蓴U展的e-Science網(wǎng)格的體系結構的研究動機 1。目前主流網(wǎng)格技術Globus 和Web Service 技術其設計思想都是集中式、基于C/S模式的。具有如下問題: 管理困難、實現(xiàn)

3、困難、空間復雜度困難、時間復雜度困難等等。同時，存在因單點失敗引起整個系統(tǒng)崩潰的問題。2。Peer to Peer具有可擴展性、容錯性等特點，然而它在平安性、體系結構等方面還存在不少缺陷。3。將目前的網(wǎng)格主流技術與P2P技術相結合，形成可擴展的、基于語義的網(wǎng)格體系結構，這是一項非常有理論和應用價值的重要工作。 e-Science 與 網(wǎng)格 e-Science 的精髓：基于網(wǎng)絡的共享與協(xié)作。 共享：科研設施、信息、人才等的共享。 協(xié)作：共同完成某一項研究。 e-Science 歷史： 2000年11月英國John Taylor 宣布1.2 億英鎊的3年方案而得名。 參加單位： 英國經(jīng)濟和社會研究

4、機構ESRC、 英國自然環(huán)境研究機構NERC 英國生物技術和生物科學研究機構BBSRC、 英國醫(yī)學研究機構MRC、 英國工程與物理科學研究機構EPSRC、 英國粒子物理與天文學研究機構PPARC、 英國中心研究實驗室機構CLRC e-Science 與 網(wǎng)格 e-Science 方案： 第一階段：開始網(wǎng)格研究， 進行e-Science 測試床的開發(fā)和支持工作。 第二階段： 是使第一階段的研究成果到達成熟和分發(fā)的使用的地步。 e-Science 與 網(wǎng)格 一個未來的科學研究的工作流程的場景 網(wǎng)格Globus 與 Web ServicePeer to PeerC/S模式集中目錄效勞器模式純P2P模

5、式無結構有結構DHT e.g. Chord, CAN etc.)E-Science 網(wǎng)格我們把用于科學研究，其節(jié)點主要位于大學或研究機構的網(wǎng)格系統(tǒng)稱之為e-Science網(wǎng)格。e-Science網(wǎng)格節(jié)點一般是穩(wěn)定的。一般地，人們不會有意頻繁地參加或退出節(jié)點。另外，節(jié)點主機一般有人負責管理。節(jié)點主機可以是從超 級計算機到PC效勞器的各種性能的主機。在e-Science網(wǎng)格中，一般相關領域的科研機構會建立虛擬組織進行某一工程的合作研究。通常，某一虛擬合作研究工程由學術帶頭人牽頭組織。 這些虛擬組織有長期存在的組織，也有臨時的組織。 此外，全球協(xié)作研究的方式必須建立在體系結構的自治機制上，允許節(jié)點進

6、入和離開e-Science網(wǎng)格系統(tǒng)。 E-Science 需要解決計算密集型的問題， E-Science需要解決數(shù)據(jù)密集型的問題， e-Science 需要解決異構的信息共享和合作問題，和解決地理上分散的知識的語義問題。所以，e-Science網(wǎng)格包括了計算網(wǎng)格、信息網(wǎng)格和知識網(wǎng)格的內(nèi)容。e-Science網(wǎng)格不是完全無政府的，必須是可管理的。 虛擬動態(tài)分層體系結構虛擬動態(tài)分層體系結構Virtual and Dynamic Hierarchical Architecture，簡稱VDHA具有自主性、可擴展性、移動計算、方便權限管理，以及效勞和資源的高效和精確發(fā)現(xiàn)等特點。包含核心層和周圍層, 核

7、心層由網(wǎng)格節(jié)點所組成，周圍層包括臺式機、筆記本、PDA、傳感器和其它網(wǎng)絡等。所有外圍設備均通過有線或無線方式，經(jīng)由接入節(jié)點entrance進入VDHA_Grid網(wǎng)格系統(tǒng)。節(jié)點的角色可以是普通節(jié)點、網(wǎng)關節(jié)點、協(xié)調者、接入節(jié)點和所有者節(jié)點。節(jié)點可以是其中之一或同時是這些角色中的幾個。 虛擬動態(tài)分層體系結構定義 1 網(wǎng)格節(jié)點是網(wǎng)格系統(tǒng)中的節(jié)點定義 2 接入節(jié)點Entrance node，符號為ent) 是一網(wǎng)格節(jié)點，接入節(jié)點是用戶登錄進入網(wǎng)格系統(tǒng)的接入點。 定義 3 所有者節(jié)點Owner node，符號為 ow) 是一管理用戶的網(wǎng)格節(jié)點。 定義4 用戶User 符號為user) 是利用網(wǎng)格系統(tǒng)的角色

8、。用戶僅被自己的所有者節(jié)點管理，而不是被整個網(wǎng)格系統(tǒng)管理。 定義 5 客戶機Client host，符號為 cli) 是用戶用以登錄網(wǎng)格和進行事物處理的設備如臺式機、掌上機、移動計算機等。 定義 6 網(wǎng)關節(jié)點Gateway node，符號為gn) 是在幾個不同層次的虛擬組織行使協(xié)調功能的節(jié)點。 定義 7 虛擬組Virtual group 符號為 VG) 為網(wǎng)格節(jié)點虛擬形成的組。 VGi 表示這個虛擬組在第i層，它的名稱為。 定義 8 虛擬組協(xié)調者Coordinator of virtual group，符號為cvg) 為在虛擬組中起協(xié)調作用的網(wǎng)關節(jié)點。cvgi 是一個網(wǎng)關節(jié)點，他在第i層名稱為

9、 的虛擬組中起協(xié)調者的作用。定義 9 虛擬組樹Virtual group tree，符號為 VGT) 是由虛擬組形成的分層樹。定義10 VDHA為至少深度為2的虛擬組樹。VDHA 具有在網(wǎng)格節(jié)點數(shù)量、層次、虛擬組組成等方面的動態(tài)特點。 e-Science網(wǎng)格的可擴展體系結構 圖1。VDHA_Grid的網(wǎng)絡結構圖和VDHA的結構 網(wǎng)格組管理協(xié)議Grid Group Management Protocol (GGMP) 網(wǎng)格組管理協(xié)議管理成員的申請參加或退出，以及維持VDHA的虛擬組樹。協(xié)議的主要思想為：如果存在節(jié)點的變化例如參加或退出，這些變化將傳至協(xié)調者節(jié)點，協(xié)調者節(jié)點將把這些變化傳到此協(xié)調者

10、節(jié)點本身所在的組的成員以及相鄰兩組的成員。如果網(wǎng)關節(jié)點需要變更，在線具有最大權值的節(jié)點將成為網(wǎng)關節(jié)點。 可擴展網(wǎng)格系統(tǒng)的體系結構 圖2 可擴展網(wǎng)格系統(tǒng)VDHA_Grid的體系結構 Service requestorService registryService providerServiceService descriptionPublish, OGSDLSecurity serviceFind, QDP, OGSDLBindA Grid nodeSecurity, SGSI 基于本體論的網(wǎng)格效勞描述語言OGSDL 圖3 OGSDL的語言層次VDHA_Grid的層次結構可擴展的網(wǎng)格信息效勞完全

11、查詢和發(fā)現(xiàn)效勞協(xié)議 Full Search Query and Discovery Protocol (FSQDP)，具有時間復雜性O(logN)、空間復雜性O(logNvg)以及消息復雜性 O(N)N為網(wǎng)格節(jié)點總數(shù)，Nvg 為組節(jié)點數(shù)。領域相關查詢和發(fā)現(xiàn)效勞協(xié)議Domain-Specific Query and Discovery Protocol (DSQDP) ，具有具有時間復雜性O(logNvg) 、空間復雜性O(logNvg)以及消息復雜性O(logNvg) ?？蓴U展的網(wǎng)格信息效勞 1 。完全查詢和發(fā)現(xiàn)協(xié)議FSQDP 虛擬組成員個數(shù)對響應時間的影響虛擬組樹層數(shù)對響應時間的影響 可擴展

12、的網(wǎng)格信息效勞 1 。領域相關查詢和發(fā)現(xiàn)協(xié)議DSQDP 可擴展的平安體系結構 身份認證的體系結構 身份認證登錄協(xié)議 由效勞實例創(chuàng)立與撤消效勞協(xié)議-II型SCDSIP-II Step 1: sij.send (request-creation-instance, SLMSi) Step 2: SLMSi authenticates with SLMSk Step 3: If the user pays for the service Skl Right = ACP (SLMSk, user, spkl) Else Right= ACP (SLMSk, sij, spkl) Step 4: If

13、Right FAIL Then SLMSk creates instance of skl; SLMSk.send (success-create-instance, SLMSi); SLMSi.send (success-create-instance, sij); Else SLMSk.send (fail-access-service, SLMSi); SLMSi.send (fail-access-service, sij); 訪問控制模型 VDHA_Grid的監(jiān)控效勞、資源分配及管理效勞 分層集中式的網(wǎng)絡監(jiān)控效勞的體系結構 VDHA_Grid 的MCS消息流向圖 消息流向圖分層領域相

14、關的網(wǎng)格資源分配與管理效勞(HDGRAM) 領域相關的資源分配與任務調度HDGRAM 的模擬分析 節(jié)點數(shù)和完成的任務數(shù)對花費的時間的影響原型系統(tǒng)VDHA_Grid的實現(xiàn) VDHA_Grid 基于消息的實現(xiàn)類ServiceClass 代碼 import java.io.*;import java.util.*;import .*;import java.util.Hashtable;abstract public class ServiceClass protected Hashtable nodeStatus; protected String strparameters = new Stri

15、ng(); protected String strResultExcute = null; abstract public void doService(); public String nodeIP; public String port; public void putNodeIP(String Ip) nodeIP = Ip; public void putPort(String strport) port = strport; public void putHashNodestatus(Hashtable nodeStatus) nodeStatus = nodeStatus; pu

16、blic Hashtable getHashNodestatus( ) return nodeStatus; public void putstrParameters(String paras) strparameters = paras; public String getstrParameters( ) return strparameters; public String getstrResult() return strResultExcute; 原型系統(tǒng)VDHA_Grid的實現(xiàn) VDHA_Grid 的主要界面 基于VDHA的e-Science網(wǎng)格原型系統(tǒng) 虛擬合作中心e-Scienc

17、e網(wǎng)格網(wǎng)格分層示意圖 文件共享效勞結構 文件共享效勞UML圖 文件共享效勞結果 基于VDHA的分布式知識檢索效勞結果 展望 如果許多用戶在同一時間同時使用DSQDP協(xié)議， 由于消息都需要傳到根虛擬組的協(xié)調者， 所以造成根虛擬組協(xié)調者節(jié)點的通信擁塞和消耗大量的計算時間。 為了防止此類情況，用DHT的方法將協(xié)調者組成一個基于DHT的P2P網(wǎng)絡。當消息傳遞到這一層次的協(xié)調者時，采用DHT的方法找到符合條件的協(xié)調者，然后，由此協(xié)調者按DSQDP協(xié)議搜索到滿足條件的節(jié)點。 將來的工作是具體實現(xiàn)。我們將來的工作在于進一步完善VDHA_Grid原型，使之能夠發(fā)布給其他機構使用。Thanks Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Tha