一種分布式查詢處理研究-技術(shù)方案

精品文檔-下載后可編輯一種分布式查詢處理研究-技術(shù)方案網(wǎng)格是一種新興的技術(shù)，正處在不斷發(fā)展和變化當(dāng)中。目前學(xué)術(shù)界和商業(yè)界圍繞網(wǎng)格開展的研究有很多，其研究的內(nèi)容和名稱也不盡相同因而網(wǎng)格尚未有的定義和內(nèi)容定位。比如國外媒體常用“下一代互聯(lián)網(wǎng)”、“Internet2”、“下一代Web”等來稱呼網(wǎng)格相關(guān)技術(shù)。但“下一代互聯(lián)網(wǎng)（NGI）”和“Internet2”又是美國的兩個(gè)具體科研項(xiàng)目的名字，它們與網(wǎng)格研究目標(biāo)相交叉，研究內(nèi)容和重點(diǎn)有很大不同。企業(yè)界用的名稱也很多，有內(nèi)容分發(fā)（ContentsDelivery）、服務(wù)分發(fā)（ServiceDelivery）、電子服務(wù)（e-service）、實(shí)時(shí)企業(yè)計(jì)算（Real-TimeEnterpriseComputing，簡稱RTEC）、分布式計(jì)算Peer-to-PeerComputing（簡稱P2P）、Web服務(wù)（WebServices）等。中國科學(xué)院計(jì)算所所長李國杰院士認(rèn)為，網(wǎng)格實(shí)際上是繼傳統(tǒng)互聯(lián)網(wǎng)、Web之后的第三次浪潮，可以稱之為第三代互聯(lián)網(wǎng)應(yīng)用。

網(wǎng)格中的資源是分布式的，所以基于網(wǎng)格的查詢是分布式查詢。分布式查詢已被廣泛地用于數(shù)據(jù)密集型的應(yīng)用程序，用戶關(guān)心的數(shù)據(jù)存放于多個(gè)位置，而且是異構(gòu)的、分散的和自治的，因此需要提供一種集成數(shù)據(jù)資源的方法。網(wǎng)格資源的異構(gòu)特性及其網(wǎng)格環(huán)境動(dòng)態(tài)變化的特點(diǎn)給分布式查詢處理技術(shù)帶來了新的挑戰(zhàn)，傳統(tǒng)的技術(shù)已經(jīng)不能滿足網(wǎng)格環(huán)境的需要。

1分布式查詢處理原理分析

圖1是一個(gè)典型的分布式查詢處理（DistributedQueryProcessing，DQP）機(jī)制的示意圖，在很多與分布式查詢處理相關(guān)的文獻(xiàn)中都可以看到。這個(gè)圖表示了二個(gè)階段的優(yōu)化，個(gè)階段是單節(jié)點(diǎn)優(yōu)化，第二個(gè)階段是多節(jié)點(diǎn)優(yōu)化。當(dāng)一個(gè)查詢被提交以后，首先經(jīng)過一個(gè)分析過程，分析器根據(jù)數(shù)據(jù)源的元數(shù)據(jù)信息進(jìn)行類型和一致性檢查，將分析結(jié)果表示為一棵樹。然后將這棵樹提交到邏輯優(yōu)化器產(chǎn)生一個(gè)邏輯計(jì)劃，邏輯計(jì)劃表示成另外一棵樹，它的葉子節(jié)點(diǎn)與執(zhí)行查詢所需要的操作符相對(duì)應(yīng)。通過物理優(yōu)化，邏輯計(jì)劃轉(zhuǎn)化成一個(gè)物理計(jì)劃（也是一棵樹）。因?yàn)橐粋€(gè)邏輯操作符可能與很多個(gè)物理操作符相對(duì)應(yīng)，需要使用代價(jià)模型選擇一個(gè)執(zhí)行時(shí)開銷可能的計(jì)劃。邏輯和物理優(yōu)化器組成了單節(jié)點(diǎn)優(yōu)化器并產(chǎn)生了一個(gè)連續(xù)計(jì)劃。

以上介紹了普通的DQP結(jié)構(gòu)，下面結(jié)合網(wǎng)格的特點(diǎn)，給出在以服務(wù)為中心的網(wǎng)格環(huán)境中實(shí)現(xiàn)分布式查詢引擎（DQPE）必須滿足的一些條件。

（1）自適應(yīng)性。網(wǎng)格環(huán)境中數(shù)據(jù)源的統(tǒng)計(jì)信息是不準(zhǔn)確的，而且環(huán)境不可預(yù)測及易變，只根據(jù)編譯時(shí)得到的信息很難產(chǎn)生有效的查詢計(jì)劃。

（2）進(jìn)度監(jiān)控。查詢進(jìn)度的監(jiān)控是實(shí)現(xiàn)自適應(yīng)性的基礎(chǔ)條件，并且必須解決基于OGSA（開放網(wǎng)格服務(wù)體系結(jié)構(gòu)）統(tǒng)一的實(shí)現(xiàn)框架，否則無法在實(shí)際中應(yīng)用。

（3）對(duì)數(shù)據(jù)庫中數(shù)據(jù)和元數(shù)據(jù)的標(biāo)準(zhǔn)訪問。在以服務(wù)為中心的體系結(jié)構(gòu)中，數(shù)據(jù)源都被包裝為服務(wù)，查詢引擎需要訪問數(shù)據(jù)和元數(shù)據(jù)以獲得查詢優(yōu)化時(shí)所需要的信息。

2與DQP設(shè)計(jì)相關(guān)的網(wǎng)格服務(wù)屬性

OGSA為網(wǎng)格中的資源共享提出了一個(gè)以服務(wù)為中心的框架。OGSA首先為網(wǎng)格服務(wù)提出了一套約定和行為，一個(gè)有狀態(tài)的服務(wù)實(shí)例支持可靠和安全調(diào)用、生命周期管理、通知、策略管理和信任狀管理。網(wǎng)格服務(wù)規(guī)范也定義了動(dòng)態(tài)創(chuàng)建服務(wù)實(shí)例和發(fā)現(xiàn)這些實(shí)例的接口。網(wǎng)格服務(wù)能維護(hù)元數(shù)據(jù)，而且支持對(duì)這些元數(shù)據(jù)的查詢。下面著重討論一些與分布式查詢處理引擎實(shí)現(xiàn)有關(guān)的網(wǎng)格服務(wù)屬性。

2.1注冊(cè)和服務(wù)元數(shù)據(jù)

OGSA中的注冊(cè)機(jī)構(gòu)擁有一個(gè)服務(wù)句柄（GSH）列表，每一個(gè)句柄擁有與這個(gè)句柄表示的服務(wù)有關(guān)的靜態(tài)元數(shù)據(jù)信息的一部分。一旦選擇了一個(gè)句柄，就可以進(jìn)一步查詢與這個(gè)服務(wù)相關(guān)的更多的元數(shù)據(jù)。OGSA（OpenGridServicesArchitecture）被稱為是下一代的網(wǎng)格體系結(jié)構(gòu)，它是在原來“五層沙漏結(jié)構(gòu)”的基礎(chǔ)上，結(jié)合的WebService技術(shù)提出來的。OGSA包括兩大關(guān)鍵技術(shù)即網(wǎng)格技術(shù)和WebService技術(shù)。隨著網(wǎng)格計(jì)算研究的深入，人們?cè)絹碓桨l(fā)現(xiàn)網(wǎng)格體系結(jié)構(gòu)的重要。網(wǎng)格體系結(jié)構(gòu)是關(guān)于如何建造網(wǎng)格的技術(shù)，包括對(duì)網(wǎng)格基本組成部分和各部分功能的定義和描述，網(wǎng)格各部分相互關(guān)系與集成方法的規(guī)定，網(wǎng)格有效運(yùn)行機(jī)制的刻畫。顯然，網(wǎng)格體系結(jié)構(gòu)是網(wǎng)格的骨架和靈魂，是網(wǎng)格的技術(shù)，只有建立合理的網(wǎng)格體系結(jié)構(gòu)，才能夠設(shè)計(jì)和建造好網(wǎng)格，才能夠使網(wǎng)格有效地發(fā)揮作用。

注冊(cè)的另外一個(gè)用途就是DQP引擎需要發(fā)現(xiàn)監(jiān)控服務(wù)，它監(jiān)控網(wǎng)格上的計(jì)算資源，并提供有如處理器的數(shù)目、內(nèi)存容量等的統(tǒng)計(jì)信息，還有像某一時(shí)刻某一節(jié)點(diǎn)處理器的負(fù)載、當(dāng)前可用的內(nèi)存、當(dāng)前的網(wǎng)絡(luò)通信量等動(dòng)態(tài)信息。

2.2動(dòng)態(tài)服務(wù)創(chuàng)建和生命周期管理

一個(gè)分布式查詢處理引擎應(yīng)該能動(dòng)態(tài)地利用網(wǎng)格上可用的機(jī)器分發(fā)和執(zhí)行一個(gè)個(gè)查詢子計(jì)劃，這就需要?jiǎng)討B(tài)創(chuàng)建和部署能執(zhí)行這些子計(jì)劃的服務(wù)，并且必須使服務(wù)實(shí)例提交完任務(wù)之后能撤銷，從而釋放它所利用的資源。

2.3通知機(jī)制

網(wǎng)格服務(wù)的狀態(tài)信息會(huì)隨著系統(tǒng)的運(yùn)行而發(fā)生變化。網(wǎng)格服務(wù)之間的許多交互要求動(dòng)態(tài)地監(jiān)控狀態(tài)的變化。通知把一種傳統(tǒng)的發(fā)布（NotificationSource）和訂閱（NotificationSink）范式應(yīng)用于這種監(jiān)控。網(wǎng)格服務(wù)支持一個(gè)接口，以允許其他網(wǎng)格服務(wù)訂閱進(jìn)行變更。

3OGSA環(huán)境中的DQP實(shí)現(xiàn)機(jī)制

這一節(jié)主要介紹在基于OGSA的環(huán)境中執(zhí)行分布式查詢所涉及到的服務(wù)交互。

3.1查詢分析和解釋

圖2中設(shè)計(jì)了四個(gè)主體元素：客戶（Client）、注冊(cè)機(jī)構(gòu)（Registry）、分析器（Parser）和網(wǎng)格數(shù)據(jù)服務(wù)GDS（GridDataService）。Registry是由許多組織共享的一個(gè)虛擬組織注冊(cè)機(jī)構(gòu)。

從圖2中可以看出，客戶提交請(qǐng)求后，分析器為了獲得在類型檢查階段所需要的元數(shù)據(jù)信息，開始搜索與查詢相關(guān)的GDS。實(shí)際上，GDS句柄在DQP實(shí)例被創(chuàng)建時(shí)就已經(jīng)可以得到。分析器訪問GDS，以獲得執(zhí)行任務(wù)所需要的更多的元數(shù)據(jù)。

3.2單節(jié)點(diǎn)優(yōu)化

網(wǎng)格資源監(jiān)控服務(wù)（GRMS）通過圖3所示的注冊(cè)機(jī)構(gòu)注冊(cè)，它部署在網(wǎng)格上并提供關(guān)于計(jì)算資源狀態(tài)的實(shí)時(shí)統(tǒng)計(jì)信息。分析器產(chǎn)生一個(gè)輸出并將其表示為一棵樹后，分布式查詢優(yōu)化器將查閱注冊(cè)機(jī)構(gòu)以獲得在查詢中涉及到的GDS的元數(shù)據(jù)、可用計(jì)算資源的信息以及當(dāng)前計(jì)算負(fù)載。

3.3查詢計(jì)劃的調(diào)度和執(zhí)行

執(zhí)行者（Evaluator）是一個(gè)服務(wù)，它負(fù)責(zé)子計(jì)劃的執(zhí)行。執(zhí)行者工廠（EvaluatorFactory）是一個(gè)服務(wù)，它實(shí)現(xiàn)了網(wǎng)格服務(wù)工廠端口類型（GridServiceFactoryPortType）。正如圖4所示：當(dāng)優(yōu)化器使用從GDSs和GRMSs獲得的元數(shù)據(jù)產(chǎn)生了優(yōu)化的子計(jì)劃后，它要把這些子計(jì)劃分布到各個(gè)節(jié)點(diǎn)上執(zhí)行，其關(guān)鍵是子計(jì)劃與具體的機(jī)器資源的映射。

3.4查詢進(jìn)度監(jiān)控

優(yōu)化器服務(wù)的內(nèi)部部件也值得注意。圖5中解決的主要問題是基于進(jìn)度監(jiān)控的自適應(yīng)行為的處理?？梢允褂肙GSA通知機(jī)制創(chuàng)建一個(gè)進(jìn)度監(jiān)控框架。為了實(shí)現(xiàn)這個(gè)目標(biāo)，優(yōu)化器應(yīng)當(dāng)實(shí)現(xiàn)OGSA信息接收端口類型（NotificationSinkPorttype），并且應(yīng)當(dāng)有一個(gè)內(nèi)部元件監(jiān)聽Evaluators發(fā)來的消息。Evaluators充當(dāng)了一個(gè)信息源的角色。很顯然，進(jìn)度消息的內(nèi)容在這里很重要。