基于網(wǎng)格技術(shù)的實(shí)時洪水預(yù)報(bào)建模方法

基于網(wǎng)格技術(shù)的實(shí)時洪水預(yù)報(bào)建模方法

1實(shí)時洪水預(yù)報(bào)方法研究準(zhǔn)確、有效的實(shí)時洪水預(yù)算模式可以為行政部門提供高質(zhì)量的信息支持，確保重大決策的科學(xué)有效性，盡量減少洪水造成的損失。但由于實(shí)時洪水預(yù)報(bào)建模涉及流域面積往往較大、范圍較廣、預(yù)報(bào)點(diǎn)較多,暴雨、洪水特點(diǎn)時空變化大,再加上水文等歷史資料數(shù)量龐大且來源復(fù)雜,導(dǎo)致其難度很高。正是由于實(shí)時洪水預(yù)報(bào)模型的重大意義及其難度較高,它已經(jīng)成為預(yù)報(bào)領(lǐng)域的研究熱點(diǎn),相關(guān)研究人員做了大量的工作。夏達(dá)忠等介紹了一種分布式實(shí)時洪水預(yù)報(bào)方案構(gòu)建的方法,以期通過分布式技術(shù)的應(yīng)用來提高實(shí)時洪水預(yù)報(bào)及建模的精度和效率。番華芬等對流域產(chǎn)流的物理過程進(jìn)行了分析,采用系統(tǒng)分析的方法,將流域匯流過程視為流域的系統(tǒng)作用,建立了地表徑流和地下匯流的計(jì)算模型。湯成友等研究了水箱模型的結(jié)構(gòu),并將之用于大尺度流域?qū)崟r洪水預(yù)報(bào)中。李致家等針對行蓄洪區(qū)復(fù)雜河道的特點(diǎn),提出了行蓄洪區(qū)的計(jì)算與預(yù)報(bào)方法,使得卡爾曼半自適應(yīng)濾波模型可以用于復(fù)雜河道行蓄洪的調(diào)度和實(shí)時洪水預(yù)報(bào)。但是,目前針對實(shí)時洪水預(yù)報(bào)建模的研究多局限于預(yù)報(bào)模型本身的改進(jìn)和應(yīng)用,基于計(jì)算力提高和資源共享方面的研究還很不足。介紹了利用網(wǎng)格工作流的思想對建模過程進(jìn)行結(jié)構(gòu)劃分,并對其進(jìn)行整體描述和任務(wù)解構(gòu),以期通過網(wǎng)格技術(shù)整合異構(gòu)計(jì)算力和信息資源的能力,實(shí)現(xiàn)問題的快速有效求解。最后通過具體的應(yīng)用實(shí)例,證實(shí)了其可行性。2中小型數(shù)據(jù)庫的網(wǎng)格設(shè)計(jì)及其基本理論美國阿爾貢國家實(shí)驗(yàn)室(argonnenationallaboratory)的資深科學(xué)家、美國著名的網(wǎng)格計(jì)算項(xiàng)目Globus的主持人IanFoster,在1998年編著出版的《網(wǎng)格:一種新計(jì)算基礎(chǔ)設(shè)施的藍(lán)圖》中給出網(wǎng)格的定義:“網(wǎng)格是構(gòu)建在Internet上的一組新興技術(shù),它將高速互聯(lián)網(wǎng)、高性能計(jì)算機(jī)、大型數(shù)據(jù)庫、傳感器、遠(yuǎn)程設(shè)備等融為一體,為科技人員和普通百姓提供更多的資源、功能和交互性?！?001年,IanFoster又將網(wǎng)格定義為:“支持在動態(tài)變化的分布式虛擬組織(VO-virtualorganizations)間共享不同資源,協(xié)同問題解決的系統(tǒng)。所謂虛擬組織就是一些個人、組織或資源的動態(tài)組合?！本W(wǎng)格的基本思想是將分布的資源組合起來,形成一個無縫集成的資源共享和協(xié)作環(huán)境,它能夠通過在個人、組織和資源之間實(shí)現(xiàn)安全、協(xié)調(diào)的資源共享來創(chuàng)建動態(tài)虛擬組織,支持在動態(tài)虛擬組織中安全地使用共享資源,即使用地理上和組織上分布的組建構(gòu)建虛擬計(jì)算系統(tǒng),并將這些虛擬計(jì)算系統(tǒng)充分地整合,以解決特定的科學(xué)、工程或商業(yè)問題。網(wǎng)格采用了層次式的體系結(jié)構(gòu),已經(jīng)從最初的五層沙漏體系結(jié)構(gòu)發(fā)展到了OGSA(OpenGridServiceArchitecture,開放網(wǎng)格服務(wù)結(jié)構(gòu))的網(wǎng)格體系結(jié)構(gòu),它的核心思想是“服務(wù)”,將包括計(jì)算機(jī)程序在內(nèi)的數(shù)據(jù)和儀器設(shè)備等抽象為服務(wù),通過統(tǒng)一的標(biāo)準(zhǔn)接口來管理和使用。3幾何模型的改進(jìn)。據(jù)經(jīng)驗(yàn)實(shí)時洪水預(yù)報(bào)主要包括流域特征了解、建模特征值確定、資料準(zhǔn)備和預(yù)報(bào)建模四個環(huán)節(jié)過程。最終的預(yù)報(bào)都?xì)w結(jié)到了模型的求解,模型是否能夠有效反映流域下墊面、水文、氣象等信息,決定了預(yù)報(bào)是否準(zhǔn)確,可見預(yù)報(bào)建模是實(shí)時洪水預(yù)報(bào)中最為重要的一環(huán)。預(yù)報(bào)建模又稱預(yù)報(bào)方案建立,主要涉及模型選擇、模型參數(shù)確定、模型分析檢驗(yàn)和模型結(jié)構(gòu)改進(jìn)。預(yù)報(bào)建模本質(zhì)上是一個參數(shù)率定的過程,需要用到大量的流域水文、氣象、地質(zhì)等數(shù)據(jù)來反演推算合適的參數(shù)值。在實(shí)際操作過程中,往往是通過有關(guān)部門使用復(fù)印或者拷貝的方式來獲取資料。但由于實(shí)際水文資料龐大且存儲地點(diǎn)和存儲格式具有較強(qiáng)的異構(gòu)特性,獲取和使用都極為困難,導(dǎo)致建模過程往往資料不全或者不夠典型,為精確預(yù)報(bào)建模帶來了極大的困難。不僅資料的獲取上制約了建模過程,而且由于模型自身包含了大量的參數(shù),且參數(shù)率定過程需要經(jīng)過大量反復(fù)的試算,計(jì)算量極為龐大,特別是針對大流域模型的建立過程,小型計(jì)算機(jī)根本無法勝任。由上述可知,信息資源不能有效共享和計(jì)算力不足是導(dǎo)致建模不夠準(zhǔn)確和困難的主要原因,根據(jù)預(yù)報(bào)建模的特點(diǎn)與需求,本文提出了將網(wǎng)格技術(shù)引入建模過程的思路,它將分散在不同物理地點(diǎn)的數(shù)據(jù)和計(jì)算機(jī)通過網(wǎng)格技術(shù)連接起來,用戶在使用已經(jīng)加入網(wǎng)格系統(tǒng)的資源時,就像在使用本地資源一樣方便,這樣既簡化了信息資源的獲取過程也實(shí)現(xiàn)了網(wǎng)絡(luò)上大量閑置計(jì)算力的整合,從而大大降低了建模難度,縮短了建模周期。4在網(wǎng)格環(huán)境下，系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)4.1資源層、應(yīng)用層本文基于網(wǎng)格技術(shù),建立了實(shí)時洪水預(yù)報(bào)建模系統(tǒng),引入“原子”的概念來定義細(xì)粒度服務(wù),使用SOA(ServiceOrientedArchitecture,面向服務(wù)的體系結(jié)構(gòu))理念實(shí)現(xiàn)應(yīng)用服務(wù)的集成。其體系結(jié)構(gòu)如圖1所示:(1)資源層。資源層位于系統(tǒng)的最底層,為整個系統(tǒng)提供資源服務(wù),包括數(shù)據(jù)資源、計(jì)算資源、軟件資源、存儲資源等。由于這些資源具有較強(qiáng)的異構(gòu)特點(diǎn),資源層通過建立映射表的方式將這些資源集成起來,形成了一個虛擬的數(shù)據(jù)庫,并通過跨平臺語言開發(fā)的網(wǎng)格中間件對外提供標(biāo)準(zhǔn)調(diào)用接口,實(shí)現(xiàn)資源的動態(tài)共享,以及在網(wǎng)絡(luò)環(huán)境中的使用。網(wǎng)格環(huán)境下的資源層不僅為解決傳統(tǒng)預(yù)報(bào)建模過程中的數(shù)據(jù)缺乏提供了物質(zhì)基礎(chǔ),也為解決計(jì)算力不足問題提供了結(jié)構(gòu)保障。(2)網(wǎng)格服務(wù)管理層。網(wǎng)格服務(wù)管理層通過中間件技術(shù)向資源層獲取其所需資源,并且對相關(guān)接口進(jìn)行擴(kuò)展和封裝,對外提供資源調(diào)度、服務(wù)封裝、資源發(fā)現(xiàn)等服務(wù)。它是整個系統(tǒng)的核心部分,實(shí)現(xiàn)了底層的網(wǎng)格環(huán)境。在實(shí)際應(yīng)用中,它通過基于原子的粗粒度任務(wù)解構(gòu)與網(wǎng)格應(yīng)用層銜接。通過任務(wù)解構(gòu),將較粗粒度的任務(wù)分解成細(xì)粒度的具有較強(qiáng)并行特性的原子,并對之間具有控制或數(shù)據(jù)約束關(guān)系的原子進(jìn)行調(diào)度,實(shí)現(xiàn)上層提交任務(wù)的執(zhí)行。服務(wù)發(fā)現(xiàn)功能可以及時的對加入網(wǎng)格系統(tǒng)的資源進(jìn)行分析,對其有效性進(jìn)行判斷,并抽象出該資源可提供的服務(wù)(數(shù)據(jù)服務(wù)、計(jì)算服務(wù)、軟件服務(wù)、存儲服務(wù)等),利用服務(wù)封裝機(jī)制對服務(wù)進(jìn)一步進(jìn)行抽象和標(biāo)準(zhǔn)化,最終形成標(biāo)準(zhǔn)的調(diào)用接口。(3)網(wǎng)格應(yīng)用層。網(wǎng)格應(yīng)用層主要由完成建模過程的功能模塊組成,基于SOA思想和工作流技術(shù)設(shè)計(jì),實(shí)現(xiàn)了系統(tǒng)與傳統(tǒng)建模軟件的無縫集成及其自動化運(yùn)行,在降低系統(tǒng)開發(fā)成本的同時也降低了系統(tǒng)運(yùn)維難度。該層接受用戶通過可視化工作流建模工具所繪制的作業(yè)圖,然后對其進(jìn)行解析并映射到相關(guān)功能模塊上,最后將帶有模塊信息的作業(yè)圖交由網(wǎng)格服務(wù)管理層進(jìn)行調(diào)度執(zhí)行。(4)應(yīng)用層。應(yīng)用層用以完成與普通用戶的交互,主要由實(shí)時洪水預(yù)報(bào)建模系統(tǒng)門戶組成。通過該層,用戶可以對網(wǎng)格系統(tǒng)中集成的資源和功能進(jìn)行瀏覽,根據(jù)實(shí)際需要調(diào)用相關(guān)的服務(wù)。用戶無需了解服務(wù)的實(shí)現(xiàn)細(xì)節(jié),更沒有必要了解底層網(wǎng)格運(yùn)行機(jī)制,只需熟悉基本的預(yù)報(bào)建模過程,通過可視化的方式提供相應(yīng)的工作流程即可得到結(jié)果。4.2運(yùn)行效率分析資源調(diào)度是網(wǎng)格服務(wù)管理層的主要任務(wù),也是整個系統(tǒng)的關(guān)鍵,其運(yùn)行效率決定了系統(tǒng)所提供的服務(wù)質(zhì)量。資源調(diào)度的過程是一個以負(fù)載均衡為目標(biāo)的優(yōu)化過程,其對象是經(jīng)過任務(wù)解構(gòu)所形成的原子集合,調(diào)度結(jié)果是各原子在資源節(jié)點(diǎn)上的有序高效執(zhí)行。4.2.1在系統(tǒng)支持、原理上發(fā)生重大變化,容易提高網(wǎng)格系統(tǒng)性能一個大的任務(wù)包括了若干個并行或者串行的子任務(wù),我們將這些細(xì)粒度的子任務(wù)稱為原子,將大任務(wù)分解為原子組合的過程稱為任務(wù)解構(gòu)。任務(wù)解構(gòu)是資源調(diào)度實(shí)現(xiàn)的基礎(chǔ),是保證系統(tǒng)并行性的前提。任務(wù)解構(gòu)粒度不易過細(xì)也不易過粗,如果粒度過細(xì),則會導(dǎo)致原子數(shù)量龐大,特別是串行原子數(shù)量的大幅上升,會增加系統(tǒng)的通信負(fù)載,導(dǎo)致大量的時間花費(fèi)在調(diào)度過程中,降低系統(tǒng)的整體效率。反之,如果粒度過大,則大量的并行任務(wù)得不到有效的釋放,被集中到一個節(jié)點(diǎn)執(zhí)行,導(dǎo)致網(wǎng)格系統(tǒng)性能無法發(fā)揮。實(shí)時洪水預(yù)報(bào)建模過程中,存在大量的并行任務(wù),如參數(shù)率定過程中的反復(fù)試算就具有較強(qiáng)的并行特性,通過任務(wù)解構(gòu)后可以有效的發(fā)揮網(wǎng)格系統(tǒng)分布式并行計(jì)算的優(yōu)勢,大幅度提高建模效率。經(jīng)過任務(wù)解構(gòu)后的典型建模流程如圖2所示:從圖中可以看出參數(shù)率定過程被解構(gòu)為多個并行的參數(shù)組合試算及分析驗(yàn)證原子,模型選擇也被解構(gòu)為資料獲取、特征分析等原子的組合。解構(gòu)使建模過程的并行度大幅度提高,這些經(jīng)解構(gòu)形成的原子可以通過網(wǎng)格系統(tǒng)的調(diào)度,協(xié)作高效的完成建模過程。4.2.2關(guān)鍵代碼的實(shí)現(xiàn)網(wǎng)格系統(tǒng)中的資源具有較強(qiáng)的異構(gòu)性,不僅軟件構(gòu)成存在較大的差異,硬件平臺也存在一定的不一致,但他們都通過網(wǎng)絡(luò)進(jìn)行連接,都遵守網(wǎng)絡(luò)通信協(xié)議,所以網(wǎng)絡(luò)通信成了公認(rèn)的網(wǎng)格系統(tǒng)資源調(diào)度的方式,系統(tǒng)采用基于TCP/IP的通信機(jī)制,利用分布式環(huán)境下的JAVA語言進(jìn)行編碼,采取面向?qū)ο蟮乃枷雽f(xié)議進(jìn)行封裝,并實(shí)現(xiàn)消息的發(fā)送和接收。以下是實(shí)現(xiàn)協(xié)議封裝的關(guān)鍵代碼:StringfromUUID;//發(fā)送者編號StringtoUUID;//接收者編號StringpUUID;//調(diào)度過程編號longsegmentCount=1;//本次消息發(fā)送共分段數(shù)目longsegmentIndex=1;//所在段索引longmaxDelayTime=120000;//最大延遲時間bytedataCodeType=Key.PROTOCOL＿DATA＿COM-MON＿KEY;//數(shù)據(jù)編碼類型booleanisACK=false;//本消息是否是一個返回消息booleanhaveACK=false;//是否包含返回消息booleanhaveData=false;//是否有搭載數(shù)據(jù)ACKProtocolACK;//返回協(xié)議DataProtocoldata;//數(shù)據(jù)協(xié)議longsendDateTime;//發(fā)送時間longreceiveDateTime;//接收時間以上協(xié)議結(jié)構(gòu)實(shí)現(xiàn)了數(shù)據(jù)傳送和命令收發(fā)的集成,為網(wǎng)格系統(tǒng)對異構(gòu)資源的調(diào)度提供了基本的通訊標(biāo)準(zhǔn)。4.2.3uiddmin-min算法資源調(diào)度是網(wǎng)格系統(tǒng)的核心功能,其主要任務(wù)是完成對網(wǎng)格工作流的調(diào)度運(yùn)行,主要目標(biāo)是達(dá)到系統(tǒng)負(fù)載均衡。工作流的調(diào)度已經(jīng)被證明是NP完全問題,目前典型的網(wǎng)格工作流調(diào)度算法有DFPLTF(DynamicFPLTF),Min-Min,Min-Max,Sufferage,以及Min-Min的改進(jìn)算法QoSguidedMin-Min,本文基于QoSguidedMin-Min算法設(shè)計(jì)開發(fā)了一種“基于關(guān)鍵路徑的工作流調(diào)度算法”。該算法的核心思想是保證關(guān)鍵路徑上的原子被優(yōu)先執(zhí)行。關(guān)鍵路徑是指在AOE網(wǎng)中,最早開始時間和最晚開始時間相同的活動組成的路徑,即不能被延誤的活動所組成的路徑,該算法的偽代碼描述如下:獲取計(jì)算節(jié)點(diǎn)列表Node{N1,N2,N3……Nn}(性能從高到低)dountil工作流隊(duì)列T{T1,T2,T3……Tn}為空尋找Ti的關(guān)鍵路徑Key{K1,K2,K3……Kn}//Ti代表待調(diào)度作業(yè)獲取不在關(guān)鍵路徑上的高Qos原子列表A{A1,A2,A3……An}ifThread未啟動啟動監(jiān)控線程Threadfor所有原子Ki將Ki分配到Node中第一個節(jié)點(diǎn)Nj上執(zhí)行從Node中獲取高通信能力節(jié)點(diǎn)列表HNode{H1,H2,H3……Hn}在HNode上采用Min-Min算法對A進(jìn)行調(diào)度在Node中刪除被分配了運(yùn)算任務(wù)的節(jié)點(diǎn)在Node上采用Min-Min算法對L進(jìn)行調(diào)度在Node中刪除被分配了運(yùn)算任務(wù)的節(jié)點(diǎn)beginThreadif節(jié)點(diǎn)Ni成功返回重新加入節(jié)點(diǎn)列表并更新排序重新啟動調(diào)度if失敗次數(shù)超過限定撤銷整個作業(yè)if所有原子成功返回輸出結(jié)果endThread4.3可視化建模服務(wù)可視化網(wǎng)格工作流是使用可視化技術(shù)對網(wǎng)格工作流描述的一種手段,可以大大降低用戶使用網(wǎng)格系統(tǒng)的難度。預(yù)報(bào)建模系統(tǒng)起始于用戶定義的建模流程,為了方便用戶使用,系統(tǒng)對用戶提供可視化的網(wǎng)格工作流建模服務(wù),它展現(xiàn)在用戶面前的就是一張畫布以及網(wǎng)格系統(tǒng)中可用的資源,用戶只需將有關(guān)資源拖拽到畫布上,并用有向線段進(jìn)行組織即可完成預(yù)報(bào)流程的建模,這樣就使用戶可以專注于建模流程的設(shè)計(jì),而無需了解網(wǎng)格系統(tǒng)運(yùn)行機(jī)制。可視化建模服務(wù)基于面向?qū)ο笏枷朐O(shè)計(jì),將網(wǎng)格工作流定義為一個單入單出的有向無環(huán)圖(DAG),圖中包括兩種圖元:頂點(diǎn)和有向線段,頂點(diǎn)代表計(jì)算任務(wù),而有向線段則代表任務(wù)之間的約束關(guān)系,圖元的繪制通過擴(kuò)展了的JGraph組件實(shí)現(xiàn)。底層模型描述采用BPEL(BusinessProcessExecutionLanguage,業(yè)務(wù)流程執(zhí)行語言)語言,它是一種使用XML編寫的編程語言,用于自動化業(yè)務(wù)流程。5網(wǎng)格系統(tǒng)處理本文以渭河流域?yàn)槔?對其進(jìn)行實(shí)時洪水預(yù)報(bào)建模,利用系統(tǒng)的可視化工具繪制典型建模流程如圖3所示:由圖中可以清晰的看到本次預(yù)報(bào)建模的流程以及用到的網(wǎng)格資源。將以上流程圖提交給網(wǎng)格系統(tǒng)進(jìn)行處理。處理過程如圖4、圖5所示。該建模過程持續(xù)了33.17分鐘,遠(yuǎn)遠(yuǎn)低于傳統(tǒng)建模方式,系統(tǒng)選取了三水源新安江模型,但出于數(shù)據(jù)保密的考慮,未能將最終的參數(shù)率定信息進(jìn)行展示。利用系統(tǒng)建立的模型,選取2005年9月17日～10月4日出現(xiàn)在渭河流域的一次長歷時、大范圍、高強(qiáng)度的持續(xù)性降雨為例,以降雨記錄作為實(shí)時數(shù)據(jù),對臨潼站流量進(jìn)行模擬并比對實(shí)測徑流數(shù)據(jù),結(jié)果如圖6所示:由圖中可以看出,該模型模擬結(jié)果與實(shí)測數(shù)據(jù)走勢一致,且實(shí)測洪峰和模擬洪峰出現(xiàn)的時間幾乎重合,各監(jiān)測時間點(diǎn)流量相差較小,達(dá)到了預(yù)期的模擬效果。6網(wǎng)格社會建模的關(guān)鍵部分本文分析了實(shí)時洪水預(yù)報(bào)建模的基本流程,總結(jié)了預(yù)報(bào)建模過程中面臨的兩大難題:數(shù)據(jù)缺乏和計(jì)算力不足,并結(jié)合網(wǎng)格技術(shù)特點(diǎn),對傳統(tǒng)建模流程進(jìn)行改造,形成了網(wǎng)格環(huán)境下的建模體系結(jié)構(gòu),闡述了基于網(wǎng)格解決建模問題的思路,對任務(wù)解構(gòu)、通信協(xié)議、調(diào)度算法等關(guān)鍵部分做了詳細(xì)的介紹。實(shí)驗(yàn)證明網(wǎng)格環(huán)境下可以有效的實(shí)現(xiàn)數(shù)據(jù)的動態(tài)共享和計(jì)算力的整合,建模速度