面向水利的高效能平行系統(tǒng)設(shè)計與實現(xiàn)

面向水利的高效能平行系統(tǒng)設(shè)計與實現(xiàn)

平行系統(tǒng)是指由一個自然現(xiàn)實系統(tǒng)和一個或多個虛擬或理想的人工系統(tǒng)連接起來的系統(tǒng)。隨著網(wǎng)格計算的發(fā)展，提出了計算和實驗的方法，不能還原復(fù)雜系統(tǒng)中的分析和經(jīng)驗，允許計算機對復(fù)雜系統(tǒng)進行各種“實驗”，從而達到預(yù)測和評估復(fù)雜系統(tǒng)的行為和能力的目的。使用計算實驗方法，可以支持平行網(wǎng)絡(luò)系統(tǒng)，并對系統(tǒng)中的行為進行比較和分析。完成實際系統(tǒng)的管理和開發(fā)、相關(guān)行為和決策的實驗評估、系統(tǒng)學(xué)習(xí)和培訓(xùn)以及其他實際系統(tǒng)的評估和評估。當(dāng)前,水利信息資源的快速增加,導(dǎo)致傳統(tǒng)水利應(yīng)用系統(tǒng)無法對實際進行還原分析或進行大量原型實驗,使得水利應(yīng)用系統(tǒng)間的數(shù)據(jù)交換、數(shù)據(jù)訪問、高效利用以及不同系統(tǒng)的復(fù)用等逐步暴露出一系列問題.水利復(fù)雜業(yè)務(wù)的開展對高效率處理服務(wù)及高精度計算服務(wù)的需求逐漸增大,單處理機模式的計算服務(wù)已不能滿足應(yīng)用的要求,迫切需要一種高效能計算力資源來解決實際復(fù)雜的水利應(yīng)用問題.為此,本文采用網(wǎng)格計算,構(gòu)建面向水利應(yīng)用的高效能平行系統(tǒng),提供高效能計算力資源調(diào)度環(huán)境,在該環(huán)境下對應(yīng)用進行劃分及有機組合,基于組件開發(fā)和原子化拆分的思想,通過高性能平行系統(tǒng)為水利應(yīng)用提供高效的計算服務(wù).1平行系統(tǒng)方案設(shè)計基于水利應(yīng)用平行系統(tǒng)及高效能計算力資源調(diào)度服務(wù),采用模塊化思想設(shè)計了面向水利應(yīng)用的高效能平行系統(tǒng)框架結(jié)構(gòu),如圖1所示,主要由4部分組成.a.過程參數(shù)及數(shù)據(jù)預(yù)測分析模塊.該模塊是不同功能模塊和計算單元之間的橋梁,其通過模塊之間數(shù)據(jù)交換的“整體性”實現(xiàn)水利應(yīng)用服務(wù)的實時性和并行性,為模塊的運行提供最初的動力,保證各模塊之間的平行關(guān)系.b.數(shù)據(jù)集成模塊.復(fù)雜水利應(yīng)用需要大量底層數(shù)據(jù)的支撐,平行系統(tǒng)采用一種零等待的動態(tài)數(shù)據(jù)集成方案,方案采用數(shù)據(jù)生成與數(shù)據(jù)集成的雙通道集成方式,利用過程參數(shù)及數(shù)據(jù)預(yù)測分析模塊中的數(shù)據(jù)擬合引擎來生成所需數(shù)據(jù),并且根據(jù)實際獲得數(shù)據(jù)不斷修正完善的計算結(jié)果.c.預(yù)報模型模塊.水利應(yīng)用的特殊性使得部分數(shù)據(jù)有規(guī)律可循,基于原始數(shù)據(jù)的預(yù)報可以提高對應(yīng)用的支持,引入預(yù)報模型模塊,對應(yīng)用自身具有的或者系統(tǒng)外部提供的預(yù)報模型進行封裝.d.學(xué)習(xí)記憶模塊.該模塊主要完成數(shù)據(jù)和知識的積累,是保證平行系統(tǒng)穩(wěn)定運行的基礎(chǔ),也是不斷提升平行系統(tǒng)計算準(zhǔn)確度的核心部件,其由編碼組件、反饋數(shù)據(jù)、解析引擎以及補充數(shù)據(jù)組合而成.2水利高性能平行系統(tǒng)的計算能力資源規(guī)劃2.1計算力資源調(diào)度算法針對自然系統(tǒng)中水利應(yīng)用存在的一系列問題,在網(wǎng)格計算的基礎(chǔ)上,為實現(xiàn)高效能計算力,構(gòu)建面向水利的計算實驗環(huán)境.在這個環(huán)境下,實現(xiàn)不同業(yè)務(wù)在平行系統(tǒng)中的優(yōu)化服務(wù),根據(jù)水利業(yè)務(wù)的復(fù)雜度,按照功能分解為不同的作業(yè),每一個作業(yè)按照系統(tǒng)內(nèi)部算法進行拆分,使用細粒度的算法結(jié)構(gòu)來描述特定的業(yè)務(wù)應(yīng)用,形成一個面向業(yè)務(wù)邏輯并相互獨立,具有較好可擴展性與復(fù)用性的算法結(jié)構(gòu)單元,不同的原子按照用戶需求在計算力資源調(diào)度中實現(xiàn)平行優(yōu)化.在計算力資源調(diào)度中,作業(yè)是一個有向無環(huán)圖,是原子之間的一種邏輯依賴關(guān)系.資源圖是一個物理拓撲圖,它在一定程度上抽象地表示各節(jié)點之間的連接關(guān)系.根據(jù)作業(yè)圖的并行集,將作業(yè)中的所有原子劃分為一系列集合,每個集合內(nèi)部的原子都相互獨立,可以并行執(zhí)行.從而高效能計算力調(diào)度被視為,如何在信任模型下將并行集與特定的資源節(jié)點相互連接起來,這種連接所建立的次序就是原子被調(diào)度的時序.調(diào)度過程簡化為一個二分圖的逐步建立過程,即依靠并行集的偏序結(jié)構(gòu)來調(diào)配原子給節(jié)點就可得到計算力資源的調(diào)度算法.2.2原子并行化及運行管理平行系統(tǒng)下高效能計算力資源調(diào)度服務(wù)流程如圖2所示,由基礎(chǔ)層、操作層與管理層3個層次構(gòu)成.基礎(chǔ)層包括原子的注冊服務(wù)以及作業(yè)的編排,先將復(fù)雜的業(yè)務(wù)邏輯劃分為原子,根據(jù)規(guī)范形成標(biāo)準(zhǔn)化的組件服務(wù),然后將多個原子通過規(guī)則編排形成作業(yè)模型,快速搭建業(yè)務(wù)應(yīng)用,并將業(yè)務(wù)應(yīng)用中的原子按其邏輯進行并行化,提煉出可并行運行集.操作層由參數(shù)映射、長連接池、心跳機制及關(guān)鍵路徑的計算共4部分組成,對平行系統(tǒng)中用于傳遞的入口參數(shù)和出口參數(shù)進行標(biāo)準(zhǔn)化,依照統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)實現(xiàn)在異構(gòu)計算力資源上的數(shù)據(jù)傳遞.當(dāng)進行作業(yè)編排時,前驅(qū)原子給后繼原子所傳遞的數(shù)據(jù)內(nèi)容需要通過參數(shù)映射來實現(xiàn),參數(shù)映射給出了當(dāng)前原子參考其他相關(guān)原子的具體方案,采用長連接池和心跳機制能夠?qū)崿F(xiàn)原子操作合理調(diào)度,通過調(diào)整作業(yè)執(zhí)行的關(guān)鍵線路,可以壓縮時間.管理層由計算力評價、原子執(zhí)行和管理服務(wù)構(gòu)成,按照計算力評價模型對各個節(jié)點的計算力進行評估,并將需要執(zhí)行的原子調(diào)配給評估值高的計算節(jié)點,原子執(zhí)行采用反射機制動態(tài)地給在線節(jié)點裝載將要執(zhí)行的原子,并將執(zhí)行結(jié)果按照表轉(zhuǎn)化參數(shù)類型輸出,管理服務(wù)主要是完成計算節(jié)點用戶、原子、作業(yè)和參數(shù)類型的管理.3文明安河農(nóng)業(yè)保險的運行實驗錯峰調(diào)度是指通過調(diào)洪手段對干流注入處和多條支流注入交會處發(fā)生的洪峰進行控制,使各支流的洪峰以不同時間到達,而避免由于洪峰疊加而產(chǎn)生災(zāi)害.下面以渭河陜西段為例給出平行系統(tǒng)的應(yīng)用方法.渭河全長818km,流域面積13.43×105km2,上游以及北岸涇河、洛河等支流流經(jīng)黃土高原,并夾帶大量泥沙.渭河流域降水集中在夏季,多為暴雨,水土流失嚴(yán)重.渭河流域?qū)儆诟珊蛋敫珊档貐^(qū),年平均氣溫6～14℃,年平均降水量450～700mm,年蒸發(fā)量1000～2000mm,無霜期120～220d.渭河陜西段(從魏家堡至華縣)上共有4個大型水庫,分別是馮家山水庫、金盆水庫、羊毛灣水庫和石頭河水庫,其分別使用逐次優(yōu)化算法(POA)、動態(tài)規(guī)劃算法(DP)、和改進的克隆選擇算法(ICSA)進行調(diào)度,并采用調(diào)節(jié)馮家山水庫調(diào)度方式來消減下游洪峰流量.在平行系統(tǒng)中首先對錯峰調(diào)度應(yīng)用進行組件封裝,將各算法進行拆分,構(gòu)建錯峰調(diào)度方法庫、洪水演進參數(shù)估計庫、水庫調(diào)度方法庫,然后在這些應(yīng)用庫的基礎(chǔ)上搭建洪水演進錯峰調(diào)度系統(tǒng).通過可交互模式來實現(xiàn)實驗系統(tǒng)的實際系統(tǒng)的平行,使得可在手動調(diào)節(jié)下自動形成不同的調(diào)度方案.以平行系統(tǒng)為基礎(chǔ),在知識可視化綜合集成支持平臺上搭建的渭河流域洪水演進及錯峰調(diào)度的實驗結(jié)果見圖3.圖3為洪水期間(2005-09-28—2005-10-12,共14d)錯峰調(diào)度時的華縣流量(q)過程,從圖3可以看出,經(jīng)過錯峰調(diào)度,洪峰流量被消減,從而減少