科學(xué)工作流系統(tǒng)Keler及其應(yīng)用發(fā)展數(shù)據(jù)資源提升服

科學(xué)工作流kepler及其應(yīng)用周園春、林小光、程潔黃剛、王鵬飛、屈俠2008-10-28背景工作流概述科學(xué)工作流系統(tǒng)簡介Kepler系統(tǒng)及其應(yīng)用基于Web的科學(xué)工作流目錄背景海量科學(xué)數(shù)據(jù)數(shù)字化技術(shù)和無處不在的網(wǎng)絡(luò)發(fā)展推動(dòng)了數(shù)據(jù)的收集、產(chǎn)生、共享、與分析?？茖W(xué)數(shù)據(jù)規(guī)模越來越龐大，科學(xué)實(shí)驗(yàn)過程也越來越復(fù)雜?？茖W(xué)與工程研究日益成為數(shù)據(jù)密集型的工作。背景超級(jí)計(jì)算環(huán)境與觀察實(shí)驗(yàn)、理論分析鼎足而立的科學(xué)計(jì)算已成為e-Science的核心?，F(xiàn)今很多交叉和前沿學(xué)科的研究越來越需要高性能計(jì)算，如大氣科學(xué)計(jì)算、生命科學(xué)計(jì)算、湍流計(jì)算、分子模擬等。由于這些研究所需的數(shù)據(jù)資源和計(jì)算資源非常龐大，目前各研究機(jī)構(gòu)很難為這些科研需求提供足夠的資源，導(dǎo)致了很多研究無法往前推進(jìn)。背景科學(xué)密集型實(shí)驗(yàn)迭代的科學(xué)數(shù)據(jù)處理流程源數(shù)據(jù)獲取Web服務(wù)、SRB、FTP、HTTP數(shù)據(jù)輸入數(shù)據(jù)預(yù)處理數(shù)據(jù)運(yùn)算數(shù)據(jù)分析數(shù)據(jù)挖掘結(jié)果輸出結(jié)果數(shù)據(jù)集可視化圖片等背景動(dòng)態(tài)的科學(xué)邏輯處理過程雖然數(shù)據(jù)密集型科學(xué)問題的求解過程也遵循一定的基本流程，但是整個(gè)過程中的諸多細(xì)節(jié)卻是動(dòng)態(tài)的、不確定的，科學(xué)實(shí)驗(yàn)流程的定義往往是不完整的，在執(zhí)行過程中也需要根據(jù)實(shí)驗(yàn)流程的運(yùn)行態(tài)勢做出動(dòng)態(tài)修改。工作流概述商業(yè)工作流工作流的概念起源于辦公自動(dòng)化領(lǐng)域。它所關(guān)注的問題是處理過程的自動(dòng)化，它根據(jù)一系列定義的規(guī)則，把文檔、信息或任務(wù)在參與者之間傳遞，以達(dá)到某種目的。工作流管理聯(lián)盟（WfMC）對(duì)工作流的定義：一類能夠完全或者部分自動(dòng)執(zhí)行的經(jīng)營過程，根據(jù)一系列過程規(guī)則、文檔、信息或任務(wù)能夠在不同的執(zhí)行者之間傳遞、執(zhí)行。工作流概述商業(yè)工作流經(jīng)營過程的一個(gè)計(jì)算機(jī)實(shí)現(xiàn)。工作流管理軟件（WfMS）是一個(gè)軟件系統(tǒng)。用以完成工作流的定義和管理，并按照在計(jì)算機(jī)中預(yù)先定義好的工作流邏輯推進(jìn)工作流實(shí)例的執(zhí)行。運(yùn)行在一個(gè)或多個(gè)工作流引擎上。與工作流執(zhí)行者交互，推進(jìn)工作流實(shí)例的執(zhí)行，并監(jiān)控工作流的運(yùn)行狀態(tài)。工作流概述科學(xué)工作流2O世紀(jì)9O年代，隨著問題求解環(huán)境(PSE)在科學(xué)研究活動(dòng)中的應(yīng)用，科學(xué)工作流和科學(xué)工作流管理被引入到科學(xué)問題求解環(huán)境中?？茖W(xué)工作流就是采用工作流的思想，用來描述和控制科學(xué)實(shí)驗(yàn)和過程的執(zhí)行，它是面向e-Science，服務(wù)于科學(xué)家，使得科學(xué)家能夠更容易的分析和管理科學(xué)數(shù)據(jù)。工作流概述科學(xué)工作流科學(xué)工作流是獲取科學(xué)數(shù)據(jù)（包括傳感器數(shù)據(jù)、醫(yī)學(xué)影像、衛(wèi)星圖像、仿真輸出、各類觀測數(shù)據(jù)等等），并對(duì)所獲取到的數(shù)據(jù)執(zhí)行復(fù)雜分析的靈活的工具。目的在于組合一個(gè)廣闊領(lǐng)域的應(yīng)用程序，從實(shí)驗(yàn)的設(shè)計(jì)、執(zhí)行、監(jiān)控到歸檔，以及使得實(shí)驗(yàn)數(shù)據(jù)重用等的管理和分析流水線化。工作流流概述述科學(xué)工工作流流Streaming/pipelinedexecutionHighlydata-centricCompute-intensiveAnalysis-intensiveVisualization-intensiveInterconnectionbetweenmultipletools工作流流概述述商業(yè)工工作流流VS.科科學(xué)工工作流流科學(xué)工工作流流面向向數(shù)據(jù)據(jù)量，，以數(shù)數(shù)據(jù)驅(qū)驅(qū)動(dòng)商業(yè)工工作流流面向向控制制流，，事務(wù)務(wù)驅(qū)動(dòng)動(dòng)actornamedata(state)portsInputdataparametersOutputdataWhatflowsthroughanobjectisstreamsofdatacallreturnclassnamedatamethodsWhatflowsthroughanobjectissequentialcontrol科學(xué)工工作流流系統(tǒng)統(tǒng)介紹紹國際上上比較較成熟熟的科科學(xué)工工作流流系統(tǒng)統(tǒng)：學(xué)術(shù)領(lǐng)領(lǐng)域的的：KeplerTavernaTriana商業(yè)性性質(zhì)的的：DiscoveryNetPipeline-PilotLabView科學(xué)工工作流流系統(tǒng)統(tǒng)介紹紹KeplerOpen-Source，Java圣地亞亞哥超超算中中心地學(xué)、、生物物信息息學(xué)、、化學(xué)學(xué)等科學(xué)工工作流流系統(tǒng)統(tǒng)介紹紹TavernaOpen-source，JavaOMII-UK生物信信息學(xué)學(xué)科學(xué)工工作流流系統(tǒng)統(tǒng)介紹紹TrianaOpen-Source，JavaCardiffUniversity,UK信號(hào)、、文本本、圖圖片處處理科學(xué)工工作流流系統(tǒng)統(tǒng)介紹紹商業(yè)性性質(zhì)科科學(xué)工工作流流科學(xué)工工作流流系統(tǒng)統(tǒng)介紹紹國內(nèi)相相關(guān)研研究現(xiàn)現(xiàn)狀目前，，國內(nèi)內(nèi)在科科學(xué)工工作流流領(lǐng)域域的研研究尚尚處于于起步步階段段。許多具具體領(lǐng)領(lǐng)域的的研究究機(jī)構(gòu)構(gòu)已經(jīng)經(jīng)開始始著手手使用用國際際上成成熟的的科學(xué)學(xué)工作作流系系統(tǒng)（（如Kepler等等）進(jìn)進(jìn)行涉涉及科科學(xué)數(shù)數(shù)據(jù)處處理的的大規(guī)規(guī)模復(fù)復(fù)雜科科學(xué)實(shí)實(shí)驗(yàn)。。一些大大學(xué)及及研究究所也也開始始對(duì)科科學(xué)工工作流流系統(tǒng)統(tǒng)進(jìn)行行了針針對(duì)性性研究究，比比如武武漢大大學(xué)軟軟件工工程國國家重重點(diǎn)實(shí)實(shí)驗(yàn)室室、南南京大大學(xué)計(jì)計(jì)算機(jī)機(jī)軟件件新技技術(shù)國國家重重點(diǎn)實(shí)實(shí)驗(yàn)室室等。。Kepler系系統(tǒng)Kepler允允許科科學(xué)家家設(shè)計(jì)計(jì)科學(xué)學(xué)工作作流，，并使使用基基于網(wǎng)網(wǎng)格的的分布布式計(jì)計(jì)算方方法執(zhí)執(zhí)行這這些工工作流流。Kepler是是用于于科學(xué)學(xué)數(shù)據(jù)據(jù)分析析與建建模的的軟件件應(yīng)用用程序序。Kepler使使用一一個(gè)可可視化化展現(xiàn)現(xiàn)（科科學(xué)工工作流流模型型，用用以展展示離離散分分析和和建模模組件件之間間的數(shù)數(shù)據(jù)流流），，使得得創(chuàng)建建可執(zhí)執(zhí)行模模型的的過程程簡單單化。。Kepler系系統(tǒng)Kepler用用戶即即使沒沒有計(jì)計(jì)算機(jī)機(jī)科學(xué)學(xué)背景景，也也可以以使用用標(biāo)準(zhǔn)準(zhǔn)組件件來生生成工工作流流，或或者修修改現(xiàn)現(xiàn)有的的工作作流模模型以以滿足足需要要。Kepler集集成了了一些些通用用數(shù)據(jù)據(jù)分析析及可可視化化軟件件，如如Matlab、R等，，為領(lǐng)領(lǐng)域科科學(xué)家家提供供了方方便。。高級(jí)用用戶也也能從從Kepler提供供的大大量優(yōu)優(yōu)良特特性獲獲益，，特別別是當(dāng)當(dāng)使用用一個(gè)個(gè)方便便理解解地以以及容容易分分享的的方式式呈現(xiàn)現(xiàn)一個(gè)個(gè)復(fù)雜雜程序序和分分析。。Kepler系系統(tǒng)Kepler構(gòu)構(gòu)建于于另一一個(gè)開開源可可視化化建模模系統(tǒng)統(tǒng)PtolemyII之之上，，為科科學(xué)家家提供供了一一個(gè)方方便易易用的的工作作平臺(tái)臺(tái)。Kepler是是一個(gè)個(gè)用戶戶友好好的程程序，，允許許科學(xué)學(xué)家通通過簡簡單地地拖拉拉、連連接一一些特特定的的組件件，建建立滿滿足條條件的的科學(xué)學(xué)工作作流，，而不不用手手工整整合大大量的的軟件件程序序，也也不用用借助助于計(jì)計(jì)算機(jī)機(jī)程序序員的的協(xié)助助。Kepler系系統(tǒng)Ptolemy系統(tǒng)統(tǒng)由UCBerkeley大學(xué)學(xué)開發(fā)發(fā)，用用于研研究并并發(fā)、、實(shí)時(shí)時(shí)以及及嵌入入式系系統(tǒng)的的建模模、仿仿真和和設(shè)計(jì)計(jì)。Kepler系系統(tǒng)很很好地地繼承承和發(fā)發(fā)展了了Ptolemy面面向角角色建建模的的特性性，并并加入入了大大量新新特性性，用用于支支持科科學(xué)工工作流流。主主要體體現(xiàn)在在對(duì)科科學(xué)數(shù)數(shù)據(jù)的的獲取取、處處理。。Kepler系系統(tǒng)術(shù)語角色（actor））：執(zhí)執(zhí)行一一系列列復(fù)雜雜操作作的組組件，，是SWF中處處理科科學(xué)數(shù)數(shù)據(jù)的的實(shí)體體。參數(shù)（parameter））：角角色可可配置置的值值。端口（port）：：角色色間供供相互互連接接的通通道，，有輸輸入端端口和和輸出出端口口。連接（relation）：：用于于連接接角色色的端端口，，是數(shù)數(shù)據(jù)傳傳遞的的通道道。Kepler系系統(tǒng)DirectorActorActorActorPortPortTheDirectorcontrolsthesequenceofactorexecution.Eachactortakesdataonitsinputports,processesthatdata,andsendresultsitsoutputports.ComponentTabWorkflowDisplayPanelSearchableComponentListAnactor‘‘fires’,placingtheresultingdatainacontainercalleda‘‘token’.Thedatatokenthenflowsfromtheoutputporttotheinputportofconnectedactors.DataTokenDataTokenBeginworkflowexecutionbuttonActorstransforminputtokensintooutputdatatokenswhichthengetpassedtothenextactorundercontrolofthedirector.Kepler系系統(tǒng)在用Kepler/PtolemyII構(gòu)構(gòu)建的的科學(xué)學(xué)工作作流中中，獨(dú)獨(dú)立處處理具具體任任務(wù)的的組件件實(shí)體體被稱稱為““actor””?！癮ctor””之間間通信信的接接口是是“port””，有有inputport和outputport兩種種。actor使用“parameter”來配置置和定制相相關(guān)的行為為。actor之間通過過“channel”相互連連接。Kepler系統(tǒng)類型定義良良好的面向向角色工作作流模型Defineaworkflow:W=<A,D,ΣΣ,M,Φ>A:asetofActorsD:asetofconnectionsΣ:i/o-signatureofWM:adirector(modelofcomputation)Φ:asetofconstraintsKepler系統(tǒng)“director”指定了了模型執(zhí)行行的語義，，定義了actor如何執(zhí)行行，以及相相互之間如如何通信。。用戶定制制好的工作作流模型，，包括一個(gè)個(gè)特定領(lǐng)域域的“director”，，以及至少少一個(gè)“actor”。工作作流執(zhí)行的的時(shí)候，““director”控制數(shù)數(shù)據(jù)在“actor”中的流流動(dòng)，按照照定制好的的流程，調(diào)調(diào)度部署每每個(gè)“actor””的迭代執(zhí)執(zhí)行。Kepler系統(tǒng)在Kepler/PtolemyII系統(tǒng)中，，定制好的的科學(xué)工作作流模型以以XML文文件形式存存儲(chǔ)，該XML文件件滿足MoML（ModelingMarkupLanguage））XML模模式要求。。MoML使使用DTD（文檔類類型定義））定義。Kepler系統(tǒng)ContributorsforKepler基于web的科學(xué)工工作流系統(tǒng)統(tǒng)該系統(tǒng)擬提提供給用戶戶（具體領(lǐng)領(lǐng)域研究人人員）一個(gè)個(gè)基于web的簡單單易用的工工具，用于于對(duì)數(shù)據(jù)密密集型科學(xué)學(xué)實(shí)驗(yàn)的全全過程。該該方案使用用Web服服務(wù)、SRB、FTP等多種種方式獲取取研究所需需要的科學(xué)學(xué)數(shù)據(jù)，并并通過實(shí)現(xiàn)現(xiàn)在web瀏覽器上上的VML/SVG可視化操操作界面，，定制滿足足需求的工工作流實(shí)例例，提交給給后臺(tái)Kepler/PtolemyII工作作流引擎服服務(wù)器，經(jīng)經(jīng)過對(duì)所獲獲取的數(shù)據(jù)據(jù)調(diào)用科學(xué)學(xué)數(shù)據(jù)專有有的處理軟軟件（包括括NCL、、Matlab、CDO等））進(jìn)行分析析計(jì)算，最最終得到所所需要的可可視化結(jié)果果或是將結(jié)結(jié)果數(shù)據(jù)反反饋給用戶戶?；诠ぷ髁髁鞯目茖W(xué)數(shù)數(shù)據(jù)分析平平臺(tái)分布式數(shù)據(jù)分布式數(shù)據(jù)算法模型個(gè)性化的Web空間1)數(shù)據(jù)分析流程可視化定制2)數(shù)據(jù)和算法的管理…模型選擇數(shù)據(jù)資源定位工作流的計(jì)算數(shù)據(jù)和模型的結(jié)合計(jì)算結(jié)果返回應(yīng)用結(jié)果流程定制模型和數(shù)據(jù)管理根據(jù)結(jié)果評(píng)價(jià)不斷迭代科研人員模型管理數(shù)據(jù)管理基于web的科學(xué)工工作流系統(tǒng)統(tǒng)體系架構(gòu)圖圖數(shù)據(jù)資源層層完成對(duì)物理理資源及分分布式資源源（大規(guī)模?？茖W(xué)數(shù)據(jù)據(jù)，如IPCC、NCAR等等）的存取取。算法模型庫庫簡單算法：：加、減、、乘、除等等復(fù)雜操作：：統(tǒng)計(jì)、聚聚類分析等等高性能計(jì)算算環(huán)境基于web的科學(xué)工工作流系統(tǒng)統(tǒng)工作流引擎擎及中間件件層提供一個(gè)穩(wěn)穩(wěn)定的工作作流引擎，，并支持持資源、引引擎、web等之間間的通信。。使用Kepler：：管理actor的分分類信息；；處理工作流流實(shí)例的運(yùn)運(yùn)行；動(dòng)態(tài)添加算算法模型（（actor）?；趙eb的科學(xué)工工作流系統(tǒng)統(tǒng)Web接口口層提供給用戶戶一個(gè)設(shè)計(jì)計(jì)良好、方方便易用的的接口，以以組裝、查查看、執(zhí)行行、管理工工作流實(shí)例例。提供給用于于一個(gè)一站站式服務(wù)的的web環(huán)環(huán)境，從數(shù)數(shù)據(jù)資源獲獲取、結(jié)果果數(shù)據(jù)反饋饋、用戶信信息管理、、及其它服服務(wù)。使用Ajax等web技術(shù)開開發(fā)?；趙eb的科學(xué)工工作流系統(tǒng)統(tǒng)數(shù)據(jù)Datamanager輸入reader運(yùn)算operator分析Scianalyzer輸出outputer可視化visualizeStoragesearchNCL,NCOCDO,MATLABNCL,NCOCDO,MATLABNCL,AVSMATLABNCL,MATLAB基于web的科學(xué)工工作流系統(tǒng)統(tǒng)對(duì)實(shí)驗(yàn)自動(dòng)動(dòng)化流程提提供了以下下支持：讀寫數(shù)據(jù)rapidprototypingexperimentcomputingsystems隱藏了資源源之間整合合的細(xì)節(jié)管理一個(gè)實(shí)實(shí)驗(yàn)的整個(gè)個(gè)生命周期期Thanks!9、靜夜四無無鄰，荒居居舊業(yè)貧。。。12月-2212月-22Sunday,December25,202210、雨中黃葉葉樹，燈下下白頭人。。。19:33:4719:33:4719:3312/25/20227:33:47PM11、以我獨(dú)沈久久，愧君相見見頻。。12月-2219:33:4719:33Dec-2225-Dec-2212、故人江海別別，幾度隔山山川。。19:33:4719:33:4719:33Sunday,December25,202213、乍見見翻疑疑夢(mèng)，，相悲悲各問問年。。。12月月-2212月月-2219:33:4719:33:47December25,202214、他鄉(xiāng)鄉(xiāng)生白白發(fā)，，舊國國見青青山。。。25十十二二月20227:33:47下下午19:33:4712月月-2215、比比不不了了得得就就不不比比，，得得不不到到的的就就不不要要。。。。。十二二月月227:33下下午午12月月-2219:33December25,202216、行行動(dòng)動(dòng)出出成成果果，，工工作作出出財(cái)財(cái)富富。。。。2022/12/2519:33:4719:33:4725December202217、做做前前，，能能夠夠環(huán)環(huán)視視四四周周；；做做時(shí)時(shí)，，你你只只能能或或者者最最好好沿沿著著以以腳腳為為起起點(diǎn)點(diǎn)的的射射線線向向前前。。。。7:33:47下下午午7:33下下午午19:33:4712月月-229、沒有失失敗，只只有暫時(shí)時(shí)停止成成功！。。12月-2212月-22Sunday,December25,202210、很多事事情努力力了未必必有結(jié)果果，但是是不努力力卻什么么改變也也沒有。。。19:33:4719:33:4719:3312/25/20227:33:47PM11、成功功就是是日復(fù)復(fù)一日日那一一點(diǎn)點(diǎn)點(diǎn)小小小努力力的積積累。。。12月月-2219:33:4719:33Dec-2225-Dec-2212、世間間成事事，不不求其其絕對(duì)對(duì)圓滿滿，留留一份份不足足，可可得無無限完完美。。。19:33:4719:33:4719:33Sunday,December25,202213、不知香積積寺，數(shù)里里入云峰。。。12月-2212月-2219:33:4719:33:47December25,202214、意志堅(jiān)強(qiáng)強(qiáng)的人能把把世界放在在手中像泥泥塊一樣任任意揉捏。。25十二二月20227:33:47下下午19:33:4712月-2215、楚楚塞塞三三湘湘接接，，荊荊門門九九派派通通。。。。。十二二月月227:33下下午午12月月-2219:33December25,202216、少少年年十十五五二二十十時(shí)時(shí)，，步步行行奪奪得得胡胡馬馬騎騎。。。。2022/12/2519:33:4719:33:4725December202217、空空山山新新雨雨后后，，天天氣氣晚晚來來