科學(xué)工作流kepler及其應(yīng)用.ppt

科學(xué)工作流kepler及其應(yīng)用,周園春、林小光、程潔 黃剛、王鵬飛、屈俠 2008-10-28,背景 工作流概述 科學(xué)工作流系統(tǒng)簡(jiǎn)介 Kepler系統(tǒng)及其應(yīng)用 基于Web的科學(xué)工作流,目錄,海量科學(xué)數(shù)據(jù) 數(shù)字化技術(shù)和無處不在的網(wǎng)絡(luò)發(fā)展推動(dòng)了數(shù)據(jù)的收集、產(chǎn)生、共享、與分析。 科學(xué)數(shù)據(jù)規(guī)模越來越龐大，科學(xué)實(shí)驗(yàn)過程也越來越復(fù)雜。 科學(xué)與工程研究日益成為數(shù)據(jù)密集型的工作。,背景,超級(jí)計(jì)算環(huán)境 與觀察實(shí)驗(yàn)、理論分析鼎足而立的科學(xué)計(jì)算已成為e-Science的核心。 現(xiàn)今很多交叉和前沿學(xué)科的研究越來越需要高性能計(jì)算，如大氣科學(xué)計(jì)算、生命科學(xué)計(jì)算、湍流計(jì)算、分子模擬等。 由于這些研究所需的數(shù)據(jù)資源和計(jì)算資源非常龐大，目前各研究機(jī)構(gòu)很難為這些科研需求提供足夠的資源，導(dǎo)致了很多研究無法往前推進(jìn)。,背景,科學(xué)密集型實(shí)驗(yàn)迭代的科學(xué)數(shù)據(jù)處理流程,源數(shù)據(jù)獲取 Web服務(wù)、SRB、FTP、HTTP,數(shù)據(jù)輸入,數(shù)據(jù)預(yù)處理,數(shù)據(jù)運(yùn)算,數(shù)據(jù)分析 數(shù)據(jù)挖掘,結(jié)果輸出 結(jié)果數(shù)據(jù)集 可視化圖片等,背景,動(dòng)態(tài)的科學(xué)邏輯處理過程 雖然數(shù)據(jù)密集型科學(xué)問題的求解過程也遵循一定的基本流程，但是整個(gè)過程中的諸多細(xì)節(jié)卻是動(dòng)態(tài)的、不確定的，科學(xué)實(shí)驗(yàn)流程的定義往往是不完整的，在執(zhí)行過程中也需要根據(jù)實(shí)驗(yàn)流程的運(yùn)行態(tài)勢(shì)做出動(dòng)態(tài)修改。,工作流概述,商業(yè)工作流 工作流的概念起源于辦公自動(dòng)化領(lǐng)域。它所關(guān)注的問題是處理過程的自動(dòng)化，它根據(jù)一系列定義的規(guī)則，把文檔、信息或任務(wù)在參與者之間傳遞，以達(dá)到某種目的。 工作流管理聯(lián)盟（WfMC）對(duì)工作流的定義：一類能夠完全或者部分自動(dòng)執(zhí)行的經(jīng)營(yíng)過程，根據(jù)一系列過程規(guī)則、文檔、信息或任務(wù)能夠在不同的執(zhí)行者之間傳遞、執(zhí)行。,工作流概述,商業(yè)工作流 經(jīng)營(yíng)過程的一個(gè)計(jì)算機(jī)實(shí)現(xiàn)。 工作流管理軟件（WfMS）是一個(gè)軟件系統(tǒng)。用以完成工作流的定義和管理，并按照在計(jì)算機(jī)中預(yù)先定義好的工作流邏輯推進(jìn)工作流實(shí)例的執(zhí)行。運(yùn)行在一個(gè)或多個(gè)工作流引擎上。與工作流執(zhí)行者交互，推進(jìn)工作流實(shí)例的執(zhí)行，并監(jiān)控工作流的運(yùn)行狀態(tài)。,工作流概述,科學(xué)工作流 2O世紀(jì)9O年代，隨著問題求解環(huán)境(PSE)在科學(xué)研究活動(dòng)中的應(yīng)用，科學(xué)工作流和科學(xué)工作流管理被引入到科學(xué)問題求解環(huán)境中。 科學(xué)工作流就是采用工作流的思想，用來描述和控制科學(xué)實(shí)驗(yàn)和過程的執(zhí)行，它是面向e-Science，服務(wù)于科學(xué)家，使得科學(xué)家能夠更容易的分析和管理科學(xué)數(shù)據(jù)。,工作流概述,科學(xué)工作流 科學(xué)工作流是獲取科學(xué)數(shù)據(jù)（包括傳感器數(shù)據(jù)、醫(yī)學(xué)影像、衛(wèi)星圖像、仿真輸出、各類觀測(cè)數(shù)據(jù)等等），并對(duì)所獲取到的數(shù)據(jù)執(zhí)行復(fù)雜分析的靈活的工具。 目的在于組合一個(gè)廣闊領(lǐng)域的應(yīng)用程序，從實(shí)驗(yàn)的設(shè)計(jì)、執(zhí)行、監(jiān)控到歸檔，以及使得實(shí)驗(yàn)數(shù)據(jù)重用等的管理和分析流水線化。,工作流概述,科學(xué)工作流 Streaming/pipelined execution Highly data-centric Compute-intensive Analysis-intensive Visualization-intensive Interconnection between multiple tools,工作流概述,商業(yè)工作流 VS. 科學(xué)工作流 科學(xué)工作流面向數(shù)據(jù)量，以數(shù)據(jù)驅(qū)動(dòng) 商業(yè)工作流面向控制流，事務(wù)驅(qū)動(dòng),call,return,科學(xué)工作流系統(tǒng)介紹,國(guó)際上比較成熟的科學(xué)工作流系統(tǒng)： 學(xué)術(shù)領(lǐng)域的： Kepler Taverna Triana 商業(yè)性質(zhì)的： DiscoveryNet Pipeline-Pilot LabView,科學(xué)工作流系統(tǒng)介紹,Kepler Open-Source，Java 圣地亞哥超算中心 地學(xué)、生物信息學(xué)、化學(xué)等,科學(xué)工作流系統(tǒng)介紹,Taverna Open-source，Java OMII-UK 生物信息學(xué),科學(xué)工作流系統(tǒng)介紹,Triana Open-Source，Java Cardiff University, UK 信號(hào)、文本、圖片處理,科學(xué)工作流系統(tǒng)介紹,商業(yè)性質(zhì)科學(xué)工作流,科學(xué)工作流系統(tǒng)介紹,國(guó)內(nèi)相關(guān)研究現(xiàn)狀 目前，國(guó)內(nèi)在科學(xué)工作流領(lǐng)域的研究尚處于起步階段。 許多具體領(lǐng)域的研究機(jī)構(gòu)已經(jīng)開始著手使用國(guó)際上成熟的科學(xué)工作流系統(tǒng)（如Kepler等）進(jìn)行涉及科學(xué)數(shù)據(jù)處理的大規(guī)模復(fù)雜科學(xué)實(shí)驗(yàn)。 一些大學(xué)及研究所也開始對(duì)科學(xué)工作流系統(tǒng)進(jìn)行了針對(duì)性研究，比如武漢大學(xué)軟件工程國(guó)家重點(diǎn)實(shí)驗(yàn)室、南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室等。,Kepler系統(tǒng),Kepler允許科學(xué)家設(shè)計(jì)科學(xué)工作流，并使用基于網(wǎng)格的分布式計(jì)算方法執(zhí)行這些工作流。 Kepler是用于科學(xué)數(shù)據(jù)分析與建模的軟件應(yīng)用程序。Kepler使用一個(gè)可視化展現(xiàn)（科學(xué)工作流模型，用以展示離散分析和建模組件之間的數(shù)據(jù)流），使得創(chuàng)建可執(zhí)行模型的過程簡(jiǎn)單化。,Kepler系統(tǒng),Kepler用戶即使沒有計(jì)算機(jī)科學(xué)背景，也可以使用標(biāo)準(zhǔn)組件來生成工作流，或者修改現(xiàn)有的工作流模型以滿足需要。 Kepler集成了一些通用數(shù)據(jù)分析及可視化軟件，如Matlab、R等，為領(lǐng)域科學(xué)家提供了方便。 高級(jí)用戶也能從Kepler提供的大量?jī)?yōu)良特性獲益，特別是當(dāng)使用一個(gè)方便理解地以及容易分享的方式呈現(xiàn)一個(gè)復(fù)雜程序和分析。,Kepler系統(tǒng),Kepler構(gòu)建于另一個(gè)開源可視化建模系統(tǒng)PtolemyII之上，為科學(xué)家提供了一個(gè)方便易用的工作平臺(tái)。 Kepler是一個(gè)用戶友好的程序，允許科學(xué)家通過簡(jiǎn)單地拖拉、連接一些特定的組件，建立滿足條件的科學(xué)工作流，而不用手工整合大量的軟件程序，也不用借助于計(jì)算機(jī)程序員的協(xié)助。,Kepler系統(tǒng),Ptolemy系統(tǒng)由UC Berkeley大學(xué)開發(fā)，用于研究并發(fā)、實(shí)時(shí)以及嵌入式系統(tǒng)的建模、仿真和設(shè)計(jì)。 Kepler系統(tǒng)很好地繼承和發(fā)展了Ptolemy面向角色建模的特性，并加入了大量新特性，用于支持科學(xué)工作流。主要體現(xiàn)在對(duì)科學(xué)數(shù)據(jù)的獲取、處理。,Kepler系統(tǒng),術(shù)語 角色（actor）：執(zhí)行一系列復(fù)雜操作的組件，是SWF中處理科學(xué)數(shù)據(jù)的實(shí)體。 參數(shù)（parameter）：角色可配置的值。 端口（port）：角色間供相互連接的通道，有輸入端口和輸出端口。 連接（relation）：用于連接角色的端口，是數(shù)據(jù)傳遞的通道。,Kepler系統(tǒng),Director,The Director controls the sequence of actor execution. Each actor takes data on its input ports, processes that data, and send results its output ports.,An actor fires, placing the resulting data in a container called a token. The data token then flows from the output port to the input port of connected actors.,Actors transform input tokens into output data tokens which then get passed to the next actor under control of the director.,Kepler系統(tǒng),在用Kepler/PtolemyII構(gòu)建的科學(xué)工作流中，獨(dú)立處理具體任務(wù)的組件實(shí)體被稱為“actor”。 “actor”之間通信的接口是“port”，有input port和output port兩種。 actor使用“parameter”來配置和定制相關(guān)的行為。 actor之間通過“channel”相互連接。,Kepler系統(tǒng),類型定義良好的面向角色工作流模型Define a workflow: W = A: a set of Actors D: a set of connections : i/o-signature of W M: a director (model of computation) : a set of constraints,Kepler系統(tǒng),“director”指定了模型執(zhí)行的語義，定義了actor如何執(zhí)行，以及相互之間如何通信。用戶定制好的工作流模型，包括一個(gè)特定領(lǐng)域的“director”，以及至少一個(gè)“actor”。工作流執(zhí)行的時(shí)候，“director”控制數(shù)據(jù)在“actor”中的流動(dòng)，按照定制好的流程，調(diào)度部署每個(gè)“actor”的迭代執(zhí)行。,Kepler系統(tǒng),在Kepler/PtolemyII系統(tǒng)中，定制好的科學(xué)工作流模型以XML文件形式存儲(chǔ)，該XML文件滿足MoML（Modeling Markup Language）XML模式要求。 MoML使用DTD（文檔類型定義）定義。,Kepler系統(tǒng),Contributors for Kepler,基于web的科學(xué)工作流系統(tǒng),該系統(tǒng)擬提供給用戶（具體領(lǐng)域研究人員）一個(gè)基于web的簡(jiǎn)單易用的工具，用于對(duì)數(shù)據(jù)密集型科學(xué)實(shí)驗(yàn)的全過程。該方案使用Web服務(wù)、SRB、FTP等多種方式獲取研究所需要的科學(xué)數(shù)據(jù)，并通過實(shí)現(xiàn)在web瀏覽器上的VML/SVG可視化操作界面，定制滿足需求的工作流實(shí)例，提交給后臺(tái)Kepler/PtolemyII工作流引擎服務(wù)器，經(jīng)過對(duì)所獲取的數(shù)據(jù)調(diào)用科學(xué)數(shù)據(jù)專有的處理軟件（包括NCL、Matlab、CDO等）進(jìn)行分析計(jì)算，最終得到所需要的可視化結(jié)果或是將結(jié)果數(shù)據(jù)反饋給用戶。,基于工作流的科學(xué)數(shù)據(jù)分析平臺(tái),結(jié)果,科研人員,基于web的科學(xué)工作流系統(tǒng),體系架構(gòu)圖,數(shù)據(jù)資源層 完成對(duì)物理資源及分布式資源（大規(guī)?？茖W(xué)數(shù)據(jù)，如IPCC、NCAR等）的存取。 算法模型庫(kù) 簡(jiǎn)單算法：加、減、乘、除等 復(fù)雜操作：統(tǒng)計(jì)、聚類分析等 高性能計(jì)算環(huán)境,基于web的科學(xué)工作流系統(tǒng),工作流引擎及中間件層 提供一個(gè)穩(wěn)定的工作流引擎 ，并支持資源、引擎、web等之間的通信。 使用Kepler： 管理actor的分類信息； 處理工作流實(shí)例的運(yùn)行； 動(dòng)態(tài)添加算法模型（actor）。,基于web的科學(xué)工作流系統(tǒng),Web接口層 提供給用戶一個(gè)設(shè)計(jì)良好、方便