虛擬天文臺數(shù)據(jù)訪問客戶端設(shè)計與實(shí)現(xiàn)

1、虛擬天文臺數(shù)據(jù)訪問客戶端設(shè)計與實(shí)現(xiàn)楊陽指導(dǎo)老師：趙永恒研究員、崔辰州副研究員 2022-3-9碩士論文答辯2主要內(nèi)容u 論文研究的背景u 論文研究的主要內(nèi)容 GUI客戶端 命令行客戶端 系統(tǒng)應(yīng)用：科學(xué)應(yīng)用范例 系統(tǒng)集成與部署u總結(jié)與展望2022-3-9碩士論文答辯3主要內(nèi)容u 論文研究的背景u 論文研究的主要內(nèi)容 GUI客戶端 命令行客戶端 系統(tǒng)應(yīng)用：科學(xué)應(yīng)用范例 系統(tǒng)集成與部署u總結(jié)與展望2022-3-9碩士論文答辯4論文研究的背景虛擬天文臺 -天文觀測技術(shù)和計算機(jī)技術(shù)發(fā)展的產(chǎn)物 - 通過先進(jìn)的信息技術(shù)將全球范圍內(nèi)的研究資源 無縫透明連接在一起形成的數(shù)據(jù)密集型網(wǎng)絡(luò)化 天文研究與科普教育平臺。

2、 - 特征：整合天文服務(wù)資源 聯(lián)合不同的天文數(shù)據(jù) 提供各種天文服務(wù) 資源共享促進(jìn)天文學(xué)的研究和普及2002年6月成立國際虛擬天文臺聯(lián)盟（IVOA）2022-3-9碩士論文答辯5論文研究的背景中國虛擬天文臺（China - VO） - 2002年誕生，同年10月加入IVOA - 發(fā)展：VO-enable LAMOST e-science - 天文應(yīng)用工具：SkyMouse：桌面天文信息搜索 FitHAS：FITS文件頭入庫 VO-DAS：異地異構(gòu)海量數(shù)據(jù)訪問2022-3-9碩士論文答辯6論文研究的背景VODAS（Virtual Observatory Data Access Service） -

3、 天文數(shù)據(jù)：分布性、異構(gòu)性和海量的數(shù)據(jù)訪問 - 2006年5月提出設(shè)計VO-DAS - 在虛擬天文臺環(huán)境下 、在網(wǎng)格中間件 OGSA-DAI的基礎(chǔ) 上設(shè)計開發(fā)一套符合國際虛擬天文臺聯(lián)盟標(biāo)準(zhǔn)的數(shù)據(jù)訪 問系統(tǒng) - 目的：實(shí)現(xiàn)異地異構(gòu)海量數(shù)據(jù)資源的訪問 - 功能：交叉證認(rèn)和聯(lián)合查詢 星表、圖像、光譜 一次訪問上百萬條記錄 多種數(shù)據(jù)存儲格式：CSV、ASCII、VOTable2022-3-9碩士論文答辯7論文研究的背景-VO-DAS的服務(wù)發(fā)布接口 四大類接口： RMI：資源元數(shù)據(jù)接口 DQI：數(shù)據(jù)查詢接口 DAI：數(shù)據(jù)存取接口 MI：管理接口接口僅供程序使用，一般用戶難 以直接訪問VO-DAS體系結(jié)構(gòu)

4、1）VO-DAS必須要有與之相適應(yīng)的客戶端供用戶訪問異地異構(gòu)海量數(shù)據(jù)資源2022-3-9碩士論文答辯8論文研究的背景VO-DAS客戶端 - 數(shù)據(jù)訪問客戶端的現(xiàn)狀 美國Open SkyQuery：只提供Web客戶端、同步查詢 一次訪問最多5000條記錄 SDSS的casjob服務(wù)：只提供異步查詢，分配給用戶的空 間有限，非異地查詢功能 查詢方式 訪問數(shù)據(jù)量 數(shù)據(jù)資源 用戶群2）基于VO-DAS的客戶端要解決目前存在 的這些問題2022-3-9碩士論文答辯9論文研究的背景- VODAS的三種客戶端： GUI：圖形界面，易學(xué)易用，適合初級用戶 命令行客戶端：命令行方式，適合高級用戶 Web客戶端：不

5、需安裝客戶端即可使用 擴(kuò)大了VO-DAS的用戶群，發(fā)揮了VO-DAS的能力 2022-3-9碩士論文答辯10主要內(nèi)容u 論文研究的背景u 論文研究的主要內(nèi)容- GUI客戶端- 命令行客戶端- 系統(tǒng)應(yīng)用：科學(xué)應(yīng)用范例- 系統(tǒng)集成與部署u 總結(jié)與展望2022-3-9碩士論文答辯11GUI客戶端特點(diǎn)： 所有的操作以圖形界面的方式與用戶交互 適合低頻率的數(shù)據(jù)訪問 適合小數(shù)據(jù)量的查詢 可與其它VO工具交互協(xié)同操作 2022-3-9碩士論文答辯12GUI客戶端-總體結(jié)構(gòu) GUI客戶端設(shè)計圖2022-3-9碩士論文答辯13GUI客戶端-設(shè)計工作流程：異步方式、同步方式 - 異步方式 客戶端請求連接獲取元數(shù)據(jù)

6、提交異步查詢讀取系統(tǒng)信息監(jiān)控處理任務(wù)完成，下載數(shù)據(jù)寫磁盤操作退出異步方式工作流程2022-3-9碩士論文答辯14GUI客戶端-設(shè)計- 同步方式 客戶端請求連接獲取元數(shù)據(jù)提交同步查詢讀取系統(tǒng)信息等待數(shù)據(jù)返回與其它VO工具交互數(shù)據(jù)分析處理同步方式工作流程2022-3-9碩士論文答辯15GUI客戶端-設(shè)計- 兩種方式異同 同：查詢?nèi)蝿?wù)描述（ADQL） 數(shù)據(jù)存儲格式（ASCII、VOTabl、FITS、 GZIP） 異：查詢請求方式 結(jié)果數(shù)據(jù)處理 異步 直接保存 同步 保存/互操作2022-3-9碩士論文答辯16GUI客戶端-設(shè)計結(jié)果數(shù)據(jù)處理（同步） - PLASTIC（Platform for As

7、tronomy Tool InterConnection） 天文桌面應(yīng)用工具之間的通訊協(xié)議 解決VO工具之間的互操作問題 PLASTIC HUB PLASTIC MESSAGE2022-3-9碩士論文答辯17GUI客戶端-設(shè)計 - 結(jié)果數(shù)據(jù)處理時序VO-DAS與TOPCAT交互操作示意圖2022-3-9碩士論文答辯18GUI客戶端-設(shè)計 監(jiān)控模塊 - 實(shí)時監(jiān)控服務(wù)器的作業(yè)，從而對客戶端信息進(jìn)行處理 - 流程監(jiān)控流程控制圖2022-3-9碩士論文答辯19GUI客戶端-設(shè)計 獲取元數(shù)據(jù) - 元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù) - 給用戶編輯查詢?nèi)蝿?wù)提供參考 - 過程 請求數(shù)據(jù)資源（GetAllResource

8、） 解析返回的資源XML字符串 請求表信息（GetMetaTable） 解析返回表的XML字符串 請求表列信息(GetMetaColumn) 解析表列的XML字符串 - 樹形結(jié)點(diǎn)方式顯示2022-3-9碩士論文答辯20GUI客戶端-實(shí)現(xiàn)主界面ADQL編輯區(qū)元數(shù)據(jù)顯示監(jiān)控GUI客戶端主界面2022-3-9碩士論文答辯21GUI客戶端-小結(jié) GUI客戶端是VODAS客戶端的一種形式 設(shè)計遵循初級用戶簡單易用的原則 以圖形界面的方式實(shí)現(xiàn)： 元數(shù)據(jù)獲取、同步/異步查詢 結(jié)果數(shù)據(jù)處理（同步）、監(jiān)控處理（異步）2022-3-9碩士論文答辯22主要內(nèi)容u 論文背景和意義u 論文的主要內(nèi)容 GUI客戶端 命令

9、行客戶端 系統(tǒng)集成與部署 系統(tǒng)應(yīng)用：科學(xué)應(yīng)用范例u總結(jié)與展望2022-3-9碩士論文答辯23命令行客戶端特點(diǎn)： 所有的操作以命令的方式與用戶交互 可以嵌入用戶自己的程序中 適合高頻率批量的數(shù)據(jù)訪問 2022-3-9碩士論文答辯24命令行客戶端-設(shè)計總體結(jié)構(gòu)： Linux或Windows環(huán)境下的shell或bat命令 后臺調(diào)用服務(wù)器接口的java程序2022-3-9碩士論文答辯25命令行客戶端-設(shè)計命令行客戶端設(shè)計圖2022-3-9碩士論文答辯26命令行客戶端-設(shè)計工作流程 - 異步方式 發(fā)起異步請求連接服務(wù)器獲取任務(wù)狀態(tài)提交任務(wù)獲取結(jié)果數(shù)據(jù)地址下載數(shù)據(jù)異步方式工作流程2022-3-9碩士論文答

10、辯27命令行客戶端-設(shè)計- 同步方式發(fā)起同步請求連接服務(wù)器等待結(jié)果數(shù)據(jù)提交任務(wù)返回結(jié)果數(shù)據(jù)同步方式工作流程2022-3-9碩士論文答辯28命令行客戶端-設(shè)計命令部分 - 與用戶直接交互的部分 - 分別用Shell腳本和批處理環(huán)境實(shí)現(xiàn)一套操作命令 - 實(shí)現(xiàn)流程：命令實(shí)現(xiàn)流程2022-3-9碩士論文答辯29命令行客戶端-設(shè)計后臺部分 - 接收前臺提交的數(shù)據(jù)，按照服務(wù)器接口標(biāo)準(zhǔn)予以轉(zhuǎn)換， 并調(diào)用服務(wù)器接口。 與GUI客戶端的異同： 同：對服務(wù)器接口的操作必須經(jīng)由連接生成Session 異：命令行用戶每請求一次，連接一次；GUI用戶則 只連接一次 命令行服務(wù)器地址等配置信息存放于文件；GUI 則不是。

11、 命令行以XML文本顯示元數(shù)據(jù)信息；GUI以樹形結(jié) 構(gòu)顯示2022-3-9碩士論文答辯30命令行客戶端-實(shí)現(xiàn)后臺程序?qū)崿F(xiàn) 實(shí)現(xiàn)一組支持客戶端的請求操作類名說明Class Commands_main主類，所有命令的入口Class Connect連接服務(wù)器Class MetaData獲取并格式化元數(shù)據(jù)Class SynQ同步查詢Class AsynQ異步查詢Class Help幫助2022-3-9碩士論文答辯31命令行客戶端-實(shí)現(xiàn) 命令接口 命令名說明md獲取元數(shù)據(jù)Syn提交同步查詢?nèi)蝿?wù)Asyn提交異步查詢?nèi)蝿?wù)Jobstatus得到任務(wù)的狀態(tài)Dataurl獲取異步提交任務(wù)執(zhí)行結(jié)果保存地址desto

12、ry銷毀服務(wù)器上任務(wù)2022-3-9碩士論文答辯32命令行客戶端-實(shí)現(xiàn)應(yīng)用： asyn.sh f adqlSample 0 ftp:/vodas:vodas22/test/vodas.dat Session2022-3-9碩士論文答辯33命令行客戶端2022-3-9碩士論文答辯34命令行客戶端-小結(jié) 以命令的方式提交用戶請求 適合高級用戶海量數(shù)據(jù)的查詢要求 實(shí)現(xiàn)包含兩部分：前臺命令、后臺程序GUI命令行工作方式Pushpull開發(fā)者復(fù)雜簡單用戶簡單復(fù)雜GUI與命令行比較2022-3-9碩士論文答辯35主要內(nèi)容u 論文背景和意義u 論文的主要內(nèi)容 GUI客戶端 命令行客

13、戶端 系統(tǒng)應(yīng)用：科學(xué)應(yīng)用范例 系統(tǒng)集成與部署u 總結(jié)與展望2022-3-9碩士論文答辯36科學(xué)應(yīng)用范例 目的： 用星流的運(yùn)動軌跡研究銀河系的引力勢 在星流的運(yùn)動軌道上，我們選取一類距離最容易確定的恒星即BHB星（藍(lán)水平分支星）來估算引力勢。 確定包含BHB星所在的A型星區(qū)域。由于A型星中的BHB星會受到BS星（藍(lán)離散星）的干擾，然后就需要分離出BS星來得到BHB星。將這些BHB星用工具將其可視化即可估算出BHB星的運(yùn)動軌跡，從而可以進(jìn)一步分析出銀河系的引力勢。2022-3-9碩士論文答辯37科學(xué)應(yīng)用范例 應(yīng)用步驟： ）構(gòu)造ADQL表達(dá)式，在GUI客戶端查找包含BHB星所在A 型星 2）確保TO

14、PCAT運(yùn)行并啟動內(nèi)置PLASTIC 3）將查詢返回結(jié)果直接發(fā)送到TOPCAT 4）在TOPCAT中構(gòu)建表達(dá)式從A型星中篩選出BHB型 5）求出BHB星的距離，進(jìn)行坐標(biāo)轉(zhuǎn)換 6）可視化3D圖，估算運(yùn)動軌跡。 從而進(jìn)一步求出銀河系的引力勢2022-3-9碩士論文答辯38科學(xué)范例GUI客戶端同步查詢結(jié)果 2022-3-9碩士論文答辯39科學(xué)應(yīng)用范例科學(xué)范例3D可視化2022-3-9碩士論文答辯40主要內(nèi)容u 論文背景和意義u 論文的主要內(nèi)容 GUI客戶端 命令行客戶端 系統(tǒng)應(yīng)用：科學(xué)應(yīng)用范例 系統(tǒng)集成與部署u 總結(jié)與展望2022-3-9碩士論文答辯41系統(tǒng)集成與部署- 數(shù)據(jù)結(jié)點(diǎn)配置工具- VO-D

15、AS系統(tǒng)的集成2022-3-9碩士論文答辯42數(shù)據(jù)結(jié)點(diǎn)配置工具 傳統(tǒng)的數(shù)據(jù)資源共享方式專業(yè)性強(qiáng)而繁雜 數(shù)據(jù)結(jié)點(diǎn)配置工具解決數(shù)據(jù)資源的共享問題2022-3-9碩士論文答辯43數(shù)據(jù)結(jié)點(diǎn)配置工具總體結(jié)構(gòu)數(shù)據(jù)結(jié)點(diǎn)配置工具模塊圖2022-3-9碩士論文答辯44數(shù)據(jù)結(jié)點(diǎn)配置工具工作流程 初始化資源部署訪問數(shù)據(jù)庫元數(shù)據(jù)顯示配置元數(shù)據(jù)生成文件2022-3-9碩士論文答辯45數(shù)據(jù)結(jié)點(diǎn)配置工具OGSA-DAI資源部署 - ANT：Java工程自動化構(gòu)建、部署工具 - OGSA-DAI使用ANT實(shí)現(xiàn)資源部署 命令行 圖形界面 - java編程調(diào)用ANT實(shí)現(xiàn)OGSA-DAI圖形界面的資源部署過程2022-3-9碩士論

16、文答辯46數(shù)據(jù)結(jié)點(diǎn)配置工具數(shù)據(jù)庫訪問 - JDBC：Java數(shù)據(jù)庫連接應(yīng)用程序接口簡稱，提供一套 數(shù)據(jù)庫編程API - 實(shí)現(xiàn)訪問已部署資源的數(shù)據(jù)庫的元數(shù)據(jù)客戶端/服務(wù)器的應(yīng)用2022-3-9碩士論文答辯47數(shù)據(jù)結(jié)點(diǎn)配置工具元數(shù)據(jù)配置元數(shù)據(jù)文件2022-3-9碩士論文答辯48數(shù)據(jù)結(jié)點(diǎn)配置工具主界面數(shù)據(jù)結(jié)點(diǎn)配置工具主界面資源部署元數(shù)據(jù)顯示元數(shù)據(jù)配置2022-3-9碩士論文答辯49VO-DAS系統(tǒng)的集成VO-DAS系統(tǒng)的組成VO-DAS Data NodeVO Registry Storage ServerClientVO-DAS系統(tǒng)關(guān)聯(lián)圖2022-3-9碩士論文答辯50VO-DAS系統(tǒng)的集成部署步

17、驟 1）VO-DAS Server：部署VO-DAS的gar包及其配置文件 2）Data Node：運(yùn)行數(shù)據(jù)結(jié)點(diǎn)配置工具的jar包，經(jīng)資源 配置并最終生成么metadata.xml文件 3）VO Registry：將metadata.xml文件的URL注冊到VO Registry 4) Storage Server :支持AstroGrid提供的VOSpace，允許 指定FTP或GridFTP 5）Client：GUI，設(shè)置java_home并運(yùn)行jar包 命令行，設(shè)置java_home和命令存放目錄 Web客戶端2022-3-9碩士論文答辯51VO-DAS系統(tǒng)的集成與部署-小結(jié) 數(shù)據(jù)結(jié)點(diǎn)配置工具：實(shí)現(xiàn)了便捷的數(shù)據(jù)共享方式 VO-DAS系統(tǒng)集成：用戶訪問VO-DAS系統(tǒng)必不可少 的工作2022-3-9碩士論文答辯52主要內(nèi)容u 論文背景和意義u 論文的主要內(nèi)容 GUI客戶端 命令行客戶端 系統(tǒng)集成與部署 系統(tǒng)應(yīng)用：科學(xué)應(yīng)用范例u 總結(jié)與展望2022-3-9碩士論文答辯53總結(jié)與展望總結(jié) - 客戶端 GUI：適用初級用戶低頻率的數(shù)據(jù)查詢 命令行客戶端：適合高級用戶高頻率的數(shù)據(jù)訪問 - 科學(xué)應(yīng)