虛擬太陽(yáng)天文臺(tái)技術(shù)回顧

1、虛擬太陽(yáng)天文臺(tái)(VSO)技術(shù)回顧,林鋼華 國(guó)家天文臺(tái),報(bào)告內(nèi)容,一、虛擬太陽(yáng)天文臺(tái)的提出； 二、建立虛擬太陽(yáng)天文臺(tái)要解決的技術(shù) 問題； 三、虛擬太陽(yáng)天文臺(tái)的體系結(jié)構(gòu)； 四、VSO的可擴(kuò)展性； 五、采用的技術(shù)； 六、VSO今后的發(fā)展。,一、虛擬太陽(yáng)天文臺(tái)的提出,虛擬天文臺(tái)由科學(xué)驅(qū)動(dòng)而產(chǎn)生，基于計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展而得以發(fā)展。 在1998年卡波迪蒙蒂瓷的天文臺(tái)的Kevin Reardon提出：太陽(yáng)活動(dòng)周期變化的詳細(xì)研究需要分析橫跨多年的觀測(cè)記錄，還要使用標(biāo)準(zhǔn)協(xié)議將多個(gè)單獨(dú)維護(hù)的數(shù)據(jù)庫(kù)無縫地連接起來，實(shí)現(xiàn)跨多個(gè)檔案的復(fù)雜檢索；,一、虛擬太陽(yáng)天文臺(tái)的提出,1998年意大利8個(gè)天文臺(tái)和研究所的天文

2、工作者提出“全部太陽(yáng)數(shù)據(jù)目錄”（WSC：the Whole Sun Catalog）項(xiàng)目：WSC 將有效連接遍布世界的可用太陽(yáng)檔案。 WSC通過已提供的單個(gè)太陽(yáng)檔案，簡(jiǎn)化執(zhí)行檢索的任務(wù)和擴(kuò)展科學(xué)家的查詢范圍，WSC使這種可能性極大地增加。其中Roudier指出1995年時(shí)僅在歐洲就列出了幾十個(gè)可用的數(shù)據(jù)庫(kù)，顯而易見，訪問這幾十個(gè)數(shù)據(jù)庫(kù)是一個(gè)耗費(fèi)時(shí)間的任務(wù)，并且這個(gè)任務(wù)幾乎不可能完成 。提出WCS項(xiàng)目，就是為了生成太陽(yáng)天文臺(tái)的數(shù)據(jù)目錄，解決這樣廣泛查詢的困難；,一、虛擬太陽(yáng)天文臺(tái)的提出,1997年Sanchez-Duarte等首先提出了結(jié)合太陽(yáng)檔案成為一個(gè)統(tǒng)一系統(tǒng)的思想； 1998 年Dimit

3、oglou等進(jìn)一步討論了這一思想； 由前期發(fā)展而演化為VSO的項(xiàng)目還有JOSO(the Joint Organization for Solar Observation)、SOLAR(SOHO Long_term Archive)、ARTHEMIS、BASS2000。 1998年美國(guó)國(guó)家研究委員會(huì)關(guān)于地基太陽(yáng)研究的空間研究理事會(huì)組織了關(guān)于數(shù)據(jù)檔案及其挖掘?qū)τ谔?yáng)研究團(tuán)體重要性的討論，并推薦：“開發(fā)一個(gè)由NSF和NASA合作支持的通過WWW訪問的分布數(shù)據(jù)檔案”。之后美國(guó)國(guó)家研究委員會(huì)天文學(xué)天體物理調(diào)查委員會(huì)鄭重簽署了把國(guó)家虛擬天文臺(tái)作為頂級(jí)優(yōu)先的小型項(xiàng)目啟動(dòng)協(xié)議。國(guó)家虛擬天文臺(tái)（NVO：Nati

4、onal Virtual Observatories）是一個(gè)夜間天文學(xué)上與VSO的相似項(xiàng)目，代表了在交叉相關(guān)研究中天文團(tuán)體日益增長(zhǎng)的興趣。,一、虛擬太陽(yáng)天文臺(tái)的提出,2001年7月NASA空間科學(xué)日地結(jié)合部舉行了兩年一次的運(yùn)作使命和數(shù)據(jù)中心的回顧會(huì)議，太陽(yáng)數(shù)據(jù)分析中心（SDAC）也包括在此次會(huì)議內(nèi)。這次會(huì)上對(duì)VSO提出了研究、原型、開發(fā)方面的經(jīng)費(fèi)預(yù)算。在此基礎(chǔ)上，2002年11月由美國(guó)斯坦福大學(xué)、國(guó)家太陽(yáng)天文臺(tái)、蒙大納州州立大學(xué)和太陽(yáng)數(shù)據(jù)中心組成的VSO研究組發(fā)布了虛擬太陽(yáng)天文臺(tái)設(shè)計(jì)協(xié)議書，此書中給出了VSO的體系結(jié)構(gòu)、組織結(jié)構(gòu)、特性、技術(shù)方法、首批參加此項(xiàng)目的成員、經(jīng)費(fèi)分配、項(xiàng)目運(yùn)作時(shí)間表等

5、問題的描述。至此VSO項(xiàng)目正式起動(dòng)。,二、建立虛擬太陽(yáng)天文臺(tái)要解決的技術(shù)問題,搜索和證認(rèn)的可視化； 形成多種可能的搜索； 標(biāo)準(zhǔn)化查詢形成方法； 標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)信息； 包括元數(shù)據(jù)標(biāo)準(zhǔn)和統(tǒng)一的數(shù)據(jù)模型； 能傳送數(shù)據(jù)或至少指向數(shù)據(jù)源； 能吸收新數(shù)據(jù)源； 進(jìn)一步還有：軟件和文獻(xiàn)資源；查詢登記；分布式處理；證認(rèn)服務(wù)。,三、虛擬天太陽(yáng)文臺(tái)的體系結(jié)構(gòu),如由美國(guó)四所天文單位牽頭的VSO體系結(jié)構(gòu); 由歐洲聯(lián)盟提出的EGSO（European Grid of Solar Observations 歐洲網(wǎng)格太陽(yáng)天文臺(tái)）體系結(jié)構(gòu); CoSEC (Collaborative Sun Earth Connector 協(xié)作

6、式日地連接器) 體系結(jié)構(gòu),二、虛擬太陽(yáng)天文臺(tái)的體系結(jié)構(gòu),三、虛擬天太陽(yáng)文臺(tái)的體系結(jié)構(gòu),VSO的簡(jiǎn)化體系結(jié)構(gòu)如圖所示,它主要由圖中所示6部分組成： 1.用戶。指訪問VSO的人，如太陽(yáng)物理學(xué)家、空間物理學(xué)家等； 2.訪問方法。指為訪問VSO專門開發(fā)的用戶應(yīng)用程序接口； 3.VSO實(shí)例。它是VSO核心，用來處理用戶查詢，確定到哪一個(gè)站點(diǎn)去查詢數(shù)據(jù)并將數(shù)據(jù)返回； 4.中心服務(wù)器。它用來記錄搜索的重復(fù)性和屬性（是誰做了哪些查詢）；它也記錄下各個(gè)數(shù)據(jù)提供者提供的可用數(shù)據(jù)和數(shù)據(jù)更新； 5.數(shù)據(jù)提供者。它是實(shí)際執(zhí)行數(shù)據(jù)查詢所在地；,三、虛擬太陽(yáng)天文臺(tái)的體系結(jié)構(gòu),6.數(shù)據(jù)要求和返回。用戶通過數(shù)據(jù)提供者提供的工具

7、直接檢索數(shù)據(jù)，或者通過使用智能VSO代理，它向（那些）數(shù)據(jù)提供者詢問數(shù)據(jù)的可用性，并將詢問結(jié)果集中起來，用電子郵件將這些結(jié)果通知用戶，如：在什么地點(diǎn)什么時(shí)間數(shù)據(jù)是可用的。幾個(gè)單位已在不同站點(diǎn)從多種數(shù)據(jù)服務(wù)方面測(cè)試了這一體系結(jié)構(gòu)的可用性。,四、VSO的可擴(kuò)展性,VSO體系結(jié)構(gòu)的成功開發(fā)增加了基礎(chǔ)系統(tǒng)體系結(jié)構(gòu)在處理分布式系統(tǒng)的擴(kuò)展性和容錯(cuò)性方面的能力。 這種擴(kuò)展性體現(xiàn)在數(shù)據(jù)提供者方面，它由原來的幾個(gè)天文臺(tái)擴(kuò)展到全美國(guó)、乃至全世界；可以精細(xì)化數(shù)據(jù)模型；可以增加其它服務(wù)，如聯(lián)接更為典型的分布式處理項(xiàng)目，如CoSEC、EGSO等； 體現(xiàn)在用戶方面，將由單一類型用戶和界面擴(kuò)展到多種類型用戶和界面；,四、V

8、SO的可擴(kuò)展性,容錯(cuò)性能則體現(xiàn)在：這個(gè)系統(tǒng)的全部體系結(jié)構(gòu)受到那些不同數(shù)據(jù)倉(cāng)庫(kù)（它們是不具有共享能力的普通數(shù)據(jù)集）的影響，當(dāng)增加新數(shù)據(jù)提供者或新搜索能力時(shí)，返回有用結(jié)果的時(shí)間不應(yīng)隨著它們的增加而線性增加，在原型開發(fā)中，開發(fā)者小心地識(shí)別并孤立出那些慢的或無反應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)，使它們不影響VSO搜索的整體質(zhì)量。對(duì)這種額外的復(fù)雜性的處理使搜索者集中精力于搜索目標(biāo)上而不是使用的工具上。,五、采用的技術(shù) XML,采用了XML（可擴(kuò)展標(biāo)記語(yǔ)言）。 它的自描述性使其非常適用于不同應(yīng)用間的數(shù)據(jù)交換，這種交換不以預(yù)先規(guī)定一組數(shù)據(jù)結(jié)構(gòu)定義為前提。 VSO使用它作為文檔中識(shí)別結(jié)構(gòu)的一種機(jī)制。如數(shù)據(jù)提供方的元數(shù)據(jù)采用XML

9、定義并存儲(chǔ)；在關(guān)系數(shù)據(jù)庫(kù)中提供了XML視圖，這樣可實(shí)現(xiàn)基于XML的檢索，實(shí)現(xiàn)XML視圖和關(guān)系數(shù)據(jù)庫(kù)之間的映射；采用XML進(jìn)行數(shù)據(jù)交換，VSO中的注冊(cè)項(xiàng)就是根據(jù)數(shù)據(jù)模型的定義用XML來描述的。,五、采用的技術(shù)WEB服務(wù),WEB服務(wù)。它是網(wǎng)絡(luò)上可用的服務(wù)，標(biāo)準(zhǔn)化的XML消息，它獨(dú)立于操作系統(tǒng)和編程語(yǔ)言；它建立在如下協(xié)議堆?；A(chǔ)上： 發(fā)現(xiàn) UDDI 描述 WSDL XML 消息 XML-RPC,SOAP 傳輸 HTTP,SMTP,FTP Internet IPv4, IPv6 在VSO中使用它以應(yīng)用為中心替代了以人為中心（POST/GET）的特性；及它的Web自動(dòng)化特性：如服務(wù)描述，服務(wù)注冊(cè)。,五、

10、采用的技術(shù) SOAP,SOAP（Simple Object Access Protocol 簡(jiǎn)單對(duì)象訪問協(xié)議）的應(yīng)用。 它是RPC(遠(yuǎn)程過程調(diào)用)機(jī)制，它用HTTP進(jìn)行傳輸，客戶和服務(wù)器之間的消息是以XML編寫的。 虛擬太陽(yáng)天文臺(tái)的目的就是整合分布的不同的數(shù)據(jù)檔案成為一個(gè)看似集中的虛擬的數(shù)據(jù)集合去提供通用的搜索和傳遞服務(wù)。VSO使用SOAP來實(shí)現(xiàn)這一目的。SOAP即可用于服務(wù)器端也可用于客戶端。 SOAP正是在松散的聯(lián)合和動(dòng)態(tài)的集成之間建立的無縫跨平臺(tái)互操作的協(xié)議，SOAP和XML也正是WEB服務(wù)中最為適合的消息交換協(xié)議。VSO使用Perl的SOAP：Lite模塊，提供數(shù)據(jù)訪問與操作系統(tǒng)平臺(tái)的

11、無關(guān)性。(其實(shí)使用Java的Axis:模塊，或C/C+的gSOAP:模塊也都是可以的，因?yàn)镴ava和C/C+都支持SOAP。),五、采用的技術(shù) SOAP,SOAP是網(wǎng)絡(luò)膠合劑，它使VSO和數(shù)據(jù)提供者通話，還能使VSO和其他虛擬天文臺(tái)項(xiàng)目如EGSO、CoSEC結(jié)合。（SOAP分布服務(wù)器通過SOAP協(xié)議和每一個(gè)VSO實(shí)例通訊.）。其中SOAP：Lite模塊是API的關(guān)鍵所在。 SOAP具有錯(cuò)誤處理機(jī)制，如超時(shí)處理，對(duì)標(biāo)準(zhǔn)的和自行定制的錯(cuò)誤原因進(jìn)行處理。 在VSO使用SOAP的基礎(chǔ)上，就要上天的空間望遠(yuǎn)鏡如：STEREO、Solar-B、SDO，獲取的數(shù)據(jù)也將采用基于SOAP的技術(shù)提供用戶使用,五、

12、采用的技術(shù)-DM,數(shù)據(jù)模型（DM）：定義了一個(gè)統(tǒng)一的全世界范圍的視圖，因此解除了任何數(shù)據(jù)提供方在數(shù)據(jù)方面的特性。它盡可能全面而完整的定義了數(shù)據(jù)查詢時(shí)可能給出的查詢項(xiàng)目及其值。 它用于描述任何數(shù)據(jù)提供者站點(diǎn)的數(shù)據(jù)集，使其與資源注冊(cè)中的一致，也使得元數(shù)據(jù)按照DM組織。用戶查詢及結(jié)果返回都以DM的術(shù)語(yǔ)表示，在VSO各個(gè)部分編程實(shí)現(xiàn)中，都以此DM作為內(nèi)部數(shù)據(jù)結(jié)構(gòu)。,五、采用的技術(shù)-DM,轉(zhuǎn)換：數(shù)據(jù)存儲(chǔ)不需要按照DM進(jìn)行，但在查詢提出時(shí)，需要有一個(gè)從VSO DM 到數(shù)據(jù)提供方數(shù)據(jù)規(guī)范的轉(zhuǎn)換，在查詢結(jié)果得到時(shí)，需要有一個(gè)從數(shù)據(jù)提供方數(shù)據(jù)規(guī)范到VSO DM的轉(zhuǎn)換。數(shù)據(jù)模型中的名字使用了更多的慣例和慣例的統(tǒng)一

13、，這使得數(shù)據(jù)描述和接口對(duì)于用戶來說更為直觀。由于數(shù)據(jù)模型是獨(dú)立開發(fā)的，還需和國(guó)際間其它虛擬天文臺(tái)項(xiàng)目如EGSO協(xié)調(diào)去統(tǒng)一此模型中的數(shù)據(jù)描述。 顯而易見的優(yōu)點(diǎn)：采用統(tǒng)一國(guó)際數(shù)據(jù)標(biāo)準(zhǔn)（DM），有利于整合現(xiàn)有資源，也易于維護(hù)和升級(jí)換代；可以提供動(dòng)態(tài)服務(wù)，能夠適應(yīng)網(wǎng)絡(luò)和資源提供處的變化。,五、采用的技術(shù)實(shí)例,實(shí)例.下圖給出了對(duì)VSO實(shí)例功能較詳細(xì)地概括。,實(shí)例是VSO的核心.實(shí)例工作過程如下：VSO用戶接口得到查詢參數(shù)，如： ”MDI,Yohkoh,SXT,NSO,EIT magnetogram from Oct-28-2001” VSO搜索引擎通過包含有VSO提供者信息的VSO注冊(cè)器確定到圖中1、3

14、、5、7所指位置進(jìn)行查詢， 圖2 VSO實(shí)例 在1、3、5、7所指本地服務(wù)器中提供者查詢引擎分別執(zhí)行如下操作： SELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=EIT SELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=NSO magnetogram SELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=Yohkoh SELE

15、CT observation FROM database WHERE date=28-Oct-2001 AND instrument=MDI 提供者查詢引擎將結(jié)果2、4、6、8返回用戶接口。這一過程由多個(gè)實(shí)例獨(dú)立地完成。,五、采用的技術(shù)實(shí)例,VSO要求對(duì)于注冊(cè)器和會(huì)話的集中存儲(chǔ)（存儲(chǔ)在圖14所示的中心服務(wù)器中）。實(shí)例運(yùn)行類似的代碼作基于注冊(cè)器的轉(zhuǎn)換工作；用戶是通過和VSO實(shí)例通訊實(shí)現(xiàn)詢問和請(qǐng)求的；分布式服務(wù)器通過SOAP協(xié)議和每一個(gè)VSO實(shí)例通訊。實(shí)例運(yùn)行在本地機(jī)器上，它使VSO成為沒有執(zhí)行瓶頸的分布式系統(tǒng)。,五、采用的技術(shù)實(shí)例,實(shí)例 以Perl語(yǔ)言實(shí)現(xiàn)。選擇Perl的原因是因?yàn)榱餍械腤EB服

16、務(wù)用它編寫，、前期已開發(fā)的網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)接口及詞匯匹配包都用它編寫。,五、采用的技術(shù)資源注冊(cè)技術(shù),它用于記錄數(shù)據(jù)提供者、他們提供什么樣的可用數(shù)據(jù)及其數(shù)據(jù)更新；VSO搜索引擎使用這些信息確定向哪些數(shù)據(jù)提供者發(fā)送查詢要求；它還記錄下如何訪問這些數(shù)據(jù)及數(shù)據(jù)輸出方法。,五、采用的技術(shù)資源注冊(cè)技術(shù),描述斯坦福MDI數(shù)據(jù)注冊(cè)項(xiàng)的例子如下： Source: SOHO Instrument: MDI Observables:Dopplergram,Magnetogram LOS, Continuum Intensity, Line Depth Time Range:1996.01.03 present 描述如何

17、訪問斯坦福數(shù)據(jù)注冊(cè)項(xiàng)查詢接口的例子如下： Server: 15- URL: http:/15-/SHAI Proxy:http:/15-/cgi-bin/soap/shai.cgi 輸出接口例子如下： Method: GET URL: /cgi-bin/export/expvrfy,五、采用的技術(shù) VSO搜索引擎,它通過尋問資源注冊(cè)器確定向哪個(gè)數(shù)據(jù)提供方發(fā)出查尋要求；等待提供方的響應(yīng)；匯集提供方的查詢結(jié)果。查尋項(xiàng)按照DM給出。 它在SOAP核心接口中還要實(shí)現(xiàn)如

18、下功能：高速緩存/SQL引擎，負(fù)載平衡管理器/高速緩存同步器。負(fù)載平衡管理器和高速緩存同步器保證在引擎之間的同步和最佳的性能。 有兩種引擎模型：基于數(shù)據(jù)提供者方提供（通過GUI實(shí)現(xiàn)）的和非數(shù)據(jù)提供者方（通過UI實(shí)現(xiàn)）的一般方式下的查尋。這些查尋通過使用SOAP調(diào)用實(shí)現(xiàn)。VSO數(shù)據(jù)提供者方的引擎，在SOAP調(diào)用中完成大量XML消息交換，這些消息在所有VSO接口中都是一樣的；對(duì)于非VSO數(shù)據(jù)提供者方的引擎，定義它已知數(shù)據(jù)提供者方的數(shù)據(jù)庫(kù)和存儲(chǔ)結(jié)構(gòu)，在SOAP調(diào)用中只提供了運(yùn)行SQL和操作系統(tǒng)命令的一般方法。,五、采用的技術(shù)會(huì)話記錄,會(huì)話記錄的目的是為了收集數(shù)據(jù)使用狀態(tài)統(tǒng)計(jì)和能夠重復(fù)保存過的查詢。實(shí)例運(yùn)行類似的代碼作基于注冊(cè)的轉(zhuǎn)換工作用于記錄下前面的搜索, 以便