虛擬太陽天文臺（VSO）技術(shù)回顧

1、虛擬太陽天文臺(VSO)技術(shù)回顧 林鋼華國家天文臺 報(bào)告內(nèi)容一、虛擬太陽天文臺的提出；二、建立虛擬太陽天文臺要解決的技術(shù) 問題；三、虛擬太陽天文臺的體系結(jié)構(gòu)；四、VSO的可擴(kuò)展性；五、采用的技術(shù)；六、VSO今后的發(fā)展。一、虛擬太陽天文臺的提出虛擬天文臺由科學(xué)驅(qū)動(dòng)而產(chǎn)生，基于計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展而得以發(fā)展。 在1998年卡波迪蒙蒂瓷的天文臺的Kevin Reardon提出：太陽活動(dòng)周期變化的詳細(xì)研究需要分析橫跨多年的觀測記錄，還要使用標(biāo)準(zhǔn)協(xié)議將多個(gè)單獨(dú)維護(hù)的數(shù)據(jù)庫無縫地連接起來，實(shí)現(xiàn)跨多個(gè)檔案的復(fù)雜檢索； 一、虛擬太陽天文臺的提出1998年意大利8個(gè)天文臺和研究所的天文工作者提出“全部太陽

2、數(shù)據(jù)目錄”（WSC：the Whole Sun Catalog）項(xiàng)目：WSC 將有效連接遍布世界的可用太陽檔案。 WSC通過已提供的單個(gè)太陽檔案，簡化執(zhí)行檢索的任務(wù)和擴(kuò)展科學(xué)家的查詢范圍，WSC使這種可能性極大地增加。其中Roudier指出1995年時(shí)僅在歐洲就列出了幾十個(gè)可用的數(shù)據(jù)庫，顯而易見，訪問這幾十個(gè)數(shù)據(jù)庫是一個(gè)耗費(fèi)時(shí)間的任務(wù)，并且這個(gè)任務(wù)幾乎不可能完成 。提出WCS項(xiàng)目，就是為了生成太陽天文臺的數(shù)據(jù)目錄，解決這樣廣泛查詢的困難； 一、虛擬太陽天文臺的提出1997年Sanchez-Duarte等首先提出了結(jié)合太陽檔案成為一個(gè)統(tǒng)一系統(tǒng)的思想；1998 年Dimitoglou等進(jìn)一步討論了

3、這一思想；由前期發(fā)展而演化為VSO的項(xiàng)目還有JOSO(the Joint Organization for Solar Observation)、SOLAR(SOHO Long_term Archive)、ARTHEMIS、BASS2000。1998年美國國家研究委員會(huì)關(guān)于地基太陽研究的空間研究理事會(huì)組織了關(guān)于數(shù)據(jù)檔案及其挖掘?qū)τ谔栄芯繄F(tuán)體重要性的討論，并推薦：“開發(fā)一個(gè)由NSF和NASA合作支持的通過WWW訪問的分布數(shù)據(jù)檔案”。之后美國國家研究委員會(huì)天文學(xué)天體物理調(diào)查委員會(huì)鄭重簽署了把國家虛擬天文臺作為頂級優(yōu)先的小型項(xiàng)目啟動(dòng)協(xié)議。國家虛擬天文臺（NVO：National Virtual O

4、bservatories）是一個(gè)夜間天文學(xué)上與VSO的相似項(xiàng)目，代表了在交叉相關(guān)研究中天文團(tuán)體日益增長的興趣。 一、虛擬太陽天文臺的提出2001年7月NASA空間科學(xué)日地結(jié)合部舉行了兩年一次的運(yùn)作使命和數(shù)據(jù)中心的回顧會(huì)議，太陽數(shù)據(jù)分析中心（SDAC）也包括在此次會(huì)議內(nèi)。這次會(huì)上對VSO提出了研究、原型、開發(fā)方面的經(jīng)費(fèi)預(yù)算。在此基礎(chǔ)上，2002年11月由美國斯坦福大學(xué)、國家太陽天文臺、蒙大納州州立大學(xué)和太陽數(shù)據(jù)中心組成的VSO研究組發(fā)布了虛擬太陽天文臺設(shè)計(jì)協(xié)議書，此書中給出了VSO的體系結(jié)構(gòu)、組織結(jié)構(gòu)、特性、技術(shù)方法、首批參加此項(xiàng)目的成員、經(jīng)費(fèi)分配、項(xiàng)目運(yùn)作時(shí)間表等問題的描述。至此VSO項(xiàng)目正式

5、起動(dòng)。二、建立虛擬太陽天文臺要解決的技術(shù)問題 搜索和證認(rèn)的可視化；形成多種可能的搜索；標(biāo)準(zhǔn)化查詢形成方法；標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)信息；包括元數(shù)據(jù)標(biāo)準(zhǔn)和統(tǒng)一的數(shù)據(jù)模型；能傳送數(shù)據(jù)或至少指向數(shù)據(jù)源；能吸收新數(shù)據(jù)源；進(jìn)一步還有：軟件和文獻(xiàn)資源；查詢登記；分布式處理；證認(rèn)服務(wù)。 三、虛擬天太陽文臺的體系結(jié)構(gòu) 如由美國四所天文單位牽頭的VSO體系結(jié)構(gòu);由歐洲聯(lián)盟提出的EGSO（European Grid of Solar Observations 歐洲網(wǎng)格太陽天文臺）體系結(jié)構(gòu);CoSEC (Collaborative Sun Earth Connector 協(xié)作式日地連接器) 體系結(jié)構(gòu) 二、虛擬太陽天文臺的體系

6、結(jié)構(gòu)三、虛擬天太陽文臺的體系結(jié)構(gòu)VSO的簡化體系結(jié)構(gòu)如圖所示,它主要由圖中所示6部分組成：1.用戶。指訪問VSO的人，如太陽物理學(xué)家、空間物理學(xué)家等；2.訪問方法。指為訪問VSO專門開發(fā)的用戶應(yīng)用程序接口；3.VSO實(shí)例。它是VSO核心，用來處理用戶查詢，確定到哪一個(gè)站點(diǎn)去查詢數(shù)據(jù)并將數(shù)據(jù)返回；4.中心服務(wù)器。它用來記錄搜索的重復(fù)性和屬性（是誰做了哪些查詢）；它也記錄下各個(gè)數(shù)據(jù)提供者提供的可用數(shù)據(jù)和數(shù)據(jù)更新；5.數(shù)據(jù)提供者。它是實(shí)際執(zhí)行數(shù)據(jù)查詢所在地；三、虛擬太陽天文臺的體系結(jié)構(gòu)6.數(shù)據(jù)要求和返回。用戶通過數(shù)據(jù)提供者提供的工具直接檢索數(shù)據(jù)，或者通過使用智能VSO代理，它向（那些）數(shù)據(jù)提供者詢問

7、數(shù)據(jù)的可用性，并將詢問結(jié)果集中起來，用電子郵件將這些結(jié)果通知用戶，如：在什么地點(diǎn)什么時(shí)間數(shù)據(jù)是可用的。幾個(gè)單位已在不同站點(diǎn)從多種數(shù)據(jù)服務(wù)方面測試了這一體系結(jié)構(gòu)的可用性。四、VSO的可擴(kuò)展性VSO體系結(jié)構(gòu)的成功開發(fā)增加了基礎(chǔ)系統(tǒng)體系結(jié)構(gòu)在處理分布式系統(tǒng)的擴(kuò)展性和容錯(cuò)性方面的能力。 這種擴(kuò)展性體現(xiàn)在數(shù)據(jù)提供者方面，它由原來的幾個(gè)天文臺擴(kuò)展到全美國、乃至全世界；可以精細(xì)化數(shù)據(jù)模型；可以增加其它服務(wù)，如聯(lián)接更為典型的分布式處理項(xiàng)目，如CoSEC、EGSO等；體現(xiàn)在用戶方面，將由單一類型用戶和界面擴(kuò)展到多種類型用戶和界面； 四、VSO的可擴(kuò)展性容錯(cuò)性能則體現(xiàn)在：這個(gè)系統(tǒng)的全部體系結(jié)構(gòu)受到那些不同數(shù)據(jù)倉庫

8、（它們是不具有共享能力的普通數(shù)據(jù)集）的影響，當(dāng)增加新數(shù)據(jù)提供者或新搜索能力時(shí)，返回有用結(jié)果的時(shí)間不應(yīng)隨著它們的增加而線性增加，在原型開發(fā)中，開發(fā)者小心地識別并孤立出那些慢的或無反應(yīng)的數(shù)據(jù)倉庫，使它們不影響VSO搜索的整體質(zhì)量。對這種額外的復(fù)雜性的處理使搜索者集中精力于搜索目標(biāo)上而不是使用的工具上。 五、采用的技術(shù) XML采用了XML（可擴(kuò)展標(biāo)記語言）。它的自描述性使其非常適用于不同應(yīng)用間的數(shù)據(jù)交換，這種交換不以預(yù)先規(guī)定一組數(shù)據(jù)結(jié)構(gòu)定義為前提。VSO使用它作為文檔中識別結(jié)構(gòu)的一種機(jī)制。如數(shù)據(jù)提供方的元數(shù)據(jù)采用XML定義并存儲(chǔ)；在關(guān)系數(shù)據(jù)庫中提供了XML視圖，這樣可實(shí)現(xiàn)基于XML的檢索，實(shí)現(xiàn)XML

9、視圖和關(guān)系數(shù)據(jù)庫之間的映射；采用XML進(jìn)行數(shù)據(jù)交換，VSO中的注冊項(xiàng)就是根據(jù)數(shù)據(jù)模型的定義用XML來描述的。五、采用的技術(shù)WEB服務(wù)WEB服務(wù)。它是網(wǎng)絡(luò)上可用的服務(wù)，標(biāo)準(zhǔn)化的XML消息，它獨(dú)立于操作系統(tǒng)和編程語言；它建立在如下協(xié)議堆?；A(chǔ)上：發(fā)現(xiàn) UDDI描述 WSDLXML 消息 XML-RPC,SOAP傳輸 HTTP,SMTP,FTPInternet IPv4, IPv6 在VSO中使用它以應(yīng)用為中心替代了以人為中心（POST/GET）的特性；及它的Web自動(dòng)化特性：如服務(wù)描述，服務(wù)注冊。五、采用的技術(shù) SOAPSOAP（Simple Object Access Protocol 簡單對象

10、訪問協(xié)議）的應(yīng)用。它是RPC(遠(yuǎn)程過程調(diào)用)機(jī)制，它用HTTP進(jìn)行傳輸，客戶和服務(wù)器之間的消息是以XML編寫的。虛擬太陽天文臺的目的就是整合分布的不同的數(shù)據(jù)檔案成為一個(gè)看似集中的虛擬的數(shù)據(jù)集合去提供通用的搜索和傳遞服務(wù)。VSO使用SOAP來實(shí)現(xiàn)這一目的。SOAP即可用于服務(wù)器端也可用于客戶端。 SOAP正是在松散的聯(lián)合和動(dòng)態(tài)的集成之間建立的無縫跨平臺互操作的協(xié)議，SOAP和XML也正是WEB服務(wù)中最為適合的消息交換協(xié)議。VSO使用Perl的SOAP：Lite模塊，提供數(shù)據(jù)訪問與操作系統(tǒng)平臺的無關(guān)性。(其實(shí)使用Java的Axis:模塊，或C/C+的gSOAP:模塊也都是可以的，因?yàn)镴ava和C/

11、C+都支持SOAP。)五、采用的技術(shù) SOAPSOAP是網(wǎng)絡(luò)膠合劑，它使VSO和數(shù)據(jù)提供者通話，還能使VSO和其他虛擬天文臺項(xiàng)目如EGSO、CoSEC結(jié)合。（SOAP分布服務(wù)器通過SOAP協(xié)議和每一個(gè)VSO實(shí)例通訊.）。其中SOAP：Lite模塊是API的關(guān)鍵所在。SOAP具有錯(cuò)誤處理機(jī)制，如超時(shí)處理，對標(biāo)準(zhǔn)的和自行定制的錯(cuò)誤原因進(jìn)行處理。在VSO使用SOAP的基礎(chǔ)上，就要上天的空間望遠(yuǎn)鏡如：STEREO、Solar-B、SDO，獲取的數(shù)據(jù)也將采用基于SOAP的技術(shù)提供用戶使用 五、采用的技術(shù)-DM數(shù)據(jù)模型（DM）：定義了一個(gè)統(tǒng)一的全世界范圍的視圖，因此解除了任何數(shù)據(jù)提供方在數(shù)據(jù)方面的特性。它

12、盡可能全面而完整的定義了數(shù)據(jù)查詢時(shí)可能給出的查詢項(xiàng)目及其值。它用于描述任何數(shù)據(jù)提供者站點(diǎn)的數(shù)據(jù)集，使其與資源注冊中的一致，也使得元數(shù)據(jù)按照DM組織。用戶查詢及結(jié)果返回都以DM的術(shù)語表示，在VSO各個(gè)部分編程實(shí)現(xiàn)中，都以此DM作為內(nèi)部數(shù)據(jù)結(jié)構(gòu)。五、采用的技術(shù)-DM轉(zhuǎn)換：數(shù)據(jù)存儲(chǔ)不需要按照DM進(jìn)行，但在查詢提出時(shí)，需要有一個(gè)從VSO DM 到數(shù)據(jù)提供方數(shù)據(jù)規(guī)范的轉(zhuǎn)換，在查詢結(jié)果得到時(shí)，需要有一個(gè)從數(shù)據(jù)提供方數(shù)據(jù)規(guī)范到VSO DM的轉(zhuǎn)換。數(shù)據(jù)模型中的名字使用了更多的慣例和慣例的統(tǒng)一，這使得數(shù)據(jù)描述和接口對于用戶來說更為直觀。由于數(shù)據(jù)模型是獨(dú)立開發(fā)的，還需和國際間其它虛擬天文臺項(xiàng)目如EGSO協(xié)調(diào)去統(tǒng)一

13、此模型中的數(shù)據(jù)描述。顯而易見的優(yōu)點(diǎn)：采用統(tǒng)一國際數(shù)據(jù)標(biāo)準(zhǔn)（DM），有利于整合現(xiàn)有資源，也易于維護(hù)和升級換代；可以提供動(dòng)態(tài)服務(wù)，能夠適應(yīng)網(wǎng)絡(luò)和資源提供處的變化。 五、采用的技術(shù)實(shí)例實(shí)例.下圖給出了對VSO實(shí)例功能較詳細(xì)地概括。 實(shí)例是VSO的核心.實(shí)例工作過程如下：VSO用戶接口得到查詢參數(shù)，如：”MDI,Yohkoh,SXT,NSO,EIT magnetogram from Oct-28-2001”VSO搜索引擎通過包含有VSO提供者信息的VSO注冊器確定到圖中1、3、5、7所指位置進(jìn)行查詢，圖2 VSO實(shí)例在1、3、5、7所指本地服務(wù)器中提供者查詢引擎分別執(zhí)行如下操作：SELECT obse

14、rvation FROM database WHERE date=28-Oct-2001 AND instrument=EITSELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=NSO magnetogramSELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=YohkohSELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=MDI

15、提供者查詢引擎將結(jié)果2、4、6、8返回用戶接口。這一過程由多個(gè)實(shí)例獨(dú)立地完成。 五、采用的技術(shù)實(shí)例VSO要求對于注冊器和會(huì)話的集中存儲(chǔ)（存儲(chǔ)在圖14所示的中心服務(wù)器中）。實(shí)例運(yùn)行類似的代碼作基于注冊器的轉(zhuǎn)換工作；用戶是通過和VSO實(shí)例通訊實(shí)現(xiàn)詢問和請求的；分布式服務(wù)器通過SOAP協(xié)議和每一個(gè)VSO實(shí)例通訊。實(shí)例運(yùn)行在本地機(jī)器上，它使VSO成為沒有執(zhí)行瓶頸的分布式系統(tǒng)。 五、采用的技術(shù)實(shí)例實(shí)例 以Perl語言實(shí)現(xiàn)。選擇Perl的原因是因?yàn)榱餍械腤EB服務(wù)用它編寫，、前期已開發(fā)的網(wǎng)絡(luò)、數(shù)據(jù)庫接口及詞匯匹配包都用它編寫。 五、采用的技術(shù)資源注冊技術(shù) 它用于記錄數(shù)據(jù)提供者、他們提供什么樣的可用數(shù)據(jù)及其

16、數(shù)據(jù)更新；VSO搜索引擎使用這些信息確定向哪些數(shù)據(jù)提供者發(fā)送查詢要求；它還記錄下如何訪問這些數(shù)據(jù)及數(shù)據(jù)輸出方法。 五、采用的技術(shù)資源注冊技術(shù)描述斯坦福MDI數(shù)據(jù)注冊項(xiàng)的例子如下：Source: SOHOInstrument: MDIObservables:Dopplergram,Magnetogram LOS, Continuum Intensity, Line DepthTime Range:1996.01.03 present描述如何訪問斯坦福數(shù)據(jù)注冊項(xiàng)查詢接口的例子如下：Server: 15-URL: http:/15-/SHAIProxy:http:/15-/cgi-bin/soap/

17、shai.cgi輸出接口例子如下：Method: GETURL: /cgi-bin/export/expvrfy五、采用的技術(shù) VSO搜索引擎 它通過尋問資源注冊器確定向哪個(gè)數(shù)據(jù)提供方發(fā)出查尋要求；等待提供方的響應(yīng)；匯集提供方的查詢結(jié)果。查尋項(xiàng)按照DM給出。它在SOAP核心接口中還要實(shí)現(xiàn)如下功能：高速緩存/SQL引擎，負(fù)載平衡管理器/高速緩存同步器。負(fù)載平衡管理器和高速緩存同步器保證在引擎之間的同步和最佳的性能。有兩種引擎模型：基于數(shù)據(jù)提供者方提供（通過GUI實(shí)現(xiàn)）的和非數(shù)據(jù)提供者方（通過UI實(shí)現(xiàn)）的一般方式下的查尋。這些查尋通過使用SOAP調(diào)用實(shí)現(xiàn)。VSO數(shù)據(jù)提供者方的引擎，在SOAP調(diào)用中

18、完成大量XML消息交換，這些消息在所有VSO接口中都是一樣的；對于非VSO數(shù)據(jù)提供者方的引擎，定義它已知數(shù)據(jù)提供者方的數(shù)據(jù)庫和存儲(chǔ)結(jié)構(gòu)，在SOAP調(diào)用中只提供了運(yùn)行SQL和操作系統(tǒng)命令的一般方法。五、采用的技術(shù)會(huì)話記錄 會(huì)話記錄的目的是為了收集數(shù)據(jù)使用狀態(tài)統(tǒng)計(jì)和能夠重復(fù)保存過的查詢。實(shí)例運(yùn)行類似的代碼作基于注冊的轉(zhuǎn)換工作用于記錄下前面的搜索, 以便以后類似搜索的重復(fù)能力和分布目的。VSO會(huì)話被定義在VSO搜索引擎外部；會(huì)話記錄下查詢輸入、中間結(jié)果及最終結(jié)果等內(nèi)容。五、采用的技術(shù)網(wǎng)格技術(shù) 虛擬天文臺是網(wǎng)格技術(shù)的實(shí)驗(yàn)床，它不僅允許用戶主動(dòng)訪問分布的計(jì)算資源，數(shù)據(jù)網(wǎng)格的概念還擴(kuò)展了兩個(gè)基礎(chǔ)服務(wù)：存儲(chǔ)和相應(yīng)的處理系統(tǒng)，元數(shù)據(jù)和通信管理。通過它實(shí)現(xiàn)世界各處地理位置數(shù)據(jù)資源的連通；各個(gè)數(shù)據(jù)資源協(xié)同起來處理一個(gè)項(xiàng)目.六、VSO今后的發(fā)展 虛擬天文臺是一個(gè)發(fā)展中的項(xiàng)目，今后它要將更多數(shù)據(jù)源加入進(jìn)來；合并世界范圍內(nèi)的數(shù)據(jù)目錄并整合它們使能搜索；使中心登錄服務(wù)可查訊；實(shí)現(xiàn)注冊更新和重復(fù)可用；完善API；完成數(shù)據(jù)提供者實(shí)現(xiàn)工具；發(fā)行VSO正式版本。 六、VSO今后的發(fā)展