數(shù)字圖書館體系結(jié)構(gòu)的發(fā)展

1、數(shù)字圖書館體系結(jié)構(gòu)的發(fā)展    【內(nèi)容提要】首先介紹了目前大多數(shù)數(shù)字圖書館所遵循的基本的數(shù)字圖書館體系結(jié)構(gòu)，該結(jié)構(gòu)在功能上可劃分為四個邏輯組件：資源庫、命名系統(tǒng)、索引/搜索系統(tǒng)、用戶界面。然后介紹了NSDL、NCSTRL兩個最大的數(shù)字圖書館項目在體系結(jié)構(gòu)的關(guān)鍵問題方面的實踐，最后，作者提出了數(shù)字圖書館體系結(jié)構(gòu)發(fā)展的看法?！菊?#160; 要  題】專題探討【關(guān)  鍵  詞】體系結(jié)構(gòu)/互操作1介紹世界上有許多國家進(jìn)行數(shù)字圖書館的建設(shè)，但到目前為止，并不存在一個通用的數(shù)字圖書館體系結(jié)構(gòu)，這

2、是由于信息技術(shù)和相關(guān)標(biāo)準(zhǔn)不斷發(fā)展的結(jié)果，怎樣基于現(xiàn)有的技術(shù)并考慮到未來技術(shù)的發(fā)展，構(gòu)筑一個靈活強大的數(shù)字圖書館體系結(jié)構(gòu)，對于數(shù)字圖書館的建設(shè)是至關(guān)重要的，這需要我們了解相關(guān)技術(shù)和標(biāo)準(zhǔn)以及數(shù)字圖書館體系結(jié)構(gòu)的發(fā)展變化。數(shù)字圖書館要為用戶提供各種簡單易用、功能強大的知識服務(wù)，通常從功能上可將數(shù)字圖書館劃分為：用戶界面、命名服務(wù)、搜索系統(tǒng)、資源庫等部分。數(shù)字圖書館的建設(shè)涵括各種數(shù)字資源的創(chuàng)建、管理、查詢、利用、存儲的整個過程。自從  william  Y.Arms等于1997年提出了數(shù)字圖書館的信息體系結(jié)構(gòu)以來1，數(shù)字圖書館的體系結(jié)構(gòu)在不斷完善和發(fā)展，通過許多

3、試驗項目仍在不斷改進(jìn)。圖1代表了數(shù)字圖書館的基本體系結(jié)構(gòu)。附圖圖1數(shù)字圖書館的基本體系結(jié)構(gòu)資源庫資源庫的功能包括存儲和管理各種數(shù)字對象，通常是由關(guān)系型數(shù)據(jù)庫來管理。應(yīng)用程序通過資源庫提供的庫訪問協(xié)議（RAP）來訪問資源庫?？蓪崿F(xiàn)存儲、訪問、復(fù)制、移動和刪除數(shù)字對象等操作。與web上的信息所不同，數(shù)字圖書館中數(shù)字資源是以數(shù)字對象的形式進(jìn)行封裝的，一個數(shù)字對象包括：一個全球唯一的獨立于地址的長期標(biāo)識符；數(shù)字資料，存儲數(shù)字圖書館的資料，也就是最終用戶需要獲取的信息內(nèi)容，如經(jīng)XML置標(biāo)后的文本、一本電子圖書等，元數(shù)據(jù)，關(guān)于數(shù)字資料的數(shù)據(jù)。一般情況下，元數(shù)據(jù)有三種：a.描述性元數(shù)據(jù)，用于發(fā)現(xiàn)和標(biāo)識一個對

4、象，如MARC和Dublin  Core。b.結(jié)構(gòu)性元數(shù)據(jù)，為用戶顯示和導(dǎo)航一個對象（包括該對象的內(nèi)部組織信息），如一本書由章節(jié)組成。c.管理性元數(shù)據(jù)，描述該對象的管理信息；創(chuàng)建日期、文件的格式、訪問權(quán)限、知識產(chǎn)權(quán)問題等。命名系統(tǒng)命名系統(tǒng)是針對長期標(biāo)識符的分配、管理及解析的一個綜合系統(tǒng)，CNRI為數(shù)字圖書館提出了完整的命名系統(tǒng)“調(diào)度系統(tǒng)（Handle  System）”，它是一個獨立的系統(tǒng)，其職能是負(fù)責(zé)數(shù)字資源的全球唯一的、長期的、獨立于地址的命名的分配、管理和解析。在調(diào)度系統(tǒng)中，本地名稱空間通過獲取一個調(diào)度系統(tǒng)的命名授權(quán)，就可以納入到全球調(diào)度名稱空間，

5、這樣所有的本地名稱在全球調(diào)度名稱空間中將是唯一的。索引與搜索系統(tǒng)索引的創(chuàng)建可能是由機器的自動掃描、手工錄入和干預(yù)，或者是這兩者的結(jié)合?？蛻魴C把查詢式提交給索引服務(wù)器，將返回相匹配的數(shù)字對象的URN（統(tǒng)一資源命名，如調(diào)度碼）。索引服務(wù)還提供被索引信息的元數(shù)據(jù)和查詢機制。用戶界面用戶界面是用戶與數(shù)字圖書館的接口，數(shù)字圖書館向用戶提供的最終服務(wù)都是通過用戶界面來實現(xiàn)的。一般情況下，數(shù)字圖書館借助通用的Web瀏覽器作為其用戶界面工具。此外，用戶界面的內(nèi)容編排和服務(wù)方式問題是很復(fù)雜的，不同的用戶需求是不同的，用戶對數(shù)字圖書館的簡單靈活的需求首先就表現(xiàn)在用戶界面上。2NSDL項目的體系結(jié)構(gòu)介紹NSDL（N

6、ational  STEM  Digital  Library，STEMScience，Technology，Engineering  and  Mathematics）是NSF資助的、由多家單位來實施數(shù)字圖書館項目，它包括64個子項目，其目的是支持科學(xué)、技術(shù)、工程和數(shù)學(xué)教育，提供廣泛接入和方便使用的分布式資源網(wǎng)絡(luò)和學(xué)習(xí)機制，NSDL一期工程已于2002年底為公眾提供服務(wù)，它是目前規(guī)模最大的數(shù)字圖書館項目。由于NSDL的內(nèi)容和用戶的多樣性，為讓各種用戶共享不同的信息，最初的體系結(jié)構(gòu)設(shè)計就是通過共

7、享元數(shù)據(jù)，并利用元數(shù)據(jù)開發(fā)核心服務(wù)（如，搜索和發(fā)現(xiàn)）。其體系結(jié)構(gòu)（見圖2），包括以下幾個基本概念：23附圖圖2NSDL體系結(jié)構(gòu)·采用公共的核心元數(shù)據(jù)實現(xiàn)異構(gòu)系統(tǒng)間的資源發(fā)現(xiàn)。·核心元數(shù)據(jù)與具體領(lǐng)域的擴展元數(shù)據(jù)相結(jié)合。·以元數(shù)據(jù)為基礎(chǔ)實現(xiàn)跨庫搜索并創(chuàng)建更豐富的服務(wù)。·采用自動索引和檢索系統(tǒng)來減少編目工作。元數(shù)據(jù)庫NSDL體系結(jié)構(gòu)的關(guān)鍵部分是元數(shù)據(jù)庫。元數(shù)據(jù)庫存儲所有藏品集的元數(shù)據(jù)，并通過OAI協(xié)議把它們提供給服務(wù)商，服務(wù)商通過元數(shù)據(jù)可以開發(fā)出各種服務(wù)。在NDSL中，元數(shù)據(jù)庫可能分布在多個服務(wù)器上，并有多個鏡像。NSDL早期采用分布式元數(shù)據(jù)庫，現(xiàn)在改成集中式

8、。這是因為分布式元數(shù)據(jù)庫在檢索時會因為其中的一個元數(shù)據(jù)庫的查詢失敗或響應(yīng)較慢，而造成整個檢索的失敗或長時間的響應(yīng)，而集中式元數(shù)據(jù)庫可以避免這種現(xiàn)象。NSDL的互操作性問題NSDL的互操作性采用三種方式來實現(xiàn)：4·聯(lián)合：這是一種傳統(tǒng)的方法，其所有的成員組織都遵從某些標(biāo)準(zhǔn)規(guī)范，如通過Z39.50協(xié)議共享在線目錄。·OAI采集：以O(shè)AI元數(shù)據(jù)采集為基礎(chǔ)。每個數(shù)字圖書館藏品的元數(shù)據(jù)都能提供到Dublin  Core的映射，并以簡單的交換格式向外提供，這樣，服務(wù)提供商就能采集這些元數(shù)據(jù)，把它建入到信息發(fā)現(xiàn)系統(tǒng)中，而且這些藏品能夠?qū)崿F(xiàn)良好的互操作性。·搜集

9、：即使各種不同的組織之間不存在任何形式的合作，通過網(wǎng)絡(luò)爬蟲收集開放訪問的信息仍然可以實現(xiàn)一定程度上的互操作。各種網(wǎng)絡(luò)搜索引擎就是這樣。NSDL主要通過OAI元數(shù)據(jù)采集來實現(xiàn)互操作。2001年初，NSDL確定支持8種標(biāo)準(zhǔn)元數(shù)據(jù)格式，這8種元數(shù)據(jù)之間的互換通過Dublin  Core元數(shù)據(jù)核心集作為過渡。（1）Dublin  Core（2）Dublin  Core  with  DCEd  Extensions（3）LTSC（IMS）（4）ADL（SCORM）（5）MARC

10、60; 21（6）Content  Standard  for  Digital  Geospatial  Metadata（FGDC）（7）Global  Information  Locator  Service（GILS）（8）Encoded  Archival  Description3NCSTRL項目體系結(jié)構(gòu)介紹NCSTRL（NetworkedComputerScienceTe

11、chnical  Reference  Library）是另一個有代表性的數(shù)字圖書館項目，其規(guī)模僅次于NSDL，它是由DARPA資助的，來自北美、歐洲和亞洲的160多家學(xué)術(shù)研究機構(gòu)參與了該項目。其體系結(jié)構(gòu)以  Dienst體系結(jié)構(gòu)為基礎(chǔ)，該體系結(jié)構(gòu)的一個重要特征就是分布式搜索（見圖3）5。附圖圖3NCSTRL的體系結(jié)構(gòu)在NCSTRL的早期項目中，用戶的查詢式被直接提交給所有的索引服務(wù)器，但隨著參與機構(gòu)的增多，檢索時同樣會因為其中的一個元數(shù)據(jù)庫的查詢失敗或響應(yīng)較慢，而造成整個檢索的失敗或長時間的響應(yīng)，為了解決這一問題，NCSTRL引入了

12、查詢路由器的概念67。查詢路由器QR（Query  Routers）：根據(jù)一定的機制把查詢式發(fā)送到分布式的索引服務(wù)器中，并負(fù)責(zé)合并來自不同的索引服務(wù)器的查詢結(jié)果。另外，該體系結(jié)構(gòu)還引入了藏品服務(wù)（Collection  Service）的概念，它是查詢路由的基礎(chǔ)，提供把各種服務(wù)集成到數(shù)字圖書館中的各種機制。按照當(dāng)前的藏品服務(wù)定義，它提供以下信息：·參與該藏品服務(wù)各單位的目錄·每個單位的索引服務(wù)器的網(wǎng)絡(luò)地址·索引服務(wù)器的元信息（為查詢路由提供依據(jù)）查詢路由查詢路由器定期地與藏品服務(wù)通信，藏品服務(wù)數(shù)據(jù)包括索引信息（每個機構(gòu)的藏品

13、）在索引服務(wù)器之間的分布情況，如斯坦福大學(xué)藏品的索引可能在I1和I2兩個索引服務(wù)器上有備份，康奈爾大學(xué)藏品的索引可能在I2和I3兩個索引服務(wù)器上有備份。通過這些信息，查詢路由器將決定查詢式被提交給哪些索引服務(wù)器來處理。附圖圖4查詢路由連通域由于全球范圍內(nèi)的Internet的連通性差別相差巨大，為了提高數(shù)字圖書館的分布式搜索的相應(yīng)時間，NCSTRL引入了連通域的概念，連通域是指網(wǎng)絡(luò)上具有高度連通性的一組節(jié)點。連通域的概念是藏品服務(wù)的一部分，藏品服務(wù)分布在一組區(qū)域元服務(wù)器RMS（Regional  Meta  Servers）中每個連通域一個RMS。每個RM

14、S從主元服務(wù)器MMS（Master  Meta  Server）獲取特定域的信息，見圖5。附圖圖5連通域連通域之外的索引信息在連通域內(nèi)的索引服務(wù)器上有備份，這樣用戶的查詢將在連通域內(nèi)部完成，只有當(dāng)其中的索引服務(wù)器查詢失敗時，查詢式就被提交給主元服務(wù)器，主元服務(wù)器再把該查詢式分配給到其它的連通域。索引服務(wù)器的動態(tài)調(diào)整由于考慮到單個搜索的失敗，故NCSTRL元數(shù)據(jù)在多個索引服務(wù)器中存在備份。藏品服務(wù)中的數(shù)據(jù)列出了索引服務(wù)器接受查詢式的優(yōu)先順序，有的索引服務(wù)器被設(shè)定為主索引服務(wù)器，有的被設(shè)定為次級服務(wù)器。主索引服務(wù)器首先接受查詢式，如果在一定的時間內(nèi)沒有完成查

15、詢?nèi)蝿?wù)，查詢式就會轉(zhuǎn)交給次級索引服務(wù)器。需要說明的是，主索引服務(wù)器和次級索引服務(wù)器的順序并不是固定不變的，而是動態(tài)調(diào)整的，其中的參數(shù)可由管理員來設(shè)定。這個動態(tài)調(diào)整的過程是通過一個簡單算法來實現(xiàn)的。在索引服務(wù)器成功完成一次查詢之前，查詢路由器給每個索引服務(wù)器增加一個失敗記數(shù)，如果查詢成功，失敗記數(shù)就減一。當(dāng)查詢路由器通過藏品服務(wù)提供的信息來選擇索引服務(wù)器時，它進(jìn)行一個穩(wěn)定性測試：該索引服務(wù)器最近是否有N次連續(xù)響應(yīng)失敗（N是可以設(shè)定的）？如果一個索引服務(wù)器沒有通過這種穩(wěn)定性測試，它就會被降級，也就是說，如果是一個主索引服務(wù)器就降級為次級目錄服務(wù)器，而另一個次級目錄服務(wù)器就有可能升級為主目錄服務(wù)器。

16、4對數(shù)字圖書館體系結(jié)構(gòu)發(fā)展的看法由于用戶對數(shù)字圖書館的功能需求不斷發(fā)展，信息技術(shù)的迅速進(jìn)步，數(shù)字圖書館的概念和功能都在不斷發(fā)展。通過對上述兩個項目的體系結(jié)構(gòu)的分析，加上筆者的探索和實踐，我們認(rèn)為數(shù)字圖書館的體系結(jié)構(gòu)的設(shè)計必須事先考慮到開放性、互操作性、擴展性以及伸縮性。4.1開放性數(shù)字圖書館系統(tǒng)必須是一個開放的系統(tǒng)，開放的含義包括一下幾個方面：（1）能夠與第三方系統(tǒng)或功能模塊實現(xiàn)良好的對接和集成；（2）能夠方便地在本系統(tǒng)內(nèi)部增加刪除或修改某些功能模塊；（3）盡可能廣地支持各種資源格式和標(biāo)準(zhǔn)；因此在系統(tǒng)設(shè)計時需要遵循一下原則：（1）基本體系結(jié)構(gòu)簡單化，在設(shè)計基本體系結(jié)構(gòu)時主要考慮信息的流通和管理

17、機制，強調(diào)系統(tǒng)的通用性和穩(wěn)固性；（2）功能模塊化，數(shù)字圖書館的服務(wù)功能是不斷發(fā)展的，因此數(shù)字圖書館的每一項服務(wù)應(yīng)該是相對獨立的，便于安裝、撤銷和維護；（3）選取成熱的通用的標(biāo)準(zhǔn)和協(xié)議。如用戶界面采用通行的Web瀏覽器，文檔表現(xiàn)采用XML定義，元數(shù)據(jù)采用Dublin  Core、中文元數(shù)據(jù)標(biāo)準(zhǔn)等。4.2互操作性通過信息資源本身實現(xiàn)互操作是最應(yīng)該受到鼓勵的方法，因為數(shù)字圖書館建設(shè)的基礎(chǔ)是資源，用戶最終利用的也是資源，而且與信息系統(tǒng)比較起來，資源從類型上（如圖書、期刊、科學(xué)數(shù)據(jù)、地圖、檔案）要容易預(yù)見，發(fā)展變化也相對緩慢，從資源的格式上講（如標(biāo)準(zhǔn)的文件格式.txt、.html、.

18、mpeg等），大家對通用標(biāo)準(zhǔn)的認(rèn)同更加一致。因此，通過一定的標(biāo)準(zhǔn)規(guī)范讓不同的藏品遵循相應(yīng)的元數(shù)據(jù)標(biāo)準(zhǔn)，并通過元數(shù)據(jù)的共享或互換，可以實現(xiàn)資源間的共享，就如上面所介紹的NCSTRL項目，也已采用OAI元數(shù)據(jù)采集協(xié)議來實現(xiàn)來自不同單位的藏品的互操作?？上驳氖牵F(xiàn)在許多數(shù)字圖書館項目一般都主動遵循一定的元數(shù)據(jù)標(biāo)準(zhǔn)去創(chuàng)建元數(shù)據(jù)。并出現(xiàn)了一些工具和方案能夠?qū)崿F(xiàn)不同元數(shù)據(jù)標(biāo)準(zhǔn)的元數(shù)據(jù)元素的映射。當(dāng)然，信息系統(tǒng)之間的互操作隨著中間件和代理技術(shù)的發(fā)展也取得了很大的進(jìn)步，同時近年來，Web服務(wù)技術(shù)為網(wǎng)絡(luò)軟件的共享和互操作方面提供了新的機制，將來隨著這些技術(shù)的進(jìn)一步發(fā)展，實現(xiàn)信息系統(tǒng)間的互操作將越來越簡單。4.3

19、擴展性NCSTRL為我們在擴展性方面提供了很好的經(jīng)驗。由于NCSTRL的成員單位比較分散，并且不斷有新的成員單位及新的用戶加入，最終選擇了把數(shù)字圖書館劃分成不同的區(qū)域，這樣不但適應(yīng)了數(shù)字圖書館不斷延伸的特點，而且還能為本地用戶提供及時的、具有本地特色的服務(wù)。在中國數(shù)字圖書館工程建設(shè)一期規(guī)劃（20002005）就采用了區(qū)域服務(wù)的思想。4.4伸縮性由于各數(shù)字圖書館建設(shè)單位在經(jīng)濟、技術(shù)、管藏資源、用戶需求等方面都不平衡，因此不同數(shù)字圖書館的建設(shè)規(guī)模也將是不同的。一個好的體系結(jié)構(gòu)設(shè)計必須能夠適應(yīng)不同規(guī)模的系統(tǒng)，使不同規(guī)模的系統(tǒng)都能夠獲取最佳的效率?！緟⒖嘉墨I(xiàn)】1  William&

20、#160; Y.  Arms  etc,  An  Architecture  for  Information  in  Digital  Libraries,DLib  Magazine,  February  1997  http:/www.  dlib.  org/dlib/feb

21、ruary97/cnri/02armsl,  htm2  C.  Lagoze  （ed.）,  W.  Arms,  S.  Gan,  D.  Hillmann,  C.  Ingram,  D.  Krafft,  R.  Marisa,  J.

22、0; Phipps,  J.  Saylor,  and  C.  Terrizzi.  Core  services  in  the  architecture  of  the  National  Digital  Library  for  

23、;science  education  NSDL）.In  Proceedings  of  the  Second  ACM/IEEECS  Joint  Conference  on  Digital  Libraries,  Portland,  OR,  2002.3  D.  Fulker &#