元數(shù)據(jù)的多角度透視

1、元數(shù)據(jù)的多角度透視作者 郭志紅單位 上海交通大學(xué)情報(bào)研究所摘要 本文對元數(shù)據(jù)的概念、相關(guān)格式、攜帶工具 （RDF） ，以及數(shù)字化圖書館中元數(shù)據(jù)體系的內(nèi)、外部 系統(tǒng)和設(shè)計(jì)原則進(jìn)行了探討。并列舉了兩個(gè)元數(shù)據(jù)方案實(shí)例，以供借鑒。關(guān)鍵詞 元數(shù)據(jù)，數(shù)字化圖書館， RDF，DC，MARC ，元數(shù)據(jù)體系一、元數(shù)據(jù)的概念元數(shù)據(jù)最本質(zhì)，最抽象的定義為：data about data （關(guān)于數(shù)據(jù)的數(shù)據(jù)）。它是一種廣泛存在的現(xiàn)象，在許多頂域有其具體的定義和應(yīng)用。在數(shù)據(jù)倉庫頂域中，元數(shù)據(jù)被定義為：描述數(shù)據(jù)及其環(huán)境的數(shù)據(jù)。一般來說,它有兩方面的用途。首先，元數(shù)據(jù)能提供基于用戶的信息,如記錄數(shù)據(jù)項(xiàng)的業(yè)務(wù)描述信息的元數(shù)據(jù)能

2、幫助用戶使用數(shù)據(jù)。 其次， 元數(shù)據(jù)能支持系統(tǒng)對數(shù)據(jù)的管理和維護(hù)， 如關(guān)于數(shù)據(jù)項(xiàng)存儲方法 的元數(shù)據(jù)能支持系統(tǒng)以最有效的方式訪問數(shù)據(jù)。 具體來說， 在數(shù)據(jù)倉庫系統(tǒng)中， 元數(shù)據(jù)機(jī)制 主要支持以下五類系統(tǒng)管理功能：（1）描述哪些數(shù)據(jù)在數(shù)據(jù)倉庫中； （2）定義要進(jìn)入數(shù)據(jù)倉庫中的數(shù)據(jù)和從數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù)；（3）記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進(jìn)行的數(shù)據(jù)抽取工作時(shí)間安排；（4）記錄并檢測系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況；（5）衡量數(shù)據(jù)質(zhì)量。在軟件構(gòu)造頂域， 元數(shù)據(jù)被定義為： 在程序中不是被加工的對象， 而是通過其值的改變 來改變程序的行為的數(shù)據(jù)。 它在運(yùn)行過程中起著以解釋方式控制程序行為的作用。 在程序的 不同

3、位置配置不同值的元數(shù)據(jù)，就可以得到與原來等價(jià)的程序行為。在圖書館與信息界，元數(shù)據(jù)被定義為：提供關(guān)于信息資源或數(shù)據(jù)的一種結(jié)構(gòu)化的數(shù)據(jù) 是對信息資源的結(jié)構(gòu)化的描述。 其作用為： 描述信息資源或數(shù)據(jù)本身的特征和屬性， 規(guī)定數(shù) 字化信息的組織 ,具有定位、發(fā)現(xiàn)、證明、評估，選擇等功能。此外，元數(shù)據(jù)在地理界， 生命科學(xué)界等頂域也有其相應(yīng)的定義和應(yīng)用， 在此不一一闡述。二、主要元數(shù)據(jù)格式介紹由于元數(shù)據(jù)的廣泛存在， 導(dǎo)致元數(shù)據(jù)格式層出不窮， 在此就圖書館和信息界的幾種主要 元數(shù)據(jù)格式進(jìn)行介紹。1. 藝術(shù)作品描述類目（ CDWA ）：是描述藝術(shù)作品的結(jié)構(gòu)化工具， 主要應(yīng)用于藝術(shù)作品， 珍善本和其它三維作品，

4、它的描 述重點(diǎn)在于“可動(dòng)”的對象及其圖像。它有 27 個(gè)數(shù)據(jù)單元，每一單元還包括若干子單元， 包括主題，記錄，管理等項(xiàng)目。2. 編碼文檔描述（ EAD ）：主要用于描述檔案和手稿資源， 并利用網(wǎng)絡(luò)檢索和獲取檔案手稿類信息資源。 其高層元 素主要有：頭標(biāo)，前面事項(xiàng)，檔案描述。每一高層元素又包括多個(gè)小項(xiàng)以及若干細(xì)項(xiàng)。它能 適應(yīng)任何長度的目錄和記錄，并能描述在各種媒介上的所有類型的檔案。EAD 體系由三部分組成：數(shù)據(jù)模型， SGML 文件類型定義和檔案目錄。3. VRA 核心類目（ VRA core）：最初是為在網(wǎng)絡(luò)環(huán)境下對藝術(shù)， 建筑等藝術(shù)類視覺資料的著錄而起草， 以后逐漸擴(kuò)大應(yīng) 用到非藝術(shù)類頂域

5、，目前 VRA核心類目格式由兩部分組成： 作品著錄類目：用于任何一種作品實(shí)體或某種視覺文獻(xiàn)所記載的原始作品（多為三維作品）的著錄，包括作品類型，尺寸，主題等19個(gè)數(shù)據(jù)單元。 視覺文獻(xiàn)著錄類目： 用于記載某種作品實(shí)體的視覺文獻(xiàn)的著錄，包括視覺文獻(xiàn)類型，視覺文獻(xiàn)格式等9個(gè)數(shù)據(jù)單元。4機(jī)讀目錄（MARC）：它被廣泛用于圖書館書目記錄數(shù)據(jù)，是目前圖書館描述、存儲、交換、處理以及檢索信 息的基礎(chǔ)。MARC記錄的總體結(jié)構(gòu)有以下特點(diǎn)：可變格式可變長字段的記錄格式；采用目 次方式；每條 MARC記錄分三個(gè)區(qū)（頭標(biāo)區(qū)，目次區(qū)，數(shù)據(jù)區(qū)） 。MARC格式遵循ISO27091981規(guī)定，由以下幾個(gè)部分組成，如圖一所示

6、。記錄頭標(biāo)區(qū)地址目次區(qū)數(shù)擄字段區(qū)記錄分隔符暗示符指示符子字段數(shù)據(jù)元素子字段數(shù)據(jù)元素44>«4-4 _字段12標(biāo)識符1標(biāo)識苻24*4分隔符圖丨MARC數(shù)據(jù)格式MARC為適應(yīng)網(wǎng)絡(luò)發(fā)展的需要，已經(jīng)在原有的基礎(chǔ)上增加538字段（系統(tǒng)需求和存取注釋）、516字段（計(jì)算機(jī)文件類型或數(shù)據(jù)注釋）、256字段（計(jì)算機(jī)文件特征）以及 856字段（電子地址和存?。?。同時(shí)，為了促進(jìn) MARC在網(wǎng)絡(luò)環(huán)境中得到進(jìn)一步的應(yīng)用，美國國會(huì) 圖書館正在研究制定 MARC的DTD （文獻(xiàn)類型定義），使得基于國際標(biāo)準(zhǔn)ISO2709格式的 數(shù)據(jù)能自動(dòng)轉(zhuǎn)換到基于 ISO8879的SGML格式上，適用于各類網(wǎng)絡(luò)軟件和瀏覽器

7、。5都柏林核心集（DC）：DC元數(shù)據(jù)是在充分吸 納了圖書情報(bào)界所具有編目、分類、文摘等經(jīng)驗(yàn)，同時(shí)在利用計(jì) 算機(jī)、網(wǎng)絡(luò)的自動(dòng)搜索、編目、索引、檢索等研究成果的基礎(chǔ)上發(fā)展起來的。它是描述、支 持、發(fā)現(xiàn)、管理和檢索網(wǎng)絡(luò)資源的信息組織方式，其最大特點(diǎn)是數(shù)據(jù)結(jié)構(gòu)簡單，信息提供者 可直接編碼。DC有簡單DC和復(fù)雜DC之分。簡單DC指的是DC的15個(gè)核心元素：題名，主題等。 與復(fù)雜的MARC格式相比，DC只有15個(gè)基本元素，較為簡單，而且根據(jù)DC的可選擇原則，可以簡化著錄項(xiàng)目，只要確保最低限度的7個(gè)元素（題名、出版者、形式、類型、標(biāo)記符、日期和主題）就可以了。復(fù)雜DC是在簡單DC的基礎(chǔ)上引進(jìn)修飾詞的概念，如

8、體系修飾詞（SCHEME ），語種修飾詞（LANG），子元素修飾詞（Subelement），進(jìn)一步明確元數(shù)據(jù)的特性。特別是通過體 系修飾詞，把 MARC的優(yōu)點(diǎn)和各種已有的分類法、主題詞表等控制語言吸收進(jìn)去。DC可以使用HTML語言的META標(biāo)簽（tag）的“ NAME ”和“ CONTENT ”屬性進(jìn) 行描述，同時(shí)將每個(gè)單元都加了著錄標(biāo)記（label），著錄時(shí)既可以使用 HTML語言為輸出結(jié)果的網(wǎng)絡(luò)產(chǎn)品形式，也保留了自己的著錄標(biāo)識和系統(tǒng)。但是由于HTML文檔本身的結(jié)構(gòu)不強(qiáng)，擴(kuò)展能力差，描述內(nèi)容的能力也較弱，因此不太可能成為今后數(shù)字化項(xiàng)目應(yīng)用中主要的內(nèi)容管理工具。在應(yīng)用中將會(huì)更多地采用基于RDF

9、的應(yīng)用方法。三、元數(shù)據(jù)攜帶工具 RDF元數(shù)據(jù)的種類復(fù)雜且用途殊異，將來多種元數(shù)據(jù)共存共榮的局面已成為共識，而元數(shù)據(jù)的互操作性要求在由不同的組織制定與管理且技術(shù)規(guī)范不盡相同的元數(shù)據(jù)環(huán)境下，能夠作到對用戶保持一致性的服務(wù)， 也就是說對一個(gè)應(yīng)用或用戶來說，能夠保證一個(gè)統(tǒng)一的數(shù)據(jù)界面，保證一致性與對用戶的透明。元數(shù)據(jù)的重用和各種元數(shù)據(jù)的互換已成為元數(shù)據(jù)發(fā)展的趨勢。因此，一種可同時(shí)攜帶多種元數(shù)據(jù)來往于互聯(lián)網(wǎng)和WWW上的架構(gòu)，成為不可或缺的工具，資源描述框架（RDF）即籍此而生。RDF是一個(gè)能對結(jié)構(gòu)化元數(shù)據(jù)進(jìn)行編碼，交換及再利用的體系框架。它本身只有很少 的語義定義元素，但通過對通常意義上的語義，語法和結(jié)

10、構(gòu)的支持， 可使不同的用戶或團(tuán)體在這一框架下定義他們自己的元數(shù)據(jù)元素，從而提供了各種不同的元數(shù)據(jù)體系之間的互操作性。RDF采用XML作為交換和處理元數(shù)據(jù)的通用語法結(jié)構(gòu)體系，提供了一種強(qiáng)有力的可轉(zhuǎn)換的句法模式。RDF的核心定義比較簡單，它基于如下假設(shè)：任何一個(gè)可被標(biāo)識的“資源”都可以被 一些可選擇的“屬性”描述，每一個(gè)屬性的描述都有一個(gè)“值”。對此定義，可用如下 3位元圖來描述：RDF所提供的基于XML的結(jié)構(gòu)與句法尤其適合描述語義定義較為豐富的 DC元數(shù)據(jù), 在這樣的模式下，語義、句法與結(jié)構(gòu)得到了很好的整合。下面用基于RDF的DC修飾詞描述句法來描述如下一個(gè)假定事實(shí)：郭志紅是資源的插圖作者，他是

11、上海交大 B0033091班的學(xué)生，他的 email是：gzhihong263.n竺?？捎孟聢D 來進(jìn)行具體描述：郭志紅圖二B0033091 班具體源代碼為：< ?xml version= ”1 encoding = ” GB2312' ? ><rdf:RDF xml ns:rdf= /1 999/02/22-rdf-sy ntax -ns# xml ns:dc = /dc/eieme nts/1.0/xmln s:vcard= http:/www.imc.Org/vcard/3.0/>xmlns:dcq

12、 = http:/purl.Org/dc/qualifiers/1.0/” ><rdf:Descripti on rdf:about= > <dc:creator><rdf:Descripti on><vcard:fn> 郭志紅 </vcard:fn><vcard:email>gzhih on g263 .net</vcard:email><vcard:org> 上海交大 B0033091 班 </vcard:org><dcq:creatorType>lllustrat

13、or</dcq:creatorType></rdf:Descriptio n></dc:creator></rdf:Description></rdf:RDF>四、數(shù)字化圖書館中元數(shù)據(jù)的內(nèi)、外部系統(tǒng)及其設(shè)計(jì)原則元數(shù)據(jù)體系的外部系統(tǒng)是數(shù)字化圖書館外部的元數(shù)據(jù)環(huán)境，即各種獨(dú)立于具體系統(tǒng)的 ， 被廣泛承認(rèn)的，通用的元數(shù)據(jù)標(biāo)準(zhǔn)的總和。元數(shù)據(jù)體系的內(nèi)部系統(tǒng)主要是數(shù)字化圖書 館系統(tǒng)本身的元數(shù)據(jù)處理方法和體系結(jié)構(gòu)，即 元數(shù)據(jù)管理系統(tǒng)。 它是整個(gè)數(shù)字化圖書館系統(tǒng)的重要組成部分， 其基本功能是為數(shù)字化圖書 館系統(tǒng)的運(yùn)行建立基礎(chǔ)。為了實(shí)現(xiàn)數(shù)字化圖書館 和

14、外界信息環(huán)境的溝通，元數(shù)據(jù)內(nèi)部系統(tǒng)和外部系統(tǒng)必須是同構(gòu) 的。這種同構(gòu)關(guān)系實(shí)際是將外部元數(shù)據(jù)系統(tǒng)映射到數(shù)字化圖書館的內(nèi)部體系中的方法， 為了 建立同構(gòu)關(guān)系，元數(shù)據(jù)管理系統(tǒng)的結(jié)構(gòu)包括6 個(gè)組成部分。（1）基準(zhǔn)元數(shù)據(jù)系統(tǒng)。是指某個(gè)數(shù)字化圖書館標(biāo)準(zhǔn)的元數(shù)據(jù)系統(tǒng)。 它的作用是： 作為基準(zhǔn)元數(shù)據(jù)， 組織標(biāo)識數(shù)字化圖書館中 的數(shù)字化信息資源； 以標(biāo)準(zhǔn)形式描述用戶的查詢提問； 為各種網(wǎng)絡(luò)信息發(fā)掘工具提供數(shù)字化 信息。（2）元數(shù)據(jù)字典。 是一種用于各種元數(shù)據(jù)體系到系統(tǒng)基準(zhǔn)元數(shù)據(jù)系統(tǒng)相互轉(zhuǎn)換的對照 表，它描述了各種元數(shù)據(jù)的基本特征， 構(gòu)建了各種元數(shù)據(jù)與基準(zhǔn)元數(shù)據(jù)系統(tǒng)的對應(yīng)關(guān)系。 其 基本作用是為系統(tǒng)的轉(zhuǎn)換模塊提供

15、轉(zhuǎn)換依據(jù)。 （ 3）數(shù)據(jù)屬性集。 是指數(shù)字化圖書館存儲數(shù)據(jù) 的屬性總和。 元數(shù)據(jù)管理系統(tǒng)可通過數(shù)據(jù)屬性集將數(shù)字化圖書館的數(shù)據(jù)結(jié)構(gòu)和基準(zhǔn)元數(shù)據(jù)相 對照，保障它們之間的可互換性。 （ 4）數(shù)字化信息資源集。它描述的對象是信息源。數(shù)字化 圖書館系統(tǒng)可以通過信息源特征集來確定個(gè)信息源所采用的元數(shù)據(jù)體系， 將用基準(zhǔn)元數(shù)據(jù)表 達(dá)的查詢式轉(zhuǎn)換成各個(gè)信息源所采用的元數(shù)據(jù)表達(dá)式， 從而決定各個(gè)信息源的檢索方法并解 釋檢索結(jié)構(gòu)。 （ 5）轉(zhuǎn)換模塊。提供了實(shí)現(xiàn)各種元數(shù)據(jù)之間相互轉(zhuǎn)換、翻譯的方法。（6）維護(hù)模塊?？梢詫Ω鞣N對照表進(jìn)行添加、刪除、修改等動(dòng)態(tài)管理，保證元數(shù)據(jù)管 h 系統(tǒng)的可擴(kuò)展 性和可維護(hù)性。由于元數(shù)據(jù)體

16、 系的基本作用是控制數(shù)字化圖書館系統(tǒng)和外界進(jìn)行數(shù)據(jù)交換。因此， 標(biāo)準(zhǔn)性，完備性和可擴(kuò)展性應(yīng)該成為所有設(shè)計(jì)原則中最重要的內(nèi)容。 元數(shù)據(jù)體系設(shè)計(jì)的核心是基 準(zhǔn)元數(shù)據(jù)系統(tǒng)的確定。 在選擇基準(zhǔn)元數(shù)據(jù)系統(tǒng)時(shí)， 應(yīng)該選擇有權(quán)威機(jī)構(gòu)或組織制訂的， 被廣 泛認(rèn)可和使用的元數(shù)據(jù)方案。 此外，元數(shù)據(jù)體系應(yīng)該能夠解釋和兼容大多數(shù)數(shù)字化圖書館所 涉及主題頂域中，獲得公認(rèn)的元數(shù)據(jù)放案。且要求具有擴(kuò)展的可能性。五、數(shù)字化圖書館中元數(shù)據(jù)方案實(shí)例在此， 以上海圖書館和斯坦福大學(xué)圖書館為例， 介紹它 們在數(shù)字化圖書館建設(shè)中各自所 采納的元數(shù)據(jù)方案，以供借鑒。目前的上海數(shù)字圖書館綜合了 七個(gè)資源庫，擁有數(shù)據(jù)近 200GB 。系統(tǒng)

17、采用 IBM Digital Libr ary version 2.4 作為主要開發(fā)工具應(yīng)用平臺，系統(tǒng)的元數(shù)據(jù)方案以Dublin Core 作為核心集，多種元數(shù)據(jù)方法并存，并以基于 XML 的以 RDF 為基礎(chǔ)的資源描述體系將它們封裝在一起。其元數(shù)據(jù)方案的實(shí)施框架如圖四所示。該元數(shù)據(jù)方案保證了針對不同資源類型描述的元數(shù)據(jù)要求，也充分利用了圖書館原有的元數(shù)據(jù)資源（主要為 CNMARC記錄），同時(shí)以基于 XML為基礎(chǔ)的RDF描述體系也實(shí)現(xiàn)了 開放、標(biāo)準(zhǔn)、統(tǒng)一的內(nèi)容管理，使數(shù)字圖書館的資源建設(shè)能在相當(dāng)長的時(shí)間內(nèi)得到保護(hù)，也 為未來向新的體系與標(biāo)準(zhǔn)遷移提供了便利。當(dāng)然，由于該系統(tǒng)采用的包括 IBM D

18、L在內(nèi)的基于關(guān)系數(shù)據(jù)庫的系統(tǒng)不能很好地解決XML的存儲、管理與檢索機(jī)制，在將各種元數(shù)據(jù)裝載入IBM DL系統(tǒng)中之前，必須將其轉(zhuǎn)換為統(tǒng)一的Dublin Core，這種轉(zhuǎn)換一方面會(huì)丟失很多信息，另一方面會(huì)造成歧義或者是語義概念上不恰當(dāng)?shù)纳炜s，導(dǎo)致對用戶提供的檢索服務(wù)功能受到了限制。理想的狀態(tài)是將所有的元數(shù)據(jù)都裝入數(shù)字圖書館應(yīng)用系統(tǒng)，將應(yīng)實(shí)際需要而要進(jìn)行的轉(zhuǎn)換放到系統(tǒng)之外，這樣就可以在滿足用戶統(tǒng)一檢索界面與服務(wù)的情況下，提供用戶更好的數(shù)據(jù)挖掘的服務(wù)及更多樣化的選擇可能。這也是上海圖書館元數(shù)據(jù)工作者今后的進(jìn)一步工作目標(biāo)。斯坦福大學(xué)數(shù)字化圖書館是一個(gè)分布式的，異構(gòu)的，基于代理的數(shù)字圖書館， 其自動(dòng)服務(wù)和

19、收藏功能通過代理服務(wù)器來間接獲得。為滿足元數(shù)據(jù)的可容性和內(nèi)部操作性，它的元數(shù)據(jù)體系包括以下四個(gè)基本組成部分：屬性模型代理，屬性模型翻譯器，搜索代理的元數(shù)據(jù)設(shè)施，元數(shù)據(jù)包。其元數(shù)據(jù)體系結(jié)構(gòu)如下圖所示。圖五其中，屬性模型是指自包含的屬性集，即諸如 Dublin Core , USMARC 等元數(shù)據(jù)標(biāo)識 集。屬性模型代理包含了屬性集和為首要對象定義的屬性，也允許包含屬性間的種種關(guān)系。 屬性模型翻譯器將來自某個(gè)屬性集的屬性和屬性值映射到另一個(gè)屬性集中。搜索代理的元數(shù)據(jù)設(shè)施為搜索代理的可訪問資源和搜索能力提供了結(jié)構(gòu)化的描述。元數(shù)據(jù)包積聚了從其他三個(gè)組成部分中挑選出的元數(shù)據(jù)，以利于元數(shù)據(jù)的全局查詢和局部檢

20、索。InfoBus是該數(shù)字化圖書館的基礎(chǔ)設(shè)施，它的核心是代理（即包裝器）。各種代理均被實(shí)現(xiàn)為 CORBA的分布對象，可被遠(yuǎn)程訪問。到目前為止，斯坦福大學(xué)數(shù)字化圖書館已經(jīng)為Z39.50的Bib-1，DublinCore，Refer，Bib-tex，GILS，以及 USMARC 的子集實(shí)現(xiàn)了代理；可提供 Bib-tex 與 Refer之間，Bib-tex與USMARC的子集之間的屬性轉(zhuǎn)換（但還不能實(shí)現(xiàn)屬性值類型之間的 轉(zhuǎn)換）；實(shí)現(xiàn)了元數(shù)據(jù)包的信息抽取模塊。六、結(jié)語各種數(shù)字化項(xiàng)目，尤其是數(shù)字化圖書館，最終要成為互聯(lián)網(wǎng)上閱讀瀏覽的網(wǎng)絡(luò)數(shù)據(jù)庫， 各種格式的元數(shù)據(jù)在網(wǎng)絡(luò)數(shù)據(jù)庫間的導(dǎo)入和導(dǎo)出已成為元數(shù)據(jù)工作者研究的熱點(diǎn)，不同格式的元數(shù)據(jù)之間的精確互換是亟待解決的問題。目前，業(yè)界對DC與MARC之間的轉(zhuǎn)換研究得比較多，但至今還沒有取得任人滿意的效果。國外有研究成果表明：在合適的條件下，一 個(gè)DC記錄有可能轉(zhuǎn)換成一個(gè)比較全面的MARC記錄，但該記錄可能不是一個(gè)有效的MARC記錄，因?yàn)樗鼇G失了如下一些強(qiáng)制字段：記錄標(biāo)簽；001記錄標(biāo)記符；100通用處理數(shù)據(jù)；101款目語種；200題名和責(zé)任聲明。而構(gòu)造“記錄標(biāo)簽”和“通用處理數(shù)據(jù)”卻是其中最 難解決的問題。參考文獻(xiàn)1唐世渭，裴健.數(shù)據(jù)倉庫中的聯(lián)機(jī)分