古籍文獻(xiàn)數(shù)據(jù)庫存在的問題與突破的方向――試論計(jì)算機(jī)技術(shù)在古典文獻(xiàn)研究中的若干問題

古籍文獻(xiàn)數(shù)據(jù)庫存在的問題與突破的方向――試論計(jì)算機(jī)技術(shù)在古典文獻(xiàn)研究中的若干問題

內(nèi)容提要：計(jì)算機(jī)技術(shù)在古典文獻(xiàn)整理與研究中的貢獻(xiàn)是極大的，但目前存在著缺乏統(tǒng)一領(lǐng)導(dǎo)與規(guī)劃；開發(fā)商嗜利忘義；熱門文獻(xiàn)數(shù)據(jù)重復(fù)，冷門文獻(xiàn)數(shù)據(jù)罕見；技術(shù)關(guān)卡重重，難以互相兼容；功能單調(diào)，難以真正為科研服務(wù)；學(xué)術(shù)圈地，使人心有余而力難用等問題。解決這一問題的關(guān)鍵在于建立公共古典文獻(xiàn)數(shù)據(jù)庫和開發(fā)個(gè)性化文獻(xiàn)檢索服務(wù)系統(tǒng)兩個(gè)方面。具體說來是加強(qiáng)總體規(guī)劃，建立公共古典文獻(xiàn)數(shù)據(jù)庫；數(shù)據(jù)庫內(nèi)容與文獻(xiàn)檢索服務(wù)系統(tǒng)分離；加速確定字庫方案；徹底解決古典文獻(xiàn)版權(quán)問題；建立公平的交易平臺(tái)和發(fā)展新興學(xué)科，培養(yǎng)專業(yè)人才。

關(guān)鍵詞：古典文獻(xiàn)數(shù)據(jù)庫公共古典文獻(xiàn)數(shù)據(jù)庫文獻(xiàn)檢索服務(wù)系統(tǒng)

計(jì)算機(jī)技術(shù)的飛速發(fā)展，為古典文獻(xiàn)研究的現(xiàn)代化提供了堅(jiān)實(shí)的基礎(chǔ)，其貢獻(xiàn)是有目共睹的。然而，計(jì)算機(jī)技術(shù)在古典文獻(xiàn)研究中的運(yùn)用仍然存在著極為嚴(yán)重的缺陷也是不容回避的。筆者近幾年來主持并直接參加設(shè)計(jì)“e書庫”數(shù)據(jù)庫的過程中，感到有必要將自己的一些想法提供給正在設(shè)計(jì)有關(guān)軟件的計(jì)算機(jī)專業(yè)人員、愿意使用該類軟件的專家學(xué)者們參考。一、我國古典文獻(xiàn)數(shù)據(jù)庫建設(shè)的歷程

自古以來，歷代學(xué)者對(duì)古典文獻(xiàn)整理與研究一直沿襲手工操作的方式，然而自上世紀(jì)80年代后，計(jì)算機(jī)技術(shù)開始涉入到古典文獻(xiàn)研究中，對(duì)傳統(tǒng)的古典文獻(xiàn)整理與研究方法（自然也對(duì)一切需要使用古典文獻(xiàn)資料的專業(yè)研究）起到了極大沖擊。

首先簡單回顧一下計(jì)算機(jī)技術(shù)在古典文獻(xiàn)研究領(lǐng)域內(nèi)發(fā)展的歷程。上世紀(jì)80年代初，我國一些圖書館、大專院校及科研機(jī)構(gòu)陸續(xù)開始大規(guī)模地利用計(jì)算機(jī)設(shè)計(jì)并建立數(shù)據(jù)庫。大致說來有兩類數(shù)據(jù)庫，一類是書目數(shù)據(jù)庫，一類是文獻(xiàn)數(shù)據(jù)庫。南京圖書館于90年代初率先建立書目數(shù)據(jù)庫，對(duì)讀者檢索有關(guān)書目起到了極大的幫助。之后，各地圖書館紛紛效尤，類似的書目數(shù)據(jù)庫很快就普及了。雖說至今各地圖書館的書目數(shù)據(jù)庫的檢索方式，仍存在機(jī)讀編碼格式不統(tǒng)一的問題，然而書目數(shù)據(jù)庫提供的方便快捷的查詢功能，對(duì)讀者來說無疑是一件大好事，具體到學(xué)術(shù)研究來說，至少為研究者提供了一個(gè)比較方便的查找有關(guān)古典文獻(xiàn)的實(shí)用工具。

在建立書目數(shù)據(jù)庫的同時(shí)，一些大專院校與科研機(jī)構(gòu)開始研發(fā)各自的文獻(xiàn)數(shù)據(jù)庫。從數(shù)據(jù)制作格式來說，大致可以區(qū)分為兩類，一類是圖像格式，即將按原著內(nèi)容掃描成PDF圖像文本，另一類是元數(shù)據(jù)格式，即錄入文獻(xiàn)文本內(nèi)容（或掃描并轉(zhuǎn)化為電子文本）導(dǎo)入數(shù)據(jù)庫，并轉(zhuǎn)換成可閱讀與檢索的數(shù)據(jù)庫機(jī)讀格式。一般說來，無論是PDF格式還是元數(shù)據(jù)格式，它們數(shù)據(jù)庫容量都較大，也提供了較為原始的檢索方式，為學(xué)術(shù)研究提供了不小的幫助。從上述兩類制作格式的數(shù)據(jù)庫來說，PDF圖像文本可以直接閱讀圖像文字，但總體說來不太適應(yīng)古典文獻(xiàn)整理與研究的需要。而元數(shù)據(jù)格式較為精致，初步具備了較為方便的常用的功能，可以檢索、作卡片等等。

古典文獻(xiàn)數(shù)據(jù)庫從收錄的文獻(xiàn)內(nèi)容來說，大致可以分為兩類：一類是類目數(shù)據(jù)庫，即按“類”收錄有關(guān)圖籍，如經(jīng)學(xué)類、史學(xué)類、文學(xué)類以及甲骨文、金文或出土文獻(xiàn)資料、石刻資料等等，另一類是綜合數(shù)據(jù)庫，如《四庫全書》、《四部叢刊》、《國學(xué)寶典》之類數(shù)據(jù)庫。

大陸最早的古典文獻(xiàn)數(shù)據(jù)庫是河南大學(xué)的《宋人筆記檢索系統(tǒng)南宋主要?dú)v史文獻(xiàn)》，建立于1987年。之后，各種數(shù)據(jù)庫紛紛涌現(xiàn)，比較重要的有南京大學(xué)、河南大學(xué)、蘇州大學(xué)聯(lián)合研制的《計(jì)算機(jī)甲骨文信息處理系統(tǒng)》、中國社會(huì)科學(xué)院《全唐詩》、《先秦魏晉南北朝詩》、《全上古三代秦漢三國六朝文》、《十三經(jīng)》、《全唐文》、《諸子集成》等數(shù)據(jù)庫、北京大學(xué)《全宋詩》數(shù)據(jù)庫、南京師范大學(xué)《全唐五代宋詞》數(shù)據(jù)庫、四川大學(xué)《宋會(huì)要輯稿》數(shù)據(jù)庫（與海外合作）等等。港臺(tái)古籍?dāng)?shù)字化起步較早，均采用繁體字形式。1984年臺(tái)灣中央研究院歷史語言研究所開始研發(fā)《漢籍全文資料庫》，香港中文大學(xué)則有《漢及以前全部傳世文獻(xiàn)》、《魏晉南北朝全部傳世文獻(xiàn)》、《竹簡帛書出土文獻(xiàn)》數(shù)據(jù)庫等等。其中《竹簡帛書出土文獻(xiàn)》收錄《馬王堆漢墓帛書》、《武威漢簡》、《睡虎地秦墓?jié)h簡》、《銀雀山漢簡》、《居延漢簡釋文合?！芳捌渌⒁姾啝┕?40多萬字的竹簡帛書出土文獻(xiàn)，價(jià)值頗高。

值得注意的是，這些數(shù)據(jù)庫主要是提供給本單位研究人員使用的，當(dāng)然也有部分?jǐn)?shù)據(jù)庫對(duì)外開放，為其他研究者提供一定幫助。雖然這些數(shù)據(jù)庫有種種限制，但它們無疑為古典文獻(xiàn)的研究（當(dāng)然包括其它專業(yè)的學(xué)術(shù)研究）提供了方便。之后，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，各科研機(jī)構(gòu)、大專院校、各地方的圖書館、以及其它數(shù)以百計(jì)的網(wǎng)站向用戶提供收費(fèi)或不收費(fèi)的古籍文獻(xiàn)檢索服務(wù)，甚至還提供古籍文獻(xiàn)的下載服務(wù)。顯然，這些工作的開展，為學(xué)術(shù)研究的現(xiàn)代化提供了極為有力的支持。至今為止，據(jù)筆者所查索到的除科研機(jī)構(gòu)、大專院校、各地圖書館數(shù)據(jù)庫之外，提供各種文獻(xiàn)下載的中文網(wǎng)站至少在200個(gè)以上，其中就有不少古籍文獻(xiàn)下載的網(wǎng)站。這些古典文獻(xiàn)數(shù)據(jù)庫或有關(guān)網(wǎng)站的建立，確實(shí)為古典文獻(xiàn)整理與研究乃至其它學(xué)術(shù)研究提供了極有價(jià)值的幫助。二、目前存在的問題

當(dāng)然，我們也應(yīng)該清醒地看到，在古典文獻(xiàn)數(shù)據(jù)庫大量涌現(xiàn)的同時(shí)，一些潛在的問題與數(shù)據(jù)庫本身的缺陷嚴(yán)重地制約著古典文獻(xiàn)數(shù)據(jù)庫的正常發(fā)展。

從古典文獻(xiàn)數(shù)據(jù)庫技術(shù)發(fā)展角度來說，筆者認(rèn)為大致經(jīng)過三個(gè)發(fā)展階段。第一階段是PDF圖像文本數(shù)據(jù)庫，其數(shù)據(jù)來源主要是以掃描方式獲得，形成PDF圖像文本。這種圖像文本優(yōu)點(diǎn)是直觀，與原書分毫不差，但它的缺點(diǎn)是功能極其單一，僅可供瀏覽圖像和簡單地檢索書目。雖然第一階段的數(shù)據(jù)庫功能極少，但畢竟能方便而直觀地閱讀文獻(xiàn)了，因此引起了學(xué)者們廣泛的興趣。必須指出的是，由于功能太少，這類數(shù)據(jù)庫難以進(jìn)一步發(fā)展。

第二階段是元數(shù)據(jù)數(shù)據(jù)庫，以香港迪志公司投資、書同文數(shù)字化技術(shù)有限公司設(shè)計(jì)、上海人民出版社出版的《四庫全書》、書同文數(shù)字化技術(shù)有限公司設(shè)計(jì)、萬方數(shù)據(jù)電子出版社的《四部叢刊》、尹小林《國學(xué)寶典》、南開大學(xué)永川公司的《二十四史》，以及大陸、港臺(tái)等大專院?；蚩蒲袡C(jī)構(gòu)制作的較大型的數(shù)據(jù)庫為代表。它們的優(yōu)點(diǎn)是具有較多的基本功能，如檢索、卡片、打印等功能，有些還附加了日歷查詢、字典、音樂背景等附加功能。然而，它們都不允許對(duì)數(shù)據(jù)庫內(nèi)的文本錯(cuò)誤進(jìn)行修訂、沒有圖表處理能力、不提供功能升級(jí)服務(wù)（某些軟件提供所謂新版本，實(shí)際上只是增加一些文獻(xiàn)文本，并未真正提升軟件服務(wù)功能）。而且由于各自為政，開發(fā)者大都采取自定義方法來自造非常用的生僻詞，因此各種數(shù)據(jù)庫之間字庫不能相互兼容。這一階段的古典文獻(xiàn)數(shù)據(jù)庫也有吸收第一階段數(shù)據(jù)庫有圖像的優(yōu)點(diǎn)，如上述提及的《四庫全書》就附有圖像，以利研究者核對(duì)文字。該階段絕大多數(shù)數(shù)據(jù)庫注意到版權(quán)問題，但仍有一些數(shù)據(jù)庫在版權(quán)上出現(xiàn)較大問題，乃至引起法律糾紛。

計(jì)算機(jī)技術(shù)廣泛地涉入文科研究領(lǐng)域，各種古典文獻(xiàn)數(shù)據(jù)庫紛紛建立，當(dāng)然給古典文獻(xiàn)整理與研究的現(xiàn)代化提供了極其有利的幫助，然而，在筆者看來，目前計(jì)算機(jī)技術(shù)在這一領(lǐng)域中的運(yùn)用形成紛亂無序的“戰(zhàn)國時(shí)代”，有許多亟待解決的問題，否則將會(huì)影響或說削弱計(jì)算機(jī)技術(shù)在古典文獻(xiàn)研究（乃至其它學(xué)術(shù)研究）中巨大作用。對(duì)此弊病，筆者擬作一概述，企望引起有關(guān)部門、數(shù)據(jù)庫開發(fā)者及使用者的重視，以期真正使計(jì)算機(jī)技術(shù)對(duì)古典文獻(xiàn)整理與研究起到更大的促進(jìn)作用。大致說來，主要問題有以下幾個(gè)方面：

其一，缺乏整體領(lǐng)導(dǎo)與規(guī)劃，國家投資與收益不對(duì)稱。當(dāng)然，首先應(yīng)該看到，國家有關(guān)部門已經(jīng)著手做了一些規(guī)劃，也實(shí)施建立一些比較大的古典文獻(xiàn)數(shù)據(jù)庫，如2002年10月，國家科技圖書文獻(xiàn)中心受科技部的委托，牽頭聯(lián)合中國科技信息研究所、國家圖書館、上海圖書館、中科院圖書館、北京大學(xué)圖書館等單位，啟動(dòng)了我國數(shù)字圖書館標(biāo)準(zhǔn)規(guī)范建設(shè)項(xiàng)目。這一項(xiàng)目的目的就是力圖建立我國比較統(tǒng)一和規(guī)范的數(shù)字圖書館標(biāo)準(zhǔn)，自然也會(huì)對(duì)建立古典文獻(xiàn)數(shù)據(jù)庫有較大的借鑒與參考的價(jià)值。又如北京大學(xué)《中國基本古籍庫》、上海圖書館《古籍影像光盤制作及檢索系統(tǒng)》等等，也由國家有關(guān)部門投入大量資金，而且已經(jīng)啟動(dòng)并完成了部分內(nèi)容。不過也應(yīng)該強(qiáng)調(diào)，由于國家沒有制定出一個(gè)比較符合國內(nèi)數(shù)據(jù)庫發(fā)展?fàn)顩r的真正有價(jià)值的規(guī)范體系，因此這些項(xiàng)目的承擔(dān)者仍是各自為政，數(shù)據(jù)庫之間并不能兼容，不可能形成技術(shù)“合力”。再從所取得的社會(huì)效益或說實(shí)際使用價(jià)值來看，也不盡人意。因?yàn)橹两駷橹菇⒌母鞣N數(shù)據(jù)庫仍人為地設(shè)置許多障礙，無法使它們實(shí)現(xiàn)較大的使用價(jià)值。數(shù)據(jù)庫由國家投資，收益自然應(yīng)該歸國家，或者成為不收費(fèi)的公益數(shù)據(jù)庫，但目前收益既不歸國家，又未能成為公益數(shù)據(jù)庫，這不能不說是個(gè)極大的遺憾。實(shí)際上，數(shù)據(jù)庫制作者無償利用國家投資進(jìn)行了開發(fā)，制作完成后卻獲得相當(dāng)豐厚的收益，使人感到有“國家投資，個(gè)別單位圖利”的印象。筆者不反對(duì)交納一定使用費(fèi)用，但收費(fèi)單位一定應(yīng)該說明收費(fèi)后去向，絕不允許產(chǎn)生國家投資而由個(gè)別單位乃至某些個(gè)人得利的情況。

其二，開發(fā)商嗜利忘義，數(shù)據(jù)庫錯(cuò)誤嚴(yán)重。除上述由國家投資開發(fā)的古典文獻(xiàn)數(shù)據(jù)庫外，還有一些有一定技術(shù)實(shí)力的軟件開發(fā)商加入到古典文獻(xiàn)數(shù)據(jù)庫的開發(fā)中來了。比較而言，各科研機(jī)構(gòu)、大專院校及各地圖書館建立的古典文獻(xiàn)數(shù)據(jù)庫質(zhì)量較高，而開發(fā)商則很少關(guān)注數(shù)據(jù)庫中的文獻(xiàn)質(zhì)量。我們承認(rèn)確有少量開發(fā)商制作的數(shù)據(jù)庫質(zhì)量較高，如迪志公司開發(fā)的《四庫全書》之類，然而象《四庫全書》這樣的數(shù)據(jù)庫確實(shí)鳳毛麟角，難以尋覓。我們發(fā)現(xiàn)，甚至有些開發(fā)商僅僅是把文本進(jìn)行文字掃描導(dǎo)入，疏于校對(duì)，因此文本錯(cuò)誤百出，難以卒讀。由于利益驅(qū)使，絕大多數(shù)開發(fā)商都以“獨(dú)自開發(fā)”為己任，數(shù)據(jù)庫設(shè)計(jì)相互保密，互不兼容，使用戶深感不便。這些問題已嚴(yán)重地影響到古典文獻(xiàn)數(shù)據(jù)庫的正常發(fā)展了。

其三，熱門文獻(xiàn)數(shù)據(jù)重復(fù)，冷門文獻(xiàn)數(shù)據(jù)罕見。雖說目前數(shù)據(jù)庫品種繁多，但由于考慮到使用者對(duì)文獻(xiàn)內(nèi)容的需求，因此許多開發(fā)者熱衷于開發(fā)那些熱門數(shù)據(jù)，而一些比較冷門的文獻(xiàn)則鮮有人問津。實(shí)際上，冷門的文獻(xiàn)并非是沒有學(xué)術(shù)價(jià)值的文獻(xiàn)，只是使用人較少而已。因而，目前不但數(shù)據(jù)庫中文獻(xiàn)內(nèi)容重復(fù)現(xiàn)象極為普遍，甚至同名同姓的數(shù)據(jù)庫也有不少，如《四庫全書》就出現(xiàn)了武漢大學(xué)版、上海人民出版社版等數(shù)種不同版本。且不說那些數(shù)量繁多、質(zhì)量也不甚高的數(shù)據(jù)庫浪費(fèi)了多少人力物力，其實(shí)也使用戶陷入無可適從、欲舍不能的境地。用戶往往為了某些少量文獻(xiàn)內(nèi)容不得不購買和安裝整個(gè)數(shù)據(jù)庫操作系統(tǒng)，而且這些龐大的數(shù)據(jù)庫大量占據(jù)硬盤空間，導(dǎo)致計(jì)算機(jī)運(yùn)行速度大為減慢。而那些允許網(wǎng)上檢索的文獻(xiàn)數(shù)據(jù)庫又往往容量極大，上網(wǎng)檢索者多，導(dǎo)致“交通阻塞”！

其四，技術(shù)關(guān)卡重重，難以互相兼容。各開發(fā)者既鑒于不同開發(fā)目的與技術(shù)條件，又為防止他人解密，因此在開發(fā)過程中在數(shù)據(jù)庫某些程序中人為設(shè)置技術(shù)障礙，以保障自己利益不受損害。自然，開發(fā)者需要投入大量人力物力，保障本身利益不受損害是無可非議的。然而也由于人為地設(shè)置了障礙，卻使各種文獻(xiàn)數(shù)據(jù)庫之間不能兼容，無法形成合力，先進(jìn)的技術(shù)反而成為技術(shù)壁壘。實(shí)際上，這一情況大大浪費(fèi)了寶貴的人力資源與財(cái)力，對(duì)古典文獻(xiàn)的開發(fā)與利用有百害而無一利。另外，由于技術(shù)壁壘，在古典文獻(xiàn)數(shù)據(jù)庫的文字方面更導(dǎo)致許多問題。我國古籍常用漢字大約為４萬余個(gè)，這還不包括超過2萬個(gè)異體字及數(shù)千甲骨文、金文等古文字。然而我國目前在計(jì)算機(jī)上采納的國標(biāo)字庫(GB)和擴(kuò)展字庫(GBK)，兩者相加也只有27000余字，這與我國古籍常用漢字?jǐn)?shù)量相比，實(shí)在差距太大。因此，如此小的字庫與需求相比確實(shí)是捉襟見肘。為了彌補(bǔ)這一缺陷，一些軟件設(shè)計(jì)者就采取在自定義區(qū)自造字（乃至占據(jù)字庫中擴(kuò)展Ｂ的位置）、有些也用圖片方式來填字。而這些自造字、圖片字，拷貝到WORD文本之后，由于內(nèi)碼位置的差異就變成其它字了，從而導(dǎo)致文本錯(cuò)誤。

其五，功能單調(diào)，難以真正為科研服務(wù)。建立較早的古典文獻(xiàn)數(shù)據(jù)庫功能比較單調(diào)，只能做些簡單檢索、拷貝，沒有更為先進(jìn)的功能，不能適應(yīng)學(xué)術(shù)研究的需要。后來的一些古典文獻(xiàn)數(shù)據(jù)庫也存在類似問題，例如《四庫全書》的檢索功能，雖說可以采用添加“作者”、“書名”等限定條件，但檢索結(jié)果只是羅列一排出處，無法直觀地了解檢索到的具體內(nèi)容。而且《四庫全書》也沒有提供更多的功能給用戶，因此這一巨大的工程仍遠(yuǎn)遠(yuǎn)不能滿足用戶的需求。況且這一數(shù)據(jù)庫目前已經(jīng)“定型”，不再繼續(xù)開發(fā)，使用戶對(duì)此深感遺憾。而其它古典文獻(xiàn)數(shù)據(jù)庫設(shè)計(jì)者的思維大多仍停留在“文本之爭”當(dāng)中，重復(fù)著原來設(shè)計(jì)思想的錯(cuò)誤，沒有更多地開發(fā)為科研服務(wù)的有效功能，因此在筆者看來，這一做法顯然不可能真正擺脫古典文獻(xiàn)數(shù)據(jù)庫目前面臨著的困境。

其六，學(xué)術(shù)圈地，使人心有余而力難用。解放后，一些國家級(jí)出版社化費(fèi)了極大的精力，組織專家點(diǎn)校了不少重要古籍，為學(xué)術(shù)研究的發(fā)展作出了極大貢獻(xiàn)。然而時(shí)至計(jì)算機(jī)時(shí)代的來臨，卻出現(xiàn)了“版權(quán)”的問題。一些制作者忽視了國家有關(guān)版權(quán)法規(guī)，直接利用了一些出版社的成果來牟取經(jīng)濟(jì)利益，理所當(dāng)然地會(huì)產(chǎn)生版權(quán)糾紛。筆者以為，保護(hù)版權(quán)是每個(gè)學(xué)者乃至每個(gè)公民應(yīng)盡的責(zé)任，根本毫無討價(jià)還價(jià)的余地。然而問題是