“CALIS_高校學位論文數據庫”可行性研究報告-CALIS工程中心-清華大學圖書館

1、匯報內容,一、立項背景和需求 二、總體目標 三、主要建設內容 四、實施方案(組織管理、總體框架、技術路線等) 五、實施進度,立項背景和需求, 背景 近年來，國際范圍內學位論文的網上利用已成趨勢， 可歸納為兩種模式： 美國UMI公司的商業(yè)性數據庫PQDD 采用集中建庫、分級服務的模式； 由于UMI較為公平地處理學位論文的知識產權。該數據庫在全球范圍內的到公認和廣泛應用； 國內同方光盤公司出版發(fā)行的中國優(yōu)秀博碩士學位論文全文數據庫采用了類同PQDD的集中建庫模式。,NDLTD（博碩士論文網絡數字圖書館） 由美國弗吉尼亞理工大學計算機學教授Edward Fox在1997年發(fā)起建立，目前有世界范圍的1

2、85個成員； 采用元數據集中建庫，學位論文全文由各學校在本地建庫的模式。通過OAI協議收集元數據，用戶檢索元數據庫，通過OPENURL技術鏈接到分布在各學校的論文全文。 這種模式符合網絡環(huán)境下數字資源開放建設和分布服務的發(fā)展趨勢。近幾年臺灣地區(qū)建立的eThesys系統(tǒng)也采用類同架構。 “十五”期間，“CALIS高校學位論文數據庫”的建設參考了NDLTD模式。,立項背景和需求（續(xù)）, 需求 博碩士學位論文集中反映了學校的教學、科研成果，是廣大師生十分重視的一種學術文獻。 近十幾年來，絕大部分學位論文都采用了計算機錄入、排版和打印，由此產生了大量的“原生”的電子文本。 在沒有建立起電子版學位論文（

3、ETD）收藏機制之前，每年大量的電子文本隨畢業(yè)生的離校而流失，這對學位論文的電子化利用是非常遺憾的事情。 清華大學自2000年6月開始進行ETD全文的收集工作，目前已積累四年(8批)電子版博碩士學位論文1萬余篇。,立項背景和需求（續(xù)）,2001年以來，北京大學、北京農業(yè)大學、武漢大學、吉林大學、廈門大學、西安交通大學、東南大學等10余所學校也陸續(xù)建立了本校的學位論文提交和發(fā)布服務系統(tǒng)，反映了高校普遍希望改變傳統(tǒng)紙本學位論文收藏和服務方式的需求。 在數字圖書館建設的浪潮下，國內圖書館都在尋找自己的切入點，想做一些數字資源建設方面的事情。而電子版學位論文（ETD）正是各學校源源不斷“自產”的，最有

4、條件、有能力收集全、利用好的“原生”數字資源。,立項背景和需求（續(xù)）,在“九五”期間建設的博碩士學位論文文摘數據庫基礎上，建設一個提供集中式檢索（含前16頁全文瀏覽）、分布式全文獲取服務的CALIS高校博碩士學位論文數據庫。為高校范圍內的讀者通過網絡共享學位論文信息提供途徑和保障，促進高校教學、科研水平的交流與提高。,總體目標,包括三部分： 1.分布建立本地學位論文網上提交與 發(fā)布系統(tǒng) 2.增加CALIS高校學位論文庫數據量 （元數據前16頁全文） 3.建立學位論文集中檢索服務平臺和 共享機制,主要建設內容,1. 分布建立本地學位論文網上提交與發(fā)布系統(tǒng) 借鑒國際上學位論文網上提交和利用的經驗，

5、綜合國內高校的實際需求，接洽軟件開發(fā)商開發(fā)“學位論文網上提交與發(fā)布系統(tǒng)”，推薦參建學校使用。 從本地系統(tǒng)應用出發(fā)，促進高校范圍內普遍建立起： 新型的學位論文網上提交與管理機制； 本地學位論文全文網上檢索服務系統(tǒng)。 打破高校多年來以收藏紙本學位論文為主，學位論文文獻未能得以充分利用的局面。,主要建設內容（續(xù)）,2. 增加CALIS高校學位論文庫數據量 “九五”期間，高校學位論文文摘庫的數據量約10萬條?！笆濉毙略鰯祿?0萬條，新增數據中可提供論文前16頁瀏覽的比例不低于80%,可提供全文服務（包括直接下載或文獻傳遞）的比例不低于70%。 “九五”期間完成的10萬條數據經轉換后與“十五”期間新

6、增的10萬條數據歸并在同一數據庫結構中提供服務。 在“十五”經費支持下，CALIS學位論文庫的總數據量達20萬條。,主要建設內容（續(xù)）,3. 建立學位論文集中檢索服務平臺和共享機制 采用“OAI-PMH”和“METS”機制自動收集分布 在參建單位的元數據和前16頁全文； 集中檢索CALIS學位論文庫的元數據； 提供獲取論文全文的鏈接調度功能； 數據庫訪問、全文獲取、用戶登錄等統(tǒng)計功能； 個性化定制推送服務； 建立遵循知識產權公平利用學位論文的網上共享機制。,主要建設內容（續(xù)）,CALIS學位論文數據庫的檢索和服務: 在元數據級 公開免費提供檢索 論文前16頁 公開免費提供瀏覽 論文全文 通過認

7、證結算機制在線瀏覽 通過館際互借/文獻傳遞離線獲取 以兩套系統(tǒng)的建設牽動：網上提交發(fā)布系統(tǒng)（本地） 集中檢索服務系統(tǒng)（清華） 廣泛建立起新的學位論文收集和利用機制： 網上提交、電子版保存與服務、公平共享(互惠),主要建設內容（續(xù)）,包括六部分： 1.現有基礎 5.技術路線 2.組織管理 6.技術難點 3.建設方式 7.互操作 4.總體框架和功能,實施方案（續(xù)）, 現有基礎 “九五”期間， “CALIS高校學位論文文摘庫”數據超出10萬條，參建學校近百所。 “九五”期間，先后組織了三次全國性的建庫人員培訓和研討會，培訓骨干人員150多人次。 在項目組織和實施中，清華圖書館與參建單位形成了良好的合

8、作關系，積累了項目組織和協作經驗。 清華圖書館參與了科技部我國數字圖書館標準規(guī)范建設項目，側重“專門元數據”子項目中“學位論文元數據標準規(guī)范” 的研究和制定。,實施方案（續(xù)）, 組織管理 在“CALIS工程中心管委會”領導下，成立由項目牽頭單位、項目參建單位代表組成的“項目管理小組”，負責整個項目的組織、協調等工作。 項目管理小組由8所學校圖書館的代表組成： 北京大學、中國農業(yè)大學、吉林大學、 上海交通大學、武漢大學、中山大學、 西安交通大學、清華大學 清華大學圖書館任組長單位并成立項目實施小組。,實施方案（續(xù)）, 組織管理 出于盡量全面地收集高校范圍內的學位論文資源的考慮，鼓勵所有“211”

9、高校申請參加本項目，也歡迎非“211”高校申請參加。 通過填寫“成員單位基本信息登記表”和簽定“CALIS高校學位論文全文數據庫建設協議書”的形式確定參建單位的義務、責任和權利。,實施方案（續(xù)）, 建設方式 “CALIS學位論文全文數據庫”采用元數據集中建庫、論文全文分散建庫的兩級保障模式。 項目主持單位（清華圖書館）負責元數據建庫并提供集中檢索和服務。 各參建單位在本地建立起本校的“學位論文網上提交系統(tǒng)”和“學位論文全文檢索系統(tǒng)”；遵循本項目制定的學位論文元數據標準規(guī)范提交統(tǒng)一格式的元數據，論文全文的訪問權限（知識產權）由各學校自主控制。,實施方案（續(xù)）, 總體框架 方案設計盡量與國際接軌，

10、采用開放、先進的主流技術。 針對分布環(huán)境下的元數據收集，采用遵循“OAI-PMH”機制的自動收割技術。 各參建單位作為OAI協議的數據提供方，負責建立本地的學位論文提交和發(fā)布系統(tǒng)。清華圖書館作為服務提供方，向分布在各參建單位的數據庫(數據提供方)發(fā)出請求，抓取元數據。 前16頁全文的收集采用METS機制（類似OAI自動收集）。 用戶通過集中的元數據庫檢索到論文信息后，通過OPENURL和CALIS-OID技術鏈接到分布在各學校的論文全文。,實施方案（續(xù)）,元數據收割器,TPI論文提交發(fā)布系統(tǒng),方正論文提交發(fā)布系統(tǒng),北大數圖所論文提交發(fā)布系統(tǒng),其它平臺,TRS論文提交發(fā)布系統(tǒng),OAI Data

11、Provider,全文鏈接（OpenURL）,索引,用戶界面,統(tǒng)計與評估模塊,資源調度模塊,與CALIS大系統(tǒng)接口,結算模塊,學位論文 元數據庫,OAI Service Provider,收割進度設置模塊,收割管理模塊,OAI HarvesterServer,數據提供方注冊管理,OAI-PMH,CALIS學位論文全文數據庫總體框架, CALIS學位論文全文數據庫系統(tǒng)結構與功能 OAI Data Provider：各參建單位作為OAI協議的數據提供方，本地需要建立OAI Data Provider接口并提供DC和CALIS_ETD兩種數據格式。本地系統(tǒng)的安裝和維護由參建單位負責。 OAI Har

12、vester：清華圖書館作為服務提供方負責建立OAI Harvester接口，設置數據收割進度、管理數據提供方的注冊和登記，提供日志分析功能，提供對收割不成功記錄的再次收割功能等。,實施方案（續(xù)）,OAI Service Provider：“CALIS學位論文元數據庫”作為OAI服務提供方，存放從各參建單位收割來的元數據，通過集中檢索服務平臺，對參建單位范圍內的用戶提供免費元數據檢索服務，對參建單位外的用戶提供收費檢索服務。 該系統(tǒng)支持按學科分類瀏覽、查詢（簡單檢索、復雜檢索）等功能。提供通過OPENURL技術鏈接到分散在各參建單位的全文；提供統(tǒng)計與評估接口；提供與CALIS總體平臺的接口（認

13、證接口、日志訪問接口、統(tǒng)計接口、結算接口、資源調度接口等）。,實施方案（續(xù)）,審核和編目,學生,審核員,編目員,發(fā)布服務,不合格,合格,論文編目,檢索,提交模塊,文檔標準化（全文）,原有論文數據遷移,論文審核,論文發(fā)布,提交表單,統(tǒng)計與評估,結算模塊,OAI接口,本地學位論文提交和發(fā)布系統(tǒng)結構流程, 本地學位論文提交和發(fā)布系統(tǒng)功能 論文提交模塊: 研究生通過網絡提交元數據信息并上載論文全文，可以網上修改已提交的論文信息，網上查詢論文是否審核通過。 管理員審核模塊: 圖書館員從格式的正確性、內容的完整性等方面審核驗收論文全文，也包括審核對應的元數據信息。 編目模塊: 圖書館員對記錄做編目處理，加

14、入一些必須的館藏信息、權限控制信息等。 文檔標準化: 將word格式的文件批量轉換成PDF等格式的文件，包括對使用權限的處理。 發(fā)布服務和檢索模塊: 實現全文檢索、學科分類瀏覽以及論文全文瀏覽等功能。提供認證、結算、統(tǒng)計與評估模塊的接口以及OAI數據提供接口。,實施方案（續(xù)）, 技術路線 項目涉及的標準規(guī)范盡量采用國內外已有的通用標準(如OAI-PMH、METS、OPENURL、Web Service以及我國數字圖書館標準規(guī)范等)，擴展部分遵照CALIS統(tǒng)一規(guī)定(如:ODL接口協議,CALIS-OID技術等)。 針對各單位本地學位論文提交發(fā)布系統(tǒng)的建設，項目實施組在廣泛調研的基礎上，已選擇有經

15、驗和開發(fā)實力的軟件商根據項目需求進行了二次開發(fā)（增加OAI接口等），并以組團購買的方式爭取到優(yōu)惠價格。推薦各參建單位購買成熟的商業(yè)軟件，減少重復開發(fā)、成本低見效快。 針對學位論文集中檢索服務系統(tǒng)的建設，項目實施組計劃在廣泛調研的基礎上，綜合國內外同類系統(tǒng)的先進技術，提出系統(tǒng)需求和設計方案，通過招標或邀標的方式選擇有經驗、有實力的軟件商開發(fā)。,實施方案（續(xù)）, 技術難點 1）論文全文（PDF格式）的權限控制； 2）論文題目、文摘中特殊字符、各類公式的錄入和展示； 3）基于OAI協議收割數據的質量控制； 4）兩級系統(tǒng)（分布、集中）中的認證和結算功能等。 擬采用的解決途徑： 采用(嵌入)CALIS管

16、理中心已經開發(fā)的模塊; 開展更廣泛的調研，挖掘出已有的成熟技術； 在招標中提出需求，由軟件開發(fā)商解決； 設立項目子課題，邀請或者聯合有研究基礎的單位攻關。,實施方案（續(xù)）, 互操作 本項目系統(tǒng)接口涉及到三部分： 學位論文集中檢索服務系統(tǒng)與CALIS整體平臺之間； 各校學位論文提交和發(fā)布系統(tǒng)與CALIS整體平臺之間； 學位論文集中檢索服務系統(tǒng)與各校學位論文提交和 發(fā)布系統(tǒng)之間。 它們之間的關系如表1所示。,實施方案（續(xù)）,實施方案（續(xù)）,實施進度,擬采用先啟動提交、發(fā)布系統(tǒng)建設，盡快收集數據，后建立集中檢索服務平臺的步驟，分三個階段： 第一階段 調查規(guī)劃階段（2002年8月2003年4月） 調研國內外學位論文系統(tǒng)發(fā)展狀況，確定項目實施方案和技術路線； 申請立項并籌備成立項目管理組。召開項目管理組第一次工作會議，討論通過本項目的整體規(guī)劃、實施方案和技術路線; 調研商業(yè)平臺，選擇、比較不同平臺上的有代表性的3-4個系統(tǒng)，提出“學位論文提交與發(fā)布系統(tǒng)”的用戶需求和系統(tǒng)功能，接洽軟件開發(fā)商進行技術開發(fā)。,第二階段 啟動實施階段（2003年4月2004年6月） 起草“學位論文元數據標準方案”，確定核心表單數據項； 分批召開項目啟動、培訓會議，幫助參建單位簽定“學位論文提交與發(fā)布系統(tǒng)”的購買協議，落實系統(tǒng)安裝和開通運行； 參建單位安裝運行學位論文提交與發(fā)布