數(shù)字化圖書館解決的方案V1

1、數(shù)字化圖書館解決方案1 圖書館信息化概述目前在 Internet 和信息技術(shù)的不斷發(fā)展時代，對高等院校的教學(xué)與管理帶 來了深遠的影響，網(wǎng)絡(luò)遠程教學(xué)、多媒體應(yīng)用、數(shù)據(jù)查閱、信息管理等應(yīng)用已經(jīng) 成為高校教學(xué)與科研重要的一環(huán)，并逐步與學(xué)校的教學(xué)、服務(wù)與科研融為一體。 高校校園網(wǎng)建設(shè)、網(wǎng)絡(luò)中心的規(guī)模與數(shù)字圖書館已經(jīng)成為全面衡量高等學(xué)校信息 化水平的三項重要的指標。 圖書館除向全校師生提供教學(xué)、 科研以及數(shù)字化信息 服務(wù)外，還面向社會為眾多單位提供培訓(xùn)及咨詢服務(wù)。隨著計算機應(yīng)用的發(fā)展， 圖書館服務(wù)器和數(shù)據(jù)量急速增加，管理的復(fù)雜程度越來越大。數(shù)字化圖書館是一種運行在高速寬帶網(wǎng)絡(luò)上的、 可跨庫檢索的海量數(shù)字

2、化信 息資源庫群，對有價值的圖像、文本、語音、影像、影視、軟件和科學(xué)數(shù)據(jù)等多 媒體信息進行收集，進行數(shù)字化加工、存儲和管理，實施知識增值，并提供基于 網(wǎng)絡(luò)的電子存取服務(wù)。數(shù)字圖書館在本質(zhì)上就是一個集數(shù)據(jù)庫應(yīng)用平臺、 信息資源電子商務(wù)平臺與 資源數(shù)字化加工服務(wù)平臺于一體的巨大數(shù)據(jù)倉庫， 以互聯(lián)網(wǎng)為平臺， 面向高校內(nèi) 部廣大師生和外部互聯(lián)網(wǎng)用戶提供基于內(nèi)容的服務(wù)。 作為圖書館發(fā)展的方向， 數(shù) 字圖書館應(yīng)以統(tǒng)一的標準和規(guī)范為基礎(chǔ)、 以數(shù)字化的各種信息為底層、 以分布式 海量資源庫群為支撐、 以智能檢索技術(shù)為手段、 以電子商務(wù)為管理方式， 以寬帶 高速網(wǎng)絡(luò)為傳輸通道，將豐富多彩的多媒體信息及時的傳遞給

3、用戶。2 圖書館系統(tǒng)概述數(shù)字圖書館系統(tǒng)是一個基于 Internet/Intranet 分布式環(huán)境、 能夠針對用戶 的需要提供信息服務(wù)的分布式海量信息系統(tǒng)，其基本功能包括：1. 提供用戶交互式信息瀏覽、查詢，具有基于內(nèi)容和知識的檢索引擎。2. 支持連續(xù)媒體的網(wǎng)絡(luò)傳輸，數(shù)字化圖書館所支持的數(shù)據(jù)類型包括具有 時間基的連續(xù)媒體信息；支持多媒體信息流的同步和集成，建立先進 的同步模型和同步機制保證靜態(tài)信息流的空間同步和動態(tài)信息流間的 時間同步。3. 建立通用、標準和規(guī)范的數(shù)字化圖書館系統(tǒng)結(jié)構(gòu)模型，提供數(shù)字化圖 書館系統(tǒng)有效的資源管理和控制功能。4. 支持動態(tài)服務(wù)質(zhì)量（QoS管理機制，系統(tǒng)可以根據(jù)用戶請求

4、、系統(tǒng)檢 測和資源均衡需求，動態(tài)地調(diào)整用戶端的 QoS參數(shù)。5. 數(shù)字化圖書館系統(tǒng)的中心服務(wù)器和媒體服務(wù)器應(yīng)該具有可伸縮的體系 結(jié)構(gòu)，根據(jù)資源的使用情況，采用適當?shù)呢撦d平衡策略，把信息存取 和網(wǎng)絡(luò)傳輸?shù)呢撦d均衡到相應(yīng)的機群中，同時，系統(tǒng)具有信息存儲和 網(wǎng)絡(luò)帶寬的可擴展性。6. 系統(tǒng)具有透明性，信息的重組在一定條件下是可見的，但是對用戶是 透明的。7. 系統(tǒng)具有可移植性，具有可運行特征的媒體信息在不同的運行環(huán)境下 都可以再現(xiàn)圖書館的主要組成部分：1. 圖書館管理系統(tǒng)2. 數(shù)據(jù)庫3. 電子期刊庫4. 電子圖書庫5. 碩博論文庫6. 自建數(shù)據(jù)庫：論文、期刊、圖書、聲像、教參等等7. 音視頻資源管理系

5、統(tǒng)8. 網(wǎng)絡(luò)接入認證系統(tǒng)9. 門戶網(wǎng)站10. 博客服務(wù)11. 論壇服務(wù)12. FTP系統(tǒng)13. 等等因此，可以說建設(shè)數(shù)字圖書館的關(guān)鍵技術(shù)在于存儲系統(tǒng)， 一個良好的存儲系 統(tǒng)解決方案應(yīng)能適應(yīng)圖書數(shù)據(jù)的海量存儲和不斷增長， 同時能夠滿足當今網(wǎng)絡(luò)環(huán) 境復(fù)雜性和擴展性的不斷提高。這樣的目標無疑對存儲系統(tǒng)的要求很高， 既要求高可用性、 高可靠度和大容 量，還需要低成本和易安裝管理。3 圖書館信息系統(tǒng)需求分析數(shù)字化圖書館就是將圖書館文獻信息數(shù)字化， 并利用計算機技術(shù)儲存、 查詢 和發(fā)布，以滿足當?shù)鼗蜻h程讀者對文本、圖像、聲音等不同種類的信息需求。數(shù)字圖書館的顯著特點就是： 各種信息（文獻，期刊，圖書，報紙

6、，論文，音樂，視頻等）的數(shù)字化； 海量數(shù)據(jù)的存儲和管理； 對數(shù)據(jù)的有效訪問和查詢；數(shù)字化資料在網(wǎng)上發(fā)布和傳遞。 數(shù)字化圖書館的開發(fā)與建立是計算機、 通信 和網(wǎng)絡(luò)技術(shù)、 海量存儲技術(shù)以及多媒體技術(shù)有機結(jié)合的產(chǎn)物， 并且還引進了大量 數(shù)據(jù)庫技術(shù)及概念。圖書館存儲系統(tǒng)需要存儲以下內(nèi)容的數(shù)據(jù)信息：1. 數(shù)據(jù)庫： 一般采用MSSQL和Oracle數(shù)據(jù)庫，數(shù)據(jù)量不大，一般在幾GB以內(nèi)，且數(shù)據(jù)增量不大。2. 電子圖書： 以文本文件存儲和 讀取為主， 文件大小一般為32KB-64MB存在形式為靜態(tài)，容量增長小于5每年；3. 視頻資料信息：包括電影資料的VCD/DV形式，MPEG2A形式，以大文件形式存儲，流媒

7、體讀取為主 . 文件大小一般為 80MB -5GB；4. 電 子 期 刊 ： 以 文 本 文 件 存 儲 和 讀 取 為 主 ， 文 件 大 小 一 般 為 32KB-64MB存在形式為動態(tài)增長，增長速度為線性定值；5. 其他電子信息資料： 包括音頻資料，碩博論文，自建資源庫，教參等等，以文件方式存儲，以流媒體或文件方式讀取，文件大小一般 為 32KB-40MB在圖書館中， 數(shù)據(jù)庫的管理和操作是最核心的問題， 所有的電子圖書、 期刊 和多媒體數(shù)據(jù)全部存放在大容量存儲系統(tǒng)中， 存儲系統(tǒng)是整個數(shù)字圖書館的支撐 點。根據(jù)圖書館中數(shù)據(jù)的特點來分析數(shù)字圖書館的數(shù)據(jù)應(yīng)用特點， 數(shù)字圖書館大 致可劃分為以下

8、兩種類型的數(shù)據(jù)：1. 數(shù)據(jù)庫類型數(shù)據(jù)： 圖書館管理系統(tǒng)和外購商用軟件系統(tǒng)以及自建系統(tǒng)的數(shù)據(jù)庫。 需要提供高速數(shù)據(jù)檢索和查詢服務(wù)，數(shù)據(jù)訪問速度要求高。 需要提供 7*24 小時高可靠運行2. 文件型數(shù)據(jù)： 包括電子圖書，期刊，論文，自建數(shù)據(jù)資源，影視頻資料文件等 等。需要提供大容量數(shù)據(jù)存儲空間。 大量數(shù)據(jù)處于靜止狀態(tài)，少部分數(shù)據(jù)在相應(yīng)時間內(nèi)處于活躍狀 態(tài)。數(shù)據(jù)訪問速度一般沒有嚴格要求。隨著圖書館數(shù)字化進程的逐步深入， 圖書館的應(yīng)用系統(tǒng)越來越多， 環(huán)境也變 得越來越復(fù)雜， 這無形中增加了圖書館管理人員管理系統(tǒng)的難度。 同時，隨著應(yīng) 用系統(tǒng)的不斷增加， 數(shù)據(jù)也相應(yīng)大量增長， 這就給原有的存儲系統(tǒng)提出

9、了更高的 要求。平滑的提供更大的存儲空間 提供更快的響應(yīng)速度 提供更大的數(shù)據(jù)吞吐能力總體來講，圖書館信息化的關(guān)注點在于： 如何滿足業(yè)務(wù)連續(xù)性要求 關(guān)鍵系統(tǒng)高性能 關(guān)鍵服務(wù)不停頓 關(guān)鍵數(shù)據(jù)不丟失如何解決數(shù)據(jù)容量迅速增長帶來的成本、管理等問題3 圖書館信息系統(tǒng)推薦方案3.1 設(shè)備選型原則存儲系統(tǒng)是數(shù)字圖書館的核心基礎(chǔ)，其性能的優(yōu)劣，質(zhì)量的好壞，對全局的 影響關(guān)系重大。在存儲系統(tǒng)平臺的選型上應(yīng)充分考慮系統(tǒng)應(yīng)用的水平和數(shù)據(jù)處理 數(shù)據(jù)量的大小，綜合總體系統(tǒng)設(shè)計的方針，予以慎重選擇。在選擇存儲平臺時， 要考慮的因素很多， 需要根據(jù)實際情況決定， 一般來講， 以下特性是必須要考慮的：存儲系統(tǒng)的 IO 性能系

10、統(tǒng)未來的可擴展性存儲系統(tǒng)的高可用性存儲系統(tǒng)對各種服務(wù)器操作系統(tǒng)的兼容性與標準系統(tǒng)管理員的可維護性3.2 方案綜述數(shù)字圖書館中需要存儲的數(shù)字資源大致分為以下幾類：圖書館管理系統(tǒng)數(shù)據(jù)庫圖書館購買的各類商業(yè)軟件的數(shù)據(jù)庫圖書館購買的各類電子化的圖書和期刊數(shù)據(jù)圖書館自建資源庫根據(jù)對圖書館信息化系統(tǒng)的需求分析，可以總結(jié)出圖書館核心應(yīng)用的特點如下：數(shù)據(jù)庫：是整個圖書館業(yè)務(wù)系統(tǒng)的核心-數(shù)據(jù)類型：數(shù)據(jù)庫(SQL, Oracle等)-性能要求：同時訪問人數(shù)較多，并發(fā)性能要求較高-可用性要求：不能停機-數(shù)據(jù)量：幾百MB到幾個GB圖書館應(yīng)用系統(tǒng)數(shù)據(jù)：-數(shù)據(jù)類型：文件（文本，圖像，音視頻）-性能要求：同時訪問人數(shù)較少，

11、但傳輸數(shù)據(jù)量大，帶寬要求高-可用性要求：不能停機-數(shù)據(jù)量：很大且增長很快，從幾 TB到幾十TB根據(jù)性能和可用性的分析，可以得出相應(yīng)推薦的存儲系統(tǒng)架構(gòu)如下:應(yīng)用數(shù)據(jù)類型性能容量數(shù)據(jù)保護典型存儲架構(gòu)FCSANiSCSI數(shù)字化圖書館管理系統(tǒng) （采、編、流）數(shù)據(jù)庫高低高優(yōu)選自建資源系統(tǒng)數(shù)據(jù)庫/ 文件中高高推薦可選碩博論文文件中高高推薦可選期刊文件中高低推薦可選電子圖書文件中n高低推薦可選影視頻資料文件中高低推薦可選以下我們分別闡述 DCN面向高校數(shù)字化圖書館的信息基礎(chǔ)架構(gòu): 數(shù)據(jù)集中存儲方案備份與恢復(fù)解決方案3.2.1數(shù)據(jù)集中存儲方案針對高校圖書館信息化應(yīng)用系統(tǒng)的存儲需求，建議采用FC SAN+IP

12、SAN勺存儲架構(gòu)：將圖書館的圖書館管理系統(tǒng)數(shù)據(jù)庫、各類外購商業(yè)軟件數(shù)據(jù)庫系統(tǒng)以及 自建資源數(shù)據(jù)庫等核心數(shù)據(jù)庫應(yīng)用通過 FC SAN進行連接，實現(xiàn)高性能、 高可用的存儲；同時將一些應(yīng)用如門戶網(wǎng)站、FTP等通過IP SAN行連接，實現(xiàn)低成本、 咼效率的存儲。整體架構(gòu)從以下幾方面綜合設(shè)計，以滿足業(yè)務(wù)連續(xù)性的要求: 存儲系統(tǒng)的高可用性：經(jīng)過用戶驗證達到5個9可用的存儲系統(tǒng)DCNCS4 系列存儲網(wǎng)絡(luò)SAN的高可用性：采用雙光纖交換機組成冗余 SAN網(wǎng)絡(luò)，配合 主機上的雙HBA卡和多路徑管理軟件（DCN PowerPath，實現(xiàn)數(shù)據(jù)訪問 通道的高可用；圖書館信息化系統(tǒng)集中存儲結(jié)構(gòu)圖:隼中存餡査躡存詁本次系

13、統(tǒng)建設(shè)的最終目標是為高校圖書館提供一套具有國際先進水平的電子化圖書館信息平臺，提供具有全球最新科技水平的SAN存儲區(qū)域網(wǎng)絡(luò)存儲平臺 -DCN CS4,為高校圖書館未來的高速發(fā)展提供堅實的技術(shù)保障平臺。為保證服務(wù)器到SAN網(wǎng)絡(luò)的全冗余性連接，每臺服務(wù)器均配置2塊8GbpsFC 光纖通道卡，分別連接到SAN網(wǎng)絡(luò)中的2臺光纖通道交換機上，即使其中的一條 鏈路發(fā)生故障，服務(wù)器仍然可以通過冗余的光纖鏈路訪問磁盤陣列上的數(shù)據(jù)，從而達到系統(tǒng)的7*24小時不間斷運行。本次存儲系統(tǒng)建設(shè)采用Open SAN體系結(jié)構(gòu)搭建高校圖書館數(shù)據(jù)存儲網(wǎng)絡(luò), 在整個SAN網(wǎng)絡(luò)中，所有設(shè)備之間的網(wǎng)絡(luò)鏈接均采用全冗余鏈接，確保整個存

14、儲 系統(tǒng)系統(tǒng)具有良好的鏈路冗余能力，為高校圖書館信息系統(tǒng)提供不間斷運行的存 儲網(wǎng)絡(luò)交換平臺。由于電子化圖書館中的數(shù)據(jù)絕大部分都是文本文件和圖片及音視頻資料文 件，少部分數(shù)據(jù)是數(shù)據(jù)庫數(shù)據(jù)，則在進行圖書館存儲體統(tǒng)磁盤規(guī)劃時， 應(yīng)充分考 慮磁盤分級存儲管理，提高了磁盤利用率，同時也為圖書館節(jié)省了大量的資金投 入。將訪問性能要求高的數(shù)據(jù)庫文件保存在 FC磁盤上將訪問性能要求不高的文件類型的數(shù)據(jù)保存在 SATA磁盤上本方案具有以下特點：DCN CS4 99.999%的高可用性DCN CS4吉構(gòu)提供最高的可用性。所有組件都實現(xiàn)全面冗余并可熱交換。全 光纖通道技術(shù)允許客戶隨時隨地擴展其存儲容量，可以在不關(guān)閉

15、應(yīng)用或者現(xiàn)有存儲能力的情況下，添加其它驅(qū)動器或者驅(qū)動器架(DAE磁盤陣列機箱)。DCNDS4系統(tǒng)擁有各種先進的數(shù)據(jù)保護功能-全局熱備用、全面冗余的組件、通向光纖通道磁盤驅(qū)動器的雙重冗余路徑、磁盤扇區(qū)嗅探校錯技術(shù)(Sniffer )、斷電高速緩存數(shù)據(jù)寫入硬盤、端-端數(shù)據(jù)奇偶校驗以及一致性操作環(huán)境所提供的 其它獨特功能，所有這一切都是 DC2S4享有盛名的原因所在。這種層次的數(shù)據(jù) 保護應(yīng)該是所有客戶的要求，也是任何其它供應(yīng)商所無法滿足的。中端存儲配置發(fā)展很快，且變得日益復(fù)雜，這是因為較大的系統(tǒng)具有更多的 驅(qū)動器，并且磁盤驅(qū)動器的密度越來越大。UltraPoint 是新一代的DCNCS4技 術(shù)，隨著

16、客戶將系統(tǒng)向新級別的擴展，它可確保CLARiiO N繼續(xù)提供最高級別的可靠性和可用性。UltraPoi nt 技術(shù)將新的點對點光纖通道 DAE設(shè)計與FLARE操作環(huán)境中新 的故障檢測和隔離功能結(jié)合在一起。UltraPoi nt 將后端故障探測和隔離的精確 度具體到了單個驅(qū)動器的級別。這一技術(shù)將使 DCN CS4系列能夠：在單個磁盤驅(qū)動器級別執(zhí)行故障檢測和隔離操作，因此可以采取糾錯措 施。在驅(qū)動器進入聯(lián)機狀態(tài)之前檢驗驅(qū)動器 一在加電時，在更換驅(qū)動器時， 以及在增加容量時。一體式分層存儲使用DCNCS4存儲系統(tǒng)，高校圖書館可以整合大量不同類型和業(yè)務(wù)價值級別 的數(shù)據(jù)，通過選擇滿足特定需要的驅(qū)動器選項

17、， 實現(xiàn)在一個系統(tǒng)中提供多種性能 /成本級別的靈活性。存儲層次驅(qū)動器類型適用環(huán)境第1層146GB 300GB 450GB15kRPM光纖磁盤并發(fā)訪問量大的圖書館管理系統(tǒng)第2層400GB 10kRPM光纖磁盤檢索系統(tǒng)、經(jīng)常訪問的文件類型數(shù)據(jù)（如近期的電子期刊等）第3層仃B 7200RPM SAT磁盤圖書館文件類型數(shù)據(jù)文件（不經(jīng)常訪問的）第4層1TB 5400RPM SAT磁盤圖書館文件類型數(shù)據(jù)文件（長期保存，歸檔）DCN PowerPath 軟件DCN CS4網(wǎng)絡(luò)存儲提供PowerPath軟件，它提供了連續(xù)的數(shù)據(jù)可用性，并 針對主機環(huán)境實現(xiàn)性能優(yōu)化。PowerPath是一種常駐服務(wù)器的、性能和信

18、息可用性增強路徑管理解決方 案。PowerPath面向開放式服務(wù)器平臺集成了自動故障切換、動態(tài)負載均衡和信 息存取優(yōu)化能力。PowerPath采用后臺工作方式，確保各種應(yīng)用保持連續(xù)可用。 PowerPath的自動故障切換和動態(tài)恢復(fù)特性允許在服務(wù)器和存儲間數(shù)據(jù)路徑發(fā) 生故障時，將數(shù)據(jù)存取分散至備用數(shù)據(jù)路徑中。 這樣應(yīng)用程序就絕對不會因為適 配器、電纜或通道控制器的單點故障而出現(xiàn)中斷。PowerPath運用自動負載均衡特性，對多條I/O流開展智能化管理，并通 過在多條路徑之間自動調(diào)整工作負荷的方式實現(xiàn)性能優(yōu)化。這種特性確保不會出 現(xiàn)某條路徑負載過重，而其它路徑帶寬又沒有得到充分利用的情形，避免I/

19、O瓶頸的出現(xiàn)。PowerPath確保圖書館關(guān)鍵業(yè)務(wù)數(shù)應(yīng)用隨時處于運行狀態(tài)，賦予它們以最 高可用性和最高性能，確保它們獲得業(yè)界領(lǐng)先性能存儲系統(tǒng) DCNDS4的所有優(yōu)勢。3.2.2 備份與恢復(fù)方案作為數(shù)據(jù)訪問量巨大的圖書館系統(tǒng)，無論是現(xiàn)在還是將來，數(shù)據(jù)和應(yīng)用安 全和可靠對于它來說都是第一重要的。為此，在圖書館需求中把這些應(yīng)用系統(tǒng)在提供服務(wù)方面分為三個級別：第一級： 要求接近零停機時間， 如書目數(shù)據(jù)庫以及多校使用的網(wǎng)絡(luò)數(shù)據(jù)庫， 應(yīng)采用熱備的方式保證。第二級：出現(xiàn)故障，恢復(fù)期可在 1 天的服務(wù)，如部分自建數(shù)據(jù)庫以及使用 量較小的數(shù)據(jù)庫，數(shù)據(jù)備份應(yīng)盡可能采用在線方式，至少要近線存儲。第三級：可忍受較長恢復(fù)期的應(yīng)用，該類數(shù)據(jù)備份可采用近線或離線方式 備份。引起數(shù)據(jù)丟失的原因很多，備份系統(tǒng)解決的問題主要在：硬件故障造成的數(shù)據(jù)丟失應(yīng)用程序 / 數(shù)據(jù)庫損壞造成的數(shù)據(jù)丟失 人為錯誤造成的數(shù)據(jù)丟失 黑客攻擊 / 病毒感染造成的數(shù)據(jù)丟失 軟硬件系統(tǒng)升級與維護前的數(shù)據(jù)備份為避免以上問題造成的數(shù)據(jù)丟失， 建議對圖書館的核心應(yīng)用系統(tǒng)進行定期備 份，并定期進行數(shù)據(jù)恢復(fù)驗證測試， 確保備份數(shù)據(jù)的可恢復(fù)性。 需要備份的系統(tǒng) 如下：數(shù)字化圖書館管理系統(tǒng)自建資源系統(tǒng)數(shù)據(jù)庫及自建數(shù)據(jù)資源建議采用 DCNNetworker 集中備份管理軟件， 實現(xiàn)關(guān)鍵應(yīng)用系統(tǒng)的在線備份； 采用基于磁盤介質(zhì)的備份設(shè)備，如利舊原有的