數(shù)字資源整合的機制與方法1.ppt

數(shù)字資源整合的機制與方法,李廣建 （）,主要內(nèi)容,信息技術(shù)對信息服務(wù)的影響 信息資源整合,信息技術(shù)對信息服務(wù)的影響,隨著計算機技術(shù)、多媒體以及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，信息載體的不斷電子化、網(wǎng)絡(luò)化，信息服務(wù)機構(gòu)（如圖書館、情報機構(gòu)）的信息技術(shù)也隨之計算機化、網(wǎng)絡(luò)化，以滿足不斷變化和發(fā)展的文獻信息服務(wù)的需求。 信息技術(shù)既對信息服務(wù)機構(gòu)帶來了機遇、也帶來了挑戰(zhàn)。,機遇 提供了先進的技術(shù)手段 過去手工條件做到的，現(xiàn)在提高了效率 過去想到了，但因條件的限制做不到，現(xiàn)在能做了 過去沒想到的，現(xiàn)在也能做了 挑戰(zhàn) 過去的很多認(rèn)識，現(xiàn)在不靈了（觀念問題） 運行方式和作業(yè)環(huán)境發(fā)生了翻天覆地的變化（還是圖書館嗎？） 用戶的要求越來越高了（需求總是很難滿足）,從挑戰(zhàn)談起,現(xiàn)有圖書館工作模式 流水線式的工作 目錄為中心的工作模式 以文獻為單元的工作模式,現(xiàn)代信息技術(shù)環(huán)境下圖書館工作面臨的轉(zhuǎn)變 工作的中心由面向館藏的轉(zhuǎn)變成面向用戶的 從基于載體的信息提供轉(zhuǎn)變成是基于內(nèi)容的信息提供 從館內(nèi)服務(wù)或面對面的服務(wù)轉(zhuǎn)變成網(wǎng)絡(luò)服務(wù)或遠(yuǎn)程服務(wù) 技術(shù)和設(shè)備在很大程度上會影響工作效果,再看看機遇,如果我們轉(zhuǎn)變觀念 從圖書館的用戶到用戶的圖書館 如果我們改變流程 從分立的資源服務(wù)到集成整合的服務(wù) 如果我們用新技術(shù) 從簡單的信息檢索到個性化的推送,library,user environments,resource environment,the library in the user environment, Not the user in the library environment.,Flexible assembly of services from multiple sources.,從圖書館的用戶到用戶的圖書館,總之，要 圍繞著用戶的工作流程構(gòu)建相關(guān)的信息服務(wù)； 使用戶不離開其工作環(huán)境就可使用信息資源； 按照用戶的使用習(xí)慣組織信息資源和服務(wù)； 能根據(jù)用戶的不同為其組織和裝配不同的資源和服務(wù) 徹底解決 用戶看到的一個個孤立的系統(tǒng)，是一個個的建設(shè)成果展示； 服務(wù)系統(tǒng)自成體系，系統(tǒng)互連性差，不能被相互調(diào)用； 系統(tǒng)之的連接關(guān)系是零散、無序、任意的甚至是混亂的，沒有一個清晰的流程； 用戶不了解、不明白、不易用、不會用、不能用、不愛用,解決方案 信息資源整合,主要內(nèi)容,信息技術(shù)對信息服務(wù)的影響 信息資源整合,信息資源整合,整合機制 整合技術(shù),整合機制,目前數(shù)字資源整合系統(tǒng)的實現(xiàn)機制可以概括為四種 數(shù)據(jù)倉庫整合機制 Mediator/Wrapper整合機制(中介器/封裝器整合機制)、 Agent整合機制 P2P整合機制,整合機制數(shù)據(jù)倉庫整合機制,數(shù)據(jù)倉庫整合機制是一種物理集成方式，它將不同來源的數(shù)字資源按特定的方式（通常是按主題或其它多維方式）建模并存儲在同一物理位置（稱為數(shù)據(jù)倉庫），提供給用戶一個新的、統(tǒng)一的目標(biāo)數(shù)據(jù)模式（schema），使得用戶能夠一站式地訪問各種數(shù)字資源，從而達到整合的目的。,下圖概略地示出了數(shù)據(jù)倉庫整合機制的基本原理,從上圖中可以看出，數(shù)據(jù)倉庫整合機制的最根本的特點是物理地存放數(shù)字資源，對不同來源的數(shù)字資源進行集中管理，簡化了用戶訪問信息的復(fù)雜度，提高了數(shù)字資源的訪問速度和整合系統(tǒng)的性能。 而且，由于實現(xiàn)了不同來源的數(shù)字資源的一致性存儲，這種整合機制還有利于實施比信息檢索更復(fù)雜、更深入的數(shù)據(jù)挖掘、知識發(fā)現(xiàn)等服務(wù)。 采用數(shù)據(jù)倉庫整合機制進行整合的前提是必須能合法地（例如通過授權(quán)）獲得來源系統(tǒng)中的數(shù)字資源，而且，由于是集中存儲要整合的數(shù)字資源，因而難以適應(yīng)網(wǎng)絡(luò)數(shù)字資源類型多樣、變化快等特點，同時還會增加本地系統(tǒng)存儲與維護的負(fù)擔(dān)。 數(shù)據(jù)倉庫整合機制較適用于自建資源。,數(shù)據(jù)倉庫整合機制所涉及的技術(shù)主要有： （1）海量數(shù)據(jù)存儲 （2）ETL技術(shù) （3）信息源的監(jiān)控與更新,（1）海量數(shù)據(jù)存儲 數(shù)據(jù)倉庫的數(shù)據(jù)來源于多個信息源（即參與整合的系統(tǒng)中的數(shù)字資源），因此具有數(shù)據(jù)量大、類型復(fù)雜的特點，屬于海量數(shù)據(jù)。 解決海量數(shù)據(jù)的存儲問題，除了需要相應(yīng)的專門設(shè)備如磁盤陣列、光盤庫、磁帶庫等，還需要精心地設(shè)計存儲結(jié)構(gòu)和存儲算法，既要保證數(shù)字資源有合理的物理存儲結(jié)構(gòu)，又要保證有較快的存取速度。,（2）ETL技術(shù) ETL技術(shù)是對要加以整合的數(shù)字資源進行抽?。‥xtract）、轉(zhuǎn)換（Transform）、清洗（Cleaning）、裝載（Loading）的技術(shù)。 對不同來源的數(shù)字資源進行物理集成，首先需要從參與整合的系統(tǒng)中抽取出相關(guān)數(shù)字資源，這需要使用信息抽取技術(shù)。 由于信息源是異構(gòu)的，因此，還必須利用轉(zhuǎn)換技術(shù)將不同結(jié)構(gòu)的數(shù)字資源規(guī)范化，消除異構(gòu)數(shù)字資源之間的不一致性，為來自不同系統(tǒng)的數(shù)字資源之間的比較、整合以及統(tǒng)一存儲奠定基礎(chǔ)； 清洗技術(shù)主要是解決信息冗余的去重以及錯誤和不完整信息的修正、剔除問題； 裝載技術(shù)則是將清洗后的數(shù)字資源按一定的規(guī)則加載至數(shù)據(jù)倉庫，形成數(shù)據(jù)倉庫的物理存儲結(jié)構(gòu)和邏輯存儲結(jié)構(gòu)。,（3）信息源的監(jiān)控與更新 如前所述，數(shù)據(jù)倉庫整合機制是一種物理整合方式，數(shù)據(jù)倉庫本身與信息源在物理上是分離的，因此必須要解決數(shù)據(jù)倉庫與信息源的同步問題。也就是說，必須要監(jiān)控參與整合的信息源的變化，同步更新數(shù)據(jù)倉庫，確保用戶在整合系統(tǒng)中查詢到的是各個信息源中的最新數(shù)字資源。,整合機制M/W整合,mediator/wrapper整合機制是一種虛擬整合方式，在基于這種機制的整合系統(tǒng)中，并不真正存儲需要整合的數(shù)字資源，而是通過mediator和wrapper來實現(xiàn)整合。 mediator和wrapper均為軟件組件，位于用戶和數(shù)據(jù)源之間，mediator負(fù)責(zé)處理用戶提問和查詢結(jié)果的整合，wrapper則負(fù)責(zé)對信息源的連接和具體查詢。,mediator/wrapper整合機制的基本原理如圖所示。,在基于這種機制的整合系統(tǒng)中，用戶按全局模式（Global Schema）進行查詢，mediator接收用戶查詢并將其轉(zhuǎn)換成中間格式，然后提交給相應(yīng)的wrapper，wrapper進一步將中間格式的查詢轉(zhuǎn)化為信息源模式或本地模式（Source/Local Schema）的查詢，并與參加整合的相應(yīng)信息源進行連接，實現(xiàn)對相應(yīng)信息源的查詢，將查詢結(jié)果返回給mediator，mediator對結(jié)果進行處理，以統(tǒng)一的形式提供給用戶。,與數(shù)據(jù)倉庫整合機制相比，mediator/wrapper整合機制能夠有效地保持各個異構(gòu)信息源的自治性，滿足局部的應(yīng)用，并且能夠充分發(fā)揮mediator的作用，滿足全局性應(yīng)用。同時，使用這種機制的整合系統(tǒng)不需要在本地儲存大量的數(shù)字資源，因而能夠適應(yīng)網(wǎng)絡(luò)環(huán)境下信息源高度自治、數(shù)量多、更新變化快等特點，而且，在mediator中引入Ontology等語義相關(guān)技術(shù)后，能夠有效解決知識整合、個性化服務(wù)等問題。 因而，mediator/wrapper整合機制是目前實現(xiàn)數(shù)字資源整合的主流方式。,mediator/wrapper整合機制涉及的主要技術(shù)有： （1）信息源選擇技術(shù) （2）信息抽取技術(shù) （3）查詢處理技術(shù) （4）結(jié)果整合技術(shù) （5）語義整合技術(shù),（1）信息源選擇技術(shù) mediator/wrapper整合機制是一種虛擬整合方式，整合系統(tǒng)本身并不存儲被整合的數(shù)字資源，當(dāng)用戶進行查詢時，如果將用戶查詢不加區(qū)別地發(fā)送給參與整合的所有信息源，必然會導(dǎo)致占用較多的帶寬并增加系統(tǒng)的負(fù)擔(dān)，這就需要利用信息源選擇技術(shù)來確定相關(guān)度高的信息源，以提高整合系統(tǒng)的效率。 信息源選擇技術(shù)主要包括信息源描述和信息源選擇兩個方面，前者是按一定的算法建立對各信息源的描述模型，后者是在信息源描述模型的基礎(chǔ)上，根據(jù)用戶查詢，按一定算法選出相關(guān)度高的信息源作為查詢對象。,（2）信息抽取技術(shù) 信息抽取技術(shù)應(yīng)用于整合系統(tǒng)的目的是將參與整合的半結(jié)構(gòu)化、非結(jié)構(gòu)化信息源中的數(shù)字資源轉(zhuǎn)化成結(jié)構(gòu)性更強、語義更清晰的格式，以提高查詢速度。目前，信息抽取技術(shù)已經(jīng)成為了生成wrapper的關(guān)鍵技術(shù)之一，廣泛應(yīng)用于面向網(wǎng)絡(luò)數(shù)字資源的整合系統(tǒng)中。,（3）查詢處理技術(shù) 查詢處理技術(shù)是mediator/wrapper整合機制中的最重要的技術(shù)之一，是對查詢進行檢驗、重構(gòu)、優(yōu)化的技術(shù)。 用戶對整合系統(tǒng)查詢時，整合系統(tǒng)需首先對用戶查詢進行語法分析和檢驗，確保查詢符合系統(tǒng)全局模式的要求，這部分工作主要由查詢檢驗技術(shù)完成。 此后，整合系統(tǒng)再將經(jīng)過檢驗的查詢按一定的規(guī)則轉(zhuǎn)換為面向不同信息源模式（本地模式）的多個查詢，這個過程稱為查詢重構(gòu)。 整合系統(tǒng)面對的是不同的信息源，由于各個信息源有其自身的特點，例如有不同的傳輸帶寬和傳輸延時，加之當(dāng)前運行情況有不確定性，如當(dāng)前的信息源訪問量是大還是小、信息源是否能很快與整合系統(tǒng)建立連接等等，這就要求整合系統(tǒng)根據(jù)各信息源的當(dāng)前運行情況制定最優(yōu)查詢計劃和查詢調(diào)配方案，并據(jù)此對各信息源進行查詢，這個過程稱為查詢優(yōu)化。,（4）結(jié)果整合技術(shù) 整合系統(tǒng)提供對各信息源的一站式訪問，因而對信息源訪問完畢后需要用mediator對來自不同信息源的結(jié)果信息進行整合及合成，以統(tǒng)一的形式呈現(xiàn)給用戶。 結(jié)果整合主要是對不同信息源的結(jié)果做并操作，并且重新計算結(jié)果的相關(guān)度。 一般地說，對一個信息源進行查詢會形成一個相應(yīng)的查詢子視圖，結(jié)果整合的目的就是將這些子視圖連接起來，形成一個完整的視圖，提供給用戶。,（5）語義整合技術(shù) 隨著整合研究理論和實踐不斷深入，Ontology、語言建模、機器學(xué)習(xí)等語義相關(guān)技術(shù)逐漸應(yīng)用于數(shù)字資源整合。 語義整合技術(shù)被用來在系統(tǒng)運行期間獲取和處理數(shù)字資源的意義及其之間的關(guān)聯(lián)，使整合系統(tǒng)能夠建立用戶提問與各信息源之間的語義聯(lián)系，消除各種數(shù)字資源的異構(gòu)性，并能夠?qū)⒎稚⒋鎯Α⒈憩F(xiàn)形式不同的信息源中的有用資源進行再組織，真正滿足用戶的信息需求，從而提高數(shù)字資源整合的質(zhì)量。,整合機制Agent整合機制,Agent是處于一定的環(huán)境中或者作為環(huán)境的一部分存在的一種軟件系統(tǒng)，它利用傳感器（Sensor）感應(yīng)環(huán)境，獲取相關(guān)信息，然后根據(jù)這些信息和指定的目標(biāo)執(zhí)行相應(yīng)操作。近年來，研究人員將Agent技術(shù)應(yīng)用于整合系統(tǒng)中，形成了Agent整合機制。 Agent整合機制以Agent作為核心模塊，以ontology作為核心技術(shù)，比較適合于整合分布性較強的數(shù)字資源， 其原理是：將整合系統(tǒng)框架中的各個（或主要）功能模塊封裝為Agent，各Agent之間進行通信、交互和合作，從而有效地實現(xiàn)整合。,Agent整合機制的基本原理如圖所示,在這種整合機制中，使用了三類基本的Agent：用戶Agent、資源Agent和代理方Agent。 用戶Agent負(fù)責(zé)維護用戶信息，并提供系統(tǒng)接口，以方便用戶與整合系統(tǒng)進行交互。 資源Agent負(fù)責(zé)對分布式資源進行處理，將數(shù)字資源按照整合系統(tǒng)的表示形式進行描述和轉(zhuǎn)換。 代理方Agent負(fù)責(zé)將從用戶Agent發(fā)出的查詢請求與所要查詢的資源Agent進行匹配,Agent整合機制的優(yōu)點在于能夠有效利用Agent的特性來提高系統(tǒng)的整合效率 首先，Agent的自主性和移動性使得整合系統(tǒng)能夠主動適應(yīng)網(wǎng)絡(luò)環(huán)境的變化，增強了整合系統(tǒng)的靈活性，整合系統(tǒng)能更加適應(yīng)數(shù)字資源分布性及異構(gòu)性的特點。 其次，Agent能夠在非連續(xù)運行的網(wǎng)絡(luò)環(huán)境中運行，因此Agent還可處于移動計算環(huán)境中，這使得各種移動設(shè)備（如PDA等）也能加入使用整合系統(tǒng)的中。Agent機制的這些特點，使其成為了近年來整合研究的熱點之一。,在Agent整合機制中，如何使多個Agent協(xié)調(diào)工作，是采用這種機制的整合系統(tǒng)要解決的關(guān)鍵技術(shù)，具體地說，包括： （1）Agent間的通信技術(shù) （2）Agent協(xié)調(diào)技術(shù),（1）Agent間的通信技術(shù) 為了達到整合的目的，提高整合效率，需要通過Agent通信技術(shù)來實現(xiàn)Agent間的“會話”。 一般來說，Agent間的通信是通過Agent通信語言（ACL）來實現(xiàn)的 Agent通信語言用于描述相應(yīng)Agent的狀態(tài)和屬性、定義Agent可以交換的語法和語義消息。這種包含語義信息的通信語言不僅有利于協(xié)助Agent之間進行互操作，還有利于進行語義層次的整合。,（2）Agent協(xié)調(diào)技術(shù) 在Agent整合機制中，多個Agent作為一個整體而存在，雖然每個Agent的任務(wù)有所區(qū)別，但它們作為一個整體，具有共同的目標(biāo)，那就是實現(xiàn)整合。 因此，在任務(wù)執(zhí)行的過程中，需要應(yīng)用Agent協(xié)調(diào)技術(shù)來管理一個或多個Agent行為之間的從屬關(guān)系，避免執(zhí)行時發(fā)生沖突，所要解決的問題包括組織結(jié)構(gòu)、任務(wù)分解、資源分配、群組決策、沖突發(fā)現(xiàn)與解決等,整合機制P2P整合機制,P2P（Peer-to-peer）是近年來興起的一種新的計算模式，它能夠使PC和其它非服務(wù)器計算實體以對等的方式聯(lián)網(wǎng)，彼此共享對方的資源。其主要特點是支持互連主機的動態(tài)變化。,P2P整合機制的基本原理如圖所示,在這種整合機制中，存在有多個分布式的對等點（peer），每一個對等點都擁有一套自己的數(shù)據(jù)模式（對等點模式），在整合過程中，通過對等點模式與本地資源模式的映射，實現(xiàn)對本地資源的訪問，同時依靠P2P映射來完成對等點之間的模式轉(zhuǎn)換，實現(xiàn)對等點間的通信。通過這種方式，在任何一個對等點中執(zhí)行的查詢也均可以在其他相連的對等點中執(zhí)行，從而達到有效訪問各分布信息源的目的。,P2P整合機制不僅能夠?qū)崿F(xiàn)大規(guī)模數(shù)字資源的集成，而且可以實現(xiàn)Web資源的動態(tài)整合，使整合系統(tǒng)具有強大的擴展性，是一種比較有生命力的整合機制。但由于學(xué)術(shù)界對P2P整合機制的研究處于起步階段，目前理論研究較多，實際應(yīng)用系統(tǒng)數(shù)量還不太多 P2P整合機制的關(guān)鍵技術(shù)是P2P映射以及對等點的發(fā)現(xiàn)與搜索，具體地說包括： （1）P2P映射建立技術(shù) （2）P2P對等點的發(fā)現(xiàn)與搜索技術(shù),（1）P2P映射建立技術(shù) 在P2P整合機制中，由于每個對等點的模式不同，需要在對等點模式之間建立映射 P2P映射的建立一般包括兩個步驟 第一步是模式匹配，即在需匹配的模式間，尋找能夠標(biāo)識出模式中的相同或相似元素的對應(yīng)關(guān)系，這種對應(yīng)關(guān)系一般是指對元素相似性的描述，基本上不包含語義信息； 在第二步中，通過對應(yīng)關(guān)系，利用一系列自動化技術(shù)，在人工干預(yù)下，建立精確的P2P映射。,（2）P2P對等點的發(fā)現(xiàn)與搜索技術(shù) 在整合處理過程中，由于P2P網(wǎng)絡(luò)中存在多個對等點，每個對等點存儲有不同的數(shù)字資源，因此需要針對具體的用戶需求，利用發(fā)現(xiàn)策略、搜索算法等相關(guān)技術(shù)，對P2P資源進行搜索，找出合適的對等點，并通過多個對等點的協(xié)作來集成資源。 目前，在P2P對等點的發(fā)現(xiàn)與搜索中應(yīng)用較多的是分布式哈希列表（DHT）技術(shù)，這種技術(shù)使用分布式哈希算法來解決結(jié)構(gòu)化的分布式存儲問題，DHT中存儲有每個對等點的相關(guān)信息，通過DHT可針對具體需求獲取所需對等點的信息，從而解決了對等點的發(fā)現(xiàn)問題，然后，再根據(jù)基于DHT的路由算法完成對等點的搜索。,信息資源整合,整合機制 整合技術(shù),整合技術(shù),整合的技術(shù)體系 整合的技術(shù)標(biāo)準(zhǔn)總體上劃分為物理層、基礎(chǔ)層與整合三類。根據(jù)整合內(nèi)部的層次關(guān)系，自下而上將整合層細(xì)劃為3層,物理層 物理層指系統(tǒng)運行的硬件、軟件環(huán)境，解決如何為應(yīng)用系統(tǒng)提供統(tǒng)一的支撐環(huán)境，支持應(yīng)用系統(tǒng)的運作。 物理層協(xié)議涉及各種網(wǎng)絡(luò)和通信技術(shù)，包括網(wǎng)絡(luò)的一些基礎(chǔ)協(xié)議，如HTTP、TCP/IP等，以及其他相關(guān)的以太網(wǎng)、骨干網(wǎng)、廣域網(wǎng)互聯(lián)的技術(shù)標(biāo)準(zhǔn)與規(guī)范等。 對于不提供更高層技術(shù)協(xié)議的數(shù)字資源，也可以在這個層次上進行整合，例如，可基于HTTP用仿真的方法來整合數(shù)字資源。,基礎(chǔ)層 基礎(chǔ)層是位于物理互連的網(wǎng)絡(luò)協(xié)議之上，用于標(biāo)準(zhǔn)化、規(guī)范化描述數(shù)據(jù)，為更上層的數(shù)據(jù)交換提供基礎(chǔ)性支持的標(biāo)準(zhǔn)、規(guī)范。 基礎(chǔ)性協(xié)議標(biāo)準(zhǔn)又可以從性質(zhì)劃分為數(shù)據(jù)描述層面和數(shù)據(jù)訪問兩個層面。前者主要包括元數(shù)據(jù)、XML、RSS，后者主要包括開放數(shù)據(jù)庫互連標(biāo)準(zhǔn)（ODBC）等。 在數(shù)據(jù)描述層面內(nèi)部，RSS具有提供內(nèi)容聚合的功能，是為實現(xiàn)內(nèi)容聚合而制定的一種信息描述、組織的規(guī)范，但它也具有資源發(fā)現(xiàn)、發(fā)布的功能，更是一種新形式的描述規(guī)則。因此，將RSS歸入基礎(chǔ)的描述層面的標(biāo)準(zhǔn)。準(zhǔn)確的說，RSS本身也是基于XML格式的，其實是XML成功應(yīng)用的一個典型。從這一層總體來看，這些基礎(chǔ)的標(biāo)準(zhǔn)、規(guī)范（除了RSS之外），大多數(shù)都不是專門為