利用主題圖實現(xiàn)城市圈電子政務系統(tǒng)數(shù)據(jù)整合模型的構建.ppt

1、利用主題圖實現(xiàn)城市圈電子政務系統(tǒng)數(shù)據(jù)整合模型的構建夏立新教授、博士生導師 華中師范大學信息管理系,2,Contents,5 展望,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,1 問題提出的背景,3 利用主題圖實現(xiàn)數(shù)據(jù)整合的整體思路,3,1 問題提出的背景,1.問題提出的背景： 1.1什么是城市圈？ 1.2城市圈間多電子政務系統(tǒng)間數(shù)據(jù)結構的特點 1.3利用主題圖進行城市圈電子政務系統(tǒng)數(shù)據(jù)整合的必要性,4,1 問題提出的背景,5,1 問題提出的背景,6,1 問題提出的背景,7,1 問題提出的背景,傳統(tǒng)數(shù)據(jù)庫合并方法雖然可以解決異構數(shù)據(jù)合并問題，但是無法很好解決

2、語義異構問題，而主題圖的應用解決了這一問題。,1.3 利用主題圖進行城市圈電子政務系統(tǒng)數(shù)據(jù)整合 的必要性,8,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,2.1 數(shù)據(jù)庫與主題圖之間轉換的可行性設想 2.2 關系型數(shù)據(jù)庫 2.3 數(shù)據(jù)庫與主題圖之間轉換的可行性分析 2.4 數(shù)據(jù)庫與主題圖之間轉換可行性的實例,9,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,一個結構完整的電子政務系統(tǒng)至少應該包括用戶層、應用層、數(shù)據(jù)層三個層次。利用主題圖技術對多電子政務系統(tǒng)數(shù)據(jù)整合是在各政務系統(tǒng)的數(shù)據(jù)層和應用層之間增加了一個第三方主題圖索引層，如下圖所示。 在該層中首先從各RDBMS提取數(shù)據(jù)，利用主題圖構成一個結構化的語義

3、索引。應用層根據(jù)用戶層的操作發(fā)出對數(shù)據(jù)的檢索請求，索引層首先響應并對其進行初步的語義檢索處理，然后根據(jù)檢索結果指向實際數(shù)據(jù)或者為RDBMS提供經過數(shù)據(jù)整理和語義加工后的檢索關鍵詞，然后將最終檢索結果返回用戶層。,2.1 數(shù)據(jù)庫與主題圖之間轉換的可行性設想,10,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,主題圖索引層,2.1 數(shù)據(jù)庫與主題圖之間轉換的可行性設想,11,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,12,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,13,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,表1 單位信息,表2 職務信息,表3 員工信息,14,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,根據(jù)主題

4、圖TAO三要素的原理，可以對三個表格信息進行分析，識別出數(shù)據(jù)信息中的主題(Topic)、聯(lián)系(Association)與事件(Occurrence)。將識別出的信息分別用XTM規(guī)定的元素節(jié)點進行描述，生成XTM文檔，分別形成三個子主題圖。 由于主題圖具有良好的可擴展性與可融合性，因此可以在全局模式的指導下，對建立的三個子主題圖進行相似度分析，對高相似度或者一致的主題按一定規(guī)則進行合并，把子主題圖按照自底而上的模式合并形成全局主題圖。這種方式可以方便實現(xiàn)底層數(shù)據(jù)的增、刪、修改甚至數(shù)據(jù)庫庫結構的變化。,2.3 數(shù)據(jù)庫與主題圖之間轉換可行性的實例,15,2 利用主題圖實現(xiàn)數(shù)據(jù)整合的可行性分析,2.3

5、 數(shù)據(jù)庫與主題圖之間轉換可行性的實例,主題圖轉換及合并,16,3 利用主題圖實現(xiàn)數(shù)據(jù)整合的整體思路,在深入探討主題圖在知識組織、信息資源定位等方面優(yōu)勢的基礎上，針對數(shù)據(jù)結構特性，構建基于主題圖的城市圈電子政務系統(tǒng)數(shù)據(jù)整合模型。 該模型通過對異構數(shù)據(jù)庫進行逆向工程，利用ER模型及OAI技術生成相關主題圖，并利用主題圖的可融合性進行主題圖合并，從而實現(xiàn)異地異構電子政務系統(tǒng)間數(shù)據(jù)的整合，支持跨政府部門的業(yè)務協(xié)同，增強電子政務系統(tǒng)集成能力和協(xié)調能力。該方法具有計算量相對較小，經濟成本低等優(yōu)點，同時可保證數(shù)據(jù)整合的語義性、可擴展性和靈活性。,17,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,多系統(tǒng)間數(shù)據(jù)整

6、合的基礎在于對異構數(shù)據(jù)庫的統(tǒng)一化，而對數(shù)據(jù)的交互操作是模型設計的關鍵。 本模型利用OAI技術形成元數(shù)據(jù)集合，從而實現(xiàn)異構數(shù)據(jù)的標準化；通過對各政務系統(tǒng)的DBMS分別進行逆向工程，在元數(shù)據(jù)倉儲的基礎上按照相關規(guī)則生成局部子主題圖并遵循一定原則進行合并，利用生成的全局主題圖實現(xiàn)數(shù)據(jù)的交互操作。,18,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,4.1 模型概述 4.2 ER模型提取 4.3 OAI元數(shù)據(jù)收割模塊 4.4 主題圖生成與合并,19,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,20,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,21,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,22,4 利用主題圖

7、實現(xiàn)數(shù)據(jù)整合模型的構建過程,23,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,ER Generator通過JDBC對RDBMS進行連接以后，得到一個Connection對象，可以從這個對象獲得RDBMS的各種信息。獲取這些信息的方法都是通過ResultSetMetaDataa類和Database Metadata類實現(xiàn)，使用ResultSetMetaData獲得數(shù)據(jù)表的信息，使用Database Metadata獲得數(shù)據(jù)庫的信息，主要步驟如下： 1)建立數(shù)據(jù)庫連接 2)獲取實體屬性信息 3)獲取實體關系信息,4.2 ER模型提取,24,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,1)建立數(shù)據(jù)庫連接

8、 Class.forName(oracle.jdbc.driver.OracleDriver); String url=jdbc:oracle:thin:202.114.37.152:1521:oemrep; String user=usernm; String password=huashi; Connection conn=DriverManager.getConnection(url,user,password); 使用ResultSetMetaData類和DataBaseMetaData類，需要使用JDBC API與數(shù)據(jù)庫連接。首先加載連接數(shù)據(jù)庫的JDBC驅動程序,然后調用java.s

9、ql包中DriverManager類的getConnection方法,獲得一個Connection對象。此Connection對象是java .sql包中接口Connection的一個實現(xiàn)，表示與該數(shù)據(jù)庫的一次連接。,4.2 ER模型提取,25,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,2)獲取實體屬性信息 Statement smt=conn.createStatement(); ResultSet rs=st.executeQuery(SELECT * FROM myTableName); ResultSetMetaData rsMetaData=rs.getMetaData(); int

10、 numberOfColumns=rsMetaData.getColumnCount(); System.out.println(resultSet MetaData column Count=+ numberOfColumns); for (int i=1;i=numberOfColumns;i+) System.out.println(column MetaData); System.out.println(column number+i); System.out.println(rsMetaData.getTableName(i); ER圖中的實體屬性是通過列（Column）來表示，根據(jù)

11、對列的讀取可以獲取實體的屬性信息。ResultSetMetaData類提供getColumns方法獲取所有數(shù)據(jù)列信息的結果集。,4.2 ER模型提取,26,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,3)獲取實體關系信息 DatabaseMetaData dbMetaData=conn.getMetaData(); ResultSet rs=dbMetaData.getImportedKeys(conn.getCatalog(),null, myTableName); while(rs.next() String fkTableName=rs.getString(FKTABLE_NAME); S

12、tring fkColumnName=rs.getString(FKCOLUMN_NAME); int fkSequence=rs.getInt(KEY_SEQ); System.out.println(getImportedKeys():fkTableName=+fkTableName); System.out.println(getImportedKeys():fkColumnName=+fkColumnName); System.out.println(getImportedKeys():fkSequence=+fkSequence); ER圖中的關系通過FK來表示，根據(jù)程序對FK的讀取

13、，可以獲取到實體間的關系。DatabaseMetaData類提供getImportedKeys方法得到已經references到它表的字段。通過這個接口可以很方便的得到有關FK的信息 。,4.2 ER模型提取,27,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,由于各電子政務系統(tǒng)RDBMS中數(shù)據(jù)信息的異構特征，該模型采用OAI元數(shù)據(jù)收割技術來進行元數(shù)據(jù)提取。 本模型中利用OAI技術進行跨庫元數(shù)據(jù)收割的結構如下圖所示。該模塊由三個步驟組成： 1）首先將各系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)資源處理成數(shù)字對象存儲在數(shù)字倉儲中，建立元數(shù)據(jù)庫，然后對元數(shù)據(jù)進行結構化組織，從而形成數(shù)據(jù)提供者(DP，Data Provider

14、)，為OAI元數(shù)據(jù)收割提供元數(shù)據(jù)信息。 2）元數(shù)據(jù)收集。利用元數(shù)據(jù)收集器對數(shù)據(jù)提供者提供的元數(shù)據(jù)進行收集。 3）對收集的元數(shù)據(jù)進行規(guī)范化處理：元數(shù)據(jù)過濾；元數(shù)據(jù)格式轉換；元數(shù)據(jù)索引。經過上述規(guī)范化處理后形成元數(shù)據(jù)集合。,4.3 OAI元數(shù)據(jù)收割模塊,28,四 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,OAI元數(shù)據(jù)收割,4.3 OAI元數(shù)據(jù)收割模塊,29,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,30,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,主題圖自動生成,4.4 主題圖生成與合并,31,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,4.4.2 主題圖合并模塊 主題圖遵循的合并原則有：當兩個主題被合并

15、，代表同一事物的主題和聯(lián)系將被合并，并刪除重復項。當兩個主題被合并，結果是一個主題，其特征元素是原來兩個元素的并集。 兩個主題滿足下列條件之一則視為描述同一概念：兩者具有一個或多個相同的主題提示符。兩者在同一范圍定義中有相同的主題提示符。它們是對同一個可尋址事物的具體化。,4.4 主題圖生成與合并,32,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,基于以上原則，本文采用類程序語言來描述在主題圖的合并采用的三種方法：主題合并；屬性合并；關聯(lián)合并。 主題合并： IF (主題a in 主題圖A)與(主題b in 主題圖B)一致 THEN 生成 (新主題c in 主題圖C) ELSE 復制(主題a in 主題圖A) into 主題圖C 復制(主題b in 主題圖B) into 主題圖C ENDIF 其中主題c應該是與主題a和主題b一致的新主題，主題圖C是合并后的新主題圖。,4.4 主題圖生成與合并,33,4 利用主題圖實現(xiàn)數(shù)據(jù)整合模型的構建過程,屬性合并： IF (屬性p of 主題a)與(屬性q of 主題b)一致 THEN 生成(屬性p of 主題C) OR 生成(屬性q of 主題C) ELSEIF (屬性p of 主題a)與(屬性q of 主題b) NOT一致 THEN 生成(屬性p of 主題C)AND生成(屬性q of 主題C) ENDIF,4.4 主題圖生成與合