一種多數(shù)據(jù)源的數(shù)據(jù)倉庫數(shù)據(jù)填充方案

一種多數(shù)據(jù)源的數(shù)據(jù)倉庫數(shù)據(jù)填充方案

1控制數(shù)據(jù)的市/數(shù)據(jù)倉庫inhou搜索行支持行政決策過程、主題、集成、數(shù)據(jù)存儲(chǔ)和永久性數(shù)據(jù)集。在數(shù)據(jù)倉庫構(gòu)建時(shí),可以采用數(shù)據(jù)集市/數(shù)據(jù)倉庫、數(shù)據(jù)驛站/數(shù)據(jù)集市/數(shù)據(jù)倉庫,或者是分布式數(shù)據(jù)集市/數(shù)據(jù)倉庫等結(jié)構(gòu)。不論是什么樣的體系結(jié)構(gòu),其最外層的數(shù)據(jù)總是要從其它形式的數(shù)據(jù)源獲取的。對于一個(gè)具體的企業(yè)或單位來說,信息化程度決定了其各類數(shù)據(jù)的管理方式。比如有的企業(yè)信息化水、平較高,已經(jīng)建立了業(yè)務(wù)數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)和客戶數(shù)據(jù)的收集和存儲(chǔ)機(jī)制,而有的企業(yè)則還停留在或部分地停留早“紙和筆”的時(shí)代。這樣在獲取數(shù)據(jù)對數(shù)據(jù)倉庫進(jìn)行填充時(shí),主要的數(shù)據(jù)來源是聯(lián)機(jī)事務(wù)處理(OLTP)數(shù)據(jù)庫的數(shù)據(jù),又不能僅僅是OLTP數(shù)據(jù)庫的數(shù)據(jù),也要考慮從日常上作的相關(guān)文檔中獲取,或從基于Web模式的信息系統(tǒng)中獲取,等等。因此,為了保持?jǐn)?shù)據(jù)倉庫數(shù)據(jù)的全面性、完整性和數(shù)據(jù)倉庫的質(zhì)量.如何從不同數(shù)據(jù)源有效地提取數(shù)據(jù)來填充數(shù)據(jù)倉庫,則是數(shù)據(jù)倉庫構(gòu)建時(shí)必須要解決的問題。2多數(shù)據(jù)源數(shù)據(jù)填充方案2.1減少無效數(shù)據(jù)的處理數(shù)據(jù)的填充是數(shù)據(jù)倉庫構(gòu)建過程中較為復(fù)雜的個(gè)環(huán)節(jié),需要完成的工作有:(1)數(shù)據(jù)采集:從業(yè)務(wù)處理系統(tǒng)中提取所需要的數(shù)據(jù)。在從數(shù)據(jù)源提取數(shù)據(jù)之前,確保數(shù)據(jù)的完整有效是非常必要的。對數(shù)據(jù)的任何變化和修改應(yīng)該足在其被填入數(shù)據(jù)倉庫之前,不應(yīng)該在數(shù)據(jù)倉庫中對數(shù)據(jù)進(jìn)行修改,所以對數(shù)據(jù)進(jìn)行檢驗(yàn),保證數(shù)據(jù)的有效性是必須要做的工作如果發(fā)現(xiàn)有無效的數(shù)據(jù),應(yīng)該盡可能找出錯(cuò)誤的原因并更正它。(2)數(shù)據(jù)清理:去除不同系統(tǒng)中數(shù)據(jù)的不一致性。有時(shí)候?yàn)榱吮ＷC數(shù)據(jù)輸入的準(zhǔn)確性,需要用一個(gè)簡單的算法來處理數(shù)據(jù)。在復(fù)的情況下,可以調(diào)入人工智能的一些子程序把輸入的數(shù)據(jù)清理為數(shù)據(jù)倉庫可接受的輸出形式。(3)數(shù)據(jù)轉(zhuǎn)換:把數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)倉庫所需要的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)類型。數(shù)據(jù)的填充涉及到各種關(guān)系數(shù)據(jù)庫和ODBC數(shù)據(jù)源之間的數(shù)據(jù)轉(zhuǎn)換,以及文本文件和Web頁面文件等。最初的轉(zhuǎn)換是通過程序手工完成的,這樣來所有的數(shù)據(jù)轉(zhuǎn)移規(guī)則都隱藏在程序的內(nèi)部,不利于系統(tǒng)的進(jìn)一步改進(jìn)和擴(kuò)展。現(xiàn)在可以使用廠商的轉(zhuǎn)換工具,例如IBM公司的Visualwarehouse、CA公司的PlatinumDecisionBase等,也可以根據(jù)具體要求開發(fā)轉(zhuǎn)換工具。(4)數(shù)據(jù)集成:把業(yè)務(wù)處理系統(tǒng)中的明細(xì)數(shù)據(jù)、其它方面的數(shù)據(jù)聚合為匯總的數(shù)據(jù)。(5)數(shù)據(jù)加載:把完成上述處理過的數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。2.2數(shù)據(jù)輸入方案根據(jù)數(shù)據(jù)倉庫數(shù)據(jù)填充的要求和多數(shù)據(jù)源的特點(diǎn),本文提出了一種數(shù)據(jù)倉庫多數(shù)據(jù)源的填充方案。2.2.1這個(gè)團(tuán)隊(duì)的腳本數(shù)據(jù)倉庫的數(shù)據(jù)填充涉及到數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)載入等過程,其流程如圖1。2.2.2數(shù)據(jù)庫模塊設(shè)計(jì)(1)聯(lián)機(jī)事務(wù)處理(OLTP)數(shù)據(jù)庫模塊:是正在使用的各種業(yè)務(wù)數(shù)據(jù)庫系統(tǒng),具體的可以是SQLServer、Oracle、IBM的DB2或Sybase數(shù)據(jù)庫等。(2)文本文檔模塊:與數(shù)據(jù)倉庫系統(tǒng)主題相關(guān)的文本文件數(shù)據(jù)。(3)Web頁面數(shù)據(jù)源模塊:與數(shù)據(jù)倉庫系統(tǒng)主題相關(guān)的Web頁面數(shù)據(jù)。(4)數(shù)據(jù)轉(zhuǎn)換(DT)模塊:提供數(shù)據(jù)傳輸和轉(zhuǎn)換服務(wù)。此模塊又可分為數(shù)據(jù)庫廠商的DT工具模塊、文本文檔DT模塊和Web頁面數(shù)據(jù)源DT模塊。(5)中間數(shù)據(jù)庫模塊:此模塊可以設(shè)置數(shù)據(jù)庫的增量更新,并叮以在中間數(shù)據(jù)庫中建立中間表,實(shí)現(xiàn)數(shù)據(jù)表示方法的轉(zhuǎn)換。如Oracle數(shù)據(jù)庫中時(shí)間類型一般是整型,而在SQLServer2000數(shù)據(jù)庫中,時(shí)間類型一般為Datetime型,這時(shí)就需要建立中間表,將整型時(shí)間轉(zhuǎn)換為Datetime型時(shí)間。(6)增量更新模塊:實(shí)現(xiàn)數(shù)據(jù)倉庫中數(shù)據(jù)立方的增量更新,方便數(shù)據(jù)倉庫的數(shù)據(jù)管理,可以做到對數(shù)據(jù)倉庫的修改不是在數(shù)據(jù)倉庫的內(nèi)部數(shù)據(jù)庫中進(jìn)行。(7)數(shù)據(jù)倉庫:數(shù)據(jù)倉庫系統(tǒng)的核心部分,各種數(shù)據(jù)源的數(shù)據(jù)加工后被存儲(chǔ)在數(shù)據(jù)倉庫中,供決策人員決策分析使用。2.3基于op的otp數(shù)據(jù)源采集方案數(shù)據(jù)采集時(shí),數(shù)據(jù)源可能主要來自于各種OLTP系統(tǒng),部分來自于非OLTP系統(tǒng)的數(shù)據(jù)源,如各種格式的文本文件、Web頁面等。在本文提出的填充方案中,把各種OLTP數(shù)據(jù)源(即數(shù)據(jù)庫數(shù)據(jù)源)采集分為同質(zhì)數(shù)據(jù)庫數(shù)據(jù)源和非同質(zhì)數(shù)據(jù)庫數(shù)據(jù)源的采集;對非OLTP數(shù)據(jù)源(即非數(shù)據(jù)庫數(shù)據(jù)源),主要考慮了文本文件數(shù)據(jù)和Web頁面數(shù)據(jù)的采集。2.3.1數(shù)據(jù)庫數(shù)據(jù)源(1)數(shù)據(jù)安全功能對于同質(zhì)的數(shù)據(jù)源數(shù)據(jù),大部分?jǐn)?shù)據(jù)庫廠商提供了將數(shù)據(jù)從源數(shù)據(jù)庫移入數(shù)據(jù)倉庫的工具,根據(jù)所用的數(shù)據(jù)庫系統(tǒng),可以選擇與其相應(yīng)的移入工具。如IBM提供的VisualWarehouse(VW)是一個(gè)功能很強(qiáng)的集成環(huán)境,可用于數(shù)據(jù)抽取、轉(zhuǎn)換、裝載和調(diào)度,OracleWarehouseBuilder集成了數(shù)據(jù)建模、數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)移和裝載、聚合等功能,Sybase公司的PowerStage、ReplicationServer、CarletonPASSPORT是其相應(yīng)的數(shù)據(jù)抽取與轉(zhuǎn)換工具,Microsoft公司的數(shù)據(jù)傳輸服務(wù)DTS(DataTransformationServices)提供了數(shù)據(jù)輸入/輸出和自動(dòng)調(diào)度等功能。此外其它數(shù)據(jù)庫廠家也提供了相應(yīng)的產(chǎn)品工具。(2)a平臺的as-b、c這部分?jǐn)?shù)據(jù)的轉(zhuǎn)換,數(shù)據(jù)庫廠商也有相應(yīng)的轉(zhuǎn)換工具,與同質(zhì)數(shù)據(jù)庫轉(zhuǎn)換相同,可以使用廠商的工具方便地轉(zhuǎn)換異質(zhì)數(shù)據(jù)庫的數(shù)據(jù)。如Microsoft公司的數(shù)據(jù)傳輸服務(wù)DTS就提供了異質(zhì)數(shù)據(jù)庫的數(shù)據(jù)轉(zhuǎn)換功能。但有的轉(zhuǎn)換可能僅限于Windows平臺,如ODBC、BDE等。有些廠商提供的工具,如Oracle的網(wǎng)關(guān)技術(shù)實(shí)現(xiàn)了對大部分?jǐn)?shù)據(jù)源的透明訪問,但它是單獨(dú)提供的。在實(shí)際工程中也可以利用JavaJDBC強(qiáng)大的數(shù)據(jù)庫連接功能,在功能上實(shí)現(xiàn)與Oracle網(wǎng)關(guān)類似的產(chǎn)品。如果使用Oracle的網(wǎng)關(guān)技術(shù)產(chǎn)品,在實(shí)際操作時(shí),利用數(shù)據(jù)庫廠商提供的連接工具(JDBCDriver)即可實(shí)現(xiàn)。具體步驟是在源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫系統(tǒng)上分別安裝各自的驅(qū)動(dòng)器(Driver)后,在程序中指明源和目標(biāo)驅(qū)動(dòng)器、URL地址、用戶名、口令,建立連接。若在源和目標(biāo)數(shù)據(jù)庫間只進(jìn)行復(fù)制等簡單的數(shù)據(jù)提取任務(wù),程序邏輯極易實(shí)現(xiàn),參照任一個(gè)JDBC數(shù)據(jù)庫應(yīng)用即可完成。由于Java的平臺無關(guān)特性,程序尤其適用于非Windows平臺下異質(zhì)數(shù)據(jù)庫數(shù)據(jù)源的采集。2.3.2非數(shù)據(jù)庫數(shù)據(jù)源(1)基于腳本描述的文本轉(zhuǎn)換工具設(shè)計(jì)由于計(jì)算機(jī)的使用是從無到有,逐漸發(fā)展起來的,數(shù)據(jù)倉庫所需的數(shù)據(jù)不一定都來自現(xiàn)有的數(shù)據(jù)庫。通常情況下,有許多文本文件的信息需要導(dǎo)入數(shù)據(jù)庫,這些文本文件的格式有的是能被數(shù)據(jù)導(dǎo)入工具直接導(dǎo)入的格式,而有的可能是一些復(fù)雜的格式。目前存在的簡單文本文件,其格式主要有SYLK(符號連接)格式、CSV(逗號分隔文件)等,對這些固定格式的文件,可以使用有關(guān)ODBC驅(qū)動(dòng)工具將其轉(zhuǎn)入數(shù)據(jù)倉庫中,也可以針對具體文本,編寫簡單的程序代碼來完成數(shù)據(jù)的轉(zhuǎn)換。對于具有復(fù)雜格式的文本文件,可以使用現(xiàn)有的數(shù)據(jù)抽取轉(zhuǎn)換工具中稱為代碼生成工具的產(chǎn)品,利用這些產(chǎn)品生成編譯代碼(如C語言代碼或Java代碼),從復(fù)雜的文本文件數(shù)據(jù)源抽取數(shù)據(jù)倉庫所需要的數(shù)據(jù)信息,即可以設(shè)計(jì)基于腳本描述的文本轉(zhuǎn)換工具程序。程序可以由腳本描述語言、腳本解釋程序、提取控制程序3部分組成。腳本描述語言實(shí)現(xiàn)了對數(shù)據(jù)源及信息格式的描述,對字符串進(jìn)行分割處理、設(shè)置數(shù)據(jù)從數(shù)據(jù)源到目標(biāo)數(shù)據(jù)庫的轉(zhuǎn)換規(guī)則,以及對關(guān)系型數(shù)據(jù)庫表的Insert操作等的描述和基本的流程控制描述。腳本解釋程序則實(shí)現(xiàn)對腳本的解釋,并生成可執(zhí)行的提取、連接代碼。提取控制程序負(fù)責(zé)對整個(gè)連接、提取過程的控制以及與系統(tǒng)其它部分的通信。(2)通過rss檔案的檢查數(shù)據(jù),將數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)倉庫在Web頁面中有大量豐富的文本、圖片、聲音、圖像等數(shù)據(jù),這些數(shù)據(jù)多存在于HTML文件中,沒有嚴(yán)格的結(jié)構(gòu)及類型定義,被稱為半結(jié)構(gòu)化的數(shù)據(jù)。在Web中主要存在兩種結(jié)構(gòu):地種是超文本結(jié)構(gòu),依據(jù)此結(jié)構(gòu),邏輯上相關(guān)聯(lián)的結(jié)構(gòu)信息在物理上被鏈接,利用標(biāo)簽?zāi)軌驅(qū)⑽募约皥D像的區(qū)域鏈接到本地計(jì)算機(jī)或Internet其它地力的文檔中去;另一種是由HTML文本特點(diǎn)決定的文本組織結(jié)構(gòu),通過HTML語言,用不同的力法將數(shù)據(jù)組織在文本中。例如給定一個(gè)HTML頁,通過HTML標(biāo)簽容易識別出該頁面的標(biāo)題(title)或一些復(fù)雜結(jié)構(gòu),如表格(table)、項(xiàng)目列表(list)等。對于Web頁面數(shù)據(jù)源的數(shù)據(jù)填充,用戶感興趣的往往是這此半結(jié)構(gòu)化的數(shù)據(jù)。在一個(gè)具體的HTML文檔中,一般情況下,數(shù)據(jù)所在的行是些沒有完整語法結(jié)構(gòu)的語句片段,從這種文檔中提取數(shù)據(jù)不能簡單套用傳統(tǒng)的信息提取方法。因?yàn)閃eb半結(jié)構(gòu)數(shù)據(jù)的特點(diǎn)給Web頁面數(shù)據(jù)的提取帶來了先天的困難,對此可以將原先用HTML寫的Web數(shù)據(jù)轉(zhuǎn)化為XML(ExtensibleMarkupLanguage)形式的Web數(shù)據(jù),通過XML瀏覽器能對數(shù)據(jù)進(jìn)行排序和過濾,能根據(jù)樣式表按用戶的特定喜好把數(shù)據(jù)表示出來,從而利用XML優(yōu)勢構(gòu)建填充數(shù)據(jù)倉庫數(shù)據(jù)。XML是近兒年發(fā)展起來的新代標(biāo)記語言。與HTML標(biāo)記語言比較,XML有兒個(gè)明顯的優(yōu)點(diǎn):①HTML語言不僅可以表達(dá)數(shù)據(jù)的內(nèi)容,同時(shí)可以表達(dá)數(shù)據(jù)的結(jié)構(gòu);②針對特定時(shí)應(yīng)用,開發(fā)人員可以創(chuàng)建特定的數(shù)據(jù)類型;③使用XML語言非常有助十結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的集成?，F(xiàn)在已出現(xiàn)很多XML標(biāo)記語言工具,比如FrameMaker+SGML(用于編輯和排版)、ADEPTEdit(用于內(nèi)容管理的編輯器)、Xmetal)友好的XML編輯器)、XMLStyle圖形化的XSL樣式表編輯器)等,都可以根據(jù)系統(tǒng)需要定義XML的樣式,將HTML文檔轉(zhuǎn)化為XML文檔。在數(shù)據(jù)倉庫填允時(shí),考慮到這些XML文檔不僅僅包括我們感興趣的數(shù)據(jù),同時(shí)也包括了數(shù)據(jù)的結(jié)構(gòu)信息和其它相關(guān)的元數(shù)據(jù),因此把XML數(shù)據(jù)加載到一個(gè)數(shù)據(jù)倉庫中需要解決兩個(gè)問題。是把XML的語義映射為合適的關(guān)系語義,例如把XML中的個(gè)人元素類型映射為數(shù)據(jù)倉庫中的個(gè)人表單。一是怎樣把層次結(jié)構(gòu)的XML數(shù)據(jù)映射為平面關(guān)系,即平面化XML數(shù)據(jù),以便把它們存儲(chǔ)在數(shù)據(jù)倉庫中。解決這兩個(gè)問題需要重構(gòu)XML數(shù)據(jù)。般情況重構(gòu)XML數(shù)據(jù)可采用如下方法:是自定義腳本,這是最容易的方法,但不是最普遍的方法,它可以創(chuàng)建個(gè)自定義程序來讀取和解析XML文檔,并且把數(shù)據(jù)插入到合適的表單中。是采用受限的結(jié)構(gòu),可以使用XSL樣式表把XML傳輸?shù)揭粋€(gè)結(jié)構(gòu)中,這個(gè)結(jié)構(gòu)類似于關(guān)系型數(shù)據(jù)庫中的平面關(guān)系,通過使用合適的值和標(biāo)識符來代替嵌入的元素,并且把它們的內(nèi)容存放在另一個(gè)將要?jiǎng)?chuàng)建的文檔中。在具體轉(zhuǎn)換時(shí),可以使用XSL樣式表把XML數(shù)據(jù)轉(zhuǎn)換為個(gè)由“記錄”和“字段”標(biāo)記組成的XML文檔.“記錄”和“字段”標(biāo)記包括了要被加載表的信息和其它指定加載的元數(shù)據(jù),然后使用解析工具把“記錄/字段”數(shù)據(jù)導(dǎo)入到數(shù)據(jù)倉庫中。3rosoft數(shù)據(jù)概述本文提出的數(shù)據(jù)填充方案已經(jīng)在個(gè)銀行數(shù)據(jù)倉庫系統(tǒng)中使用。該系統(tǒng)是利用Microsoft公同的SQLServer2000構(gòu)建的數(shù)據(jù)倉庫系統(tǒng)。SQLServer2000是套完全的數(shù)據(jù)庫和數(shù)據(jù)分析系統(tǒng),用戶可以快速創(chuàng)建面向上題的、可擴(kuò)展的電了商務(wù)和數(shù)據(jù)倉庫解決方案。Microsoft將聯(lián)機(jī)分析處理(OLAP)功能集成到MicrosoftSQLServer中,提供可擴(kuò)充的填于COM(ComponetObjectModel)的OLAP接口,可以利用MicrosoftOffice2000套件中的Access和Excel作為數(shù)據(jù)展現(xiàn)工具以及支持第三方數(shù)據(jù)展現(xiàn)工具。在數(shù)據(jù)轉(zhuǎn)換和填充方面,數(shù)據(jù)傳輸服務(wù)DTS工具提供了數(shù)據(jù)輸入/輸出和自動(dòng)調(diào)度的功能,在數(shù)據(jù)傳輸過程中,可以完成有關(guān)數(shù)據(jù)的驗(yàn)證、清洗以及轉(zhuǎn)換等操作。我們在具體操作時(shí),對來源于數(shù)據(jù)庫的數(shù)據(jù)直接使用數(shù)據(jù)傳輸服務(wù)DTS工具,完成從OLTP數(shù)據(jù)庫的數(shù)據(jù)到SQLServer2000數(shù)據(jù)倉庫的填充:對復(fù)雜的文本數(shù)據(jù)源,則通過編寫的腳本程序,完成數(shù)據(jù)的格式轉(zhuǎn)換進(jìn)行填充:對We