基于數(shù)據(jù)倉庫技術(shù)的決策支持系統(tǒng)研究設(shè)計

1、基于數(shù)據(jù)倉庫技術(shù)的決策支持系統(tǒng)研究設(shè)計    關(guān)鍵詞數(shù)據(jù)倉庫 數(shù)據(jù)挖掘 知識庫 知識發(fā)現(xiàn) 決策支持系統(tǒng) 決策支持系統(tǒng)(DecisionSupportSystem,DSS)的概念于20世紀(jì)70年代初由美國MichaelS.scottMorton在管理決策系統(tǒng)一文首次提出,20世紀(jì)80年代中期引入我國。20多年來,決策分析系統(tǒng)已在理論研究、系統(tǒng)開發(fā)和實際應(yīng)用諸方面取得了令人矚目的進(jìn)步,并呈現(xiàn)出積極的多元化的發(fā)展態(tài)勢。 隨著社會經(jīng)濟(jì)的發(fā)展和多樣化,決策者為了能夠盡快調(diào)整策略,需要一個決策系統(tǒng)以輔助解決各方面的問題,也就是說需要一個能夠自動進(jìn)行調(diào)整來滿足決策者需

2、求的系統(tǒng)。本文提出在數(shù)據(jù)倉庫基礎(chǔ)上建立一個決策支持系統(tǒng)。 一、數(shù)據(jù)倉庫技術(shù) 數(shù)據(jù)倉庫(DataWarehouse,DW)技術(shù)是在傳統(tǒng)數(shù)據(jù)庫技術(shù)的基礎(chǔ)上發(fā)展起來的,是現(xiàn)代計算機(jī)系統(tǒng)信息處理技術(shù)的熱點之一,它的出現(xiàn)給決策支持系統(tǒng)的發(fā)展注人了新的活力。與傳統(tǒng)數(shù)據(jù)庫面向OLTP進(jìn)行數(shù)據(jù)組織的特點相比,數(shù)據(jù)倉庫的數(shù)據(jù)具有面向主題的、集成的、隨時間不斷變化的、不可更新的四個基本特征。數(shù)據(jù)倉庫的主要功能是把決策所需的信息從原始業(yè)務(wù)操作數(shù)據(jù)中分離出來,把分散的、難以利用的原始業(yè)務(wù)操作數(shù)據(jù)轉(zhuǎn)化為集中統(tǒng)一、隨時可用的信息,同時提高訪問和處理數(shù)據(jù)的速度和效率。 數(shù)據(jù)倉庫系統(tǒng)不是一個簡單的由各種數(shù)據(jù)合并而成的超大型數(shù)

3、據(jù)庫,其建立也不是要取代傳統(tǒng)數(shù)據(jù)庫,它應(yīng)建立在一個較全面和完善的信息應(yīng)用的基礎(chǔ)上,為高層決策分析提供支持。數(shù)據(jù)倉庫是一種專為聯(lián)機(jī)分析應(yīng)用和決策支持系統(tǒng)提供數(shù)據(jù)源和決策工具的結(jié)構(gòu)化數(shù)據(jù)環(huán)境,通過運(yùn)用其中的數(shù)據(jù)與信息,企業(yè)能獲取更多經(jīng)營效益。比如,企業(yè)可以從數(shù)據(jù)倉庫中進(jìn)行利潤增長分析,了解產(chǎn)品和服務(wù)間的關(guān)系、利潤、產(chǎn)品線等,有利于指導(dǎo)決策,提高效益。 二、決策支持系統(tǒng) 決策支持系統(tǒng)是在信息管理系統(tǒng)的基礎(chǔ)上建立起來的,彌補(bǔ)了管理信息系統(tǒng)的不足,適應(yīng)了人們對于信息管理向智能化方面的發(fā)展。決策支持系統(tǒng)可以為決策者提供及時、準(zhǔn)確、科學(xué)的決策信息。決策支持系統(tǒng)的體系結(jié)構(gòu)最初包括三個部分:數(shù)據(jù)庫、模型庫和用戶

4、接口。該系統(tǒng)結(jié)構(gòu)反映了人們對于當(dāng)時決策支持的要求,但是還有很大的局限性,只強(qiáng)調(diào)數(shù)據(jù)、模型和兩者的集成,而且進(jìn)行的主要是數(shù)學(xué)運(yùn)算,對于有些知識和經(jīng)驗卻不能很好處理。隨著人們需求的提高,要求決策支持系統(tǒng)不再僅僅在模型的基礎(chǔ)上利用數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行計算,而要求能夠進(jìn)行一些必要的推理,進(jìn)一步降低人的參與,提高決策支持系統(tǒng)的智能性。與決策支持系統(tǒng)同步發(fā)展的專家系統(tǒng)為決策支持系統(tǒng)的智能化發(fā)展提供了有限的支持,決策支持系統(tǒng)吸收了專家系統(tǒng)在知識學(xué)習(xí)和推理方面的特點,增加了知識庫部分,可在某些方面進(jìn)行推理和知識的學(xué)習(xí)。 三、基于數(shù)據(jù)倉庫決策支持系統(tǒng) 目前新興的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)為決策支持系統(tǒng)的智能化發(fā)展提供

5、了新的方法,開創(chuàng)了決策支持系統(tǒng)發(fā)展的新階段。作者在開發(fā)決策支持系統(tǒng)的實踐中提出了一種基于數(shù)據(jù)倉庫的決策支持系統(tǒng)體系結(jié)構(gòu),能夠較好地解決決策支持系統(tǒng)智能化的自適應(yīng)功能。圖1所示為基于數(shù)據(jù)倉庫的決策支持系統(tǒng)體系結(jié)構(gòu)框圖。它主要由兩部分組成,一個是比較傳統(tǒng)的決策支持系統(tǒng),另一部分是數(shù)據(jù)倉庫和數(shù)據(jù)挖掘,這兩部分只是形式上放在了一起,實際上并不完全獨立,而是緊密結(jié)合起來的。傳統(tǒng)的決策支持系統(tǒng)部分主要負(fù)責(zé)決策支持,通過對模型庫、方法庫、知識庫和數(shù)據(jù)倉庫的模型、方法、知識、數(shù)據(jù)處理提供相應(yīng)的輔助決策支持,這也是決策支持系統(tǒng)的功能所在;而數(shù)據(jù)倉庫和數(shù)據(jù)挖掘部分則是該系統(tǒng)的智能化的核心,數(shù)據(jù)挖掘處理單元通過對數(shù)

6、據(jù)庫中數(shù)據(jù)采用有關(guān)的方法,結(jié)合相關(guān)的知識和規(guī)則進(jìn)行數(shù)據(jù)挖掘,獲取有用的知識、規(guī)則和模型。在這里數(shù)據(jù)倉庫和決策支持系統(tǒng)得到了比較完美的結(jié)合。 1.系統(tǒng)基本結(jié)構(gòu) 數(shù)據(jù)倉庫技術(shù)和數(shù)據(jù)挖掘技術(shù)相結(jié)合建立的輔助決策系統(tǒng)是決策支持系統(tǒng)(決策支持系統(tǒng))的新型式,使決策支持系統(tǒng)的發(fā)展躍上了一個新的層次其系統(tǒng)結(jié)構(gòu)如圖1所示 其中 數(shù)據(jù)倉庫用于數(shù)據(jù)的存儲和組織 OLAP 側(cè)重于數(shù)據(jù)的分析。數(shù)據(jù)挖掘則致力于知識的自動發(fā)現(xiàn) 將這三種技術(shù)有效地結(jié)合起來發(fā)揮它們各自的特長和互補(bǔ)作用 就能設(shè)計出企業(yè)決策支持系統(tǒng)的可行方案。 采用這種模型后,決策支持系統(tǒng)通過上述三種技術(shù)后結(jié)構(gòu)變的更加緊湊,而且更重要的是將數(shù)據(jù)倉庫和 OLAP

7、 結(jié)合后能將普通的大量信息轉(zhuǎn)換成有價值的輔助決策信息,OLAP 是一種對多維數(shù)據(jù)庫分析和處理更加有效的數(shù)據(jù)分析技術(shù),它具有強(qiáng)大的分析功能,可以提供給用戶強(qiáng)大的統(tǒng)計、分析和報表處理功能及進(jìn)行趨勢預(yù)測的能力,從宏觀到微觀對數(shù)據(jù)進(jìn)行深入分析 行不同維間的比較等等。 數(shù)據(jù)挖掘工具運(yùn)行于高性能的并行處理系統(tǒng)上,可以使分析數(shù)據(jù)更加準(zhǔn)確和深入,在深度上進(jìn)行延伸,深入的分析能夠發(fā)現(xiàn)一些潛在的信息在廣度上進(jìn)行擴(kuò)展,擴(kuò)大的樣本降低了錯誤發(fā)生率利用數(shù)據(jù)挖掘技術(shù)可以自動地找出數(shù)據(jù)倉庫中的模式及關(guān)系,數(shù)據(jù)挖掘就是知識的提取 知識的提取過程即為決策支持過程。     &#

8、160;  2.系統(tǒng)設(shè)計關(guān)鍵技術(shù) （1）數(shù)據(jù)倉庫設(shè)計 政府?dāng)?shù)據(jù)倉庫結(jié)構(gòu)的設(shè)計要從決策目標(biāo)出發(fā)合理安排各元素,保證數(shù)據(jù)倉庫的規(guī)范化和完整體系。數(shù)據(jù)倉庫設(shè)計的各個數(shù)據(jù)定義均保存在元數(shù)據(jù)庫中。數(shù)據(jù)倉庫的數(shù)據(jù)結(jié)構(gòu)一般采用星型模型和數(shù)據(jù)模型。首先是要定義各主題及其所需數(shù)據(jù)源;數(shù)據(jù)源分內(nèi)部、外部數(shù)據(jù)源,其涉及屬性有計算機(jī)平臺、數(shù)據(jù)擁有者、數(shù)據(jù)結(jié)構(gòu)、使用該數(shù)據(jù)源的處理過程、倉庫更新計劃等。其次是要定義數(shù)據(jù)抽取、提煉和裝載原則。最后是細(xì)化主題,形成主題表,根據(jù)主題表定義數(shù)據(jù)集市。 （2）數(shù)據(jù)預(yù)處理 數(shù)據(jù)預(yù)處理的主要任務(wù)是對來自不同平臺的數(shù)據(jù)進(jìn)行分析、處理,找出不一致的數(shù)據(jù),進(jìn)行清洗、轉(zhuǎn)換、

9、再加工等,再裝載到數(shù)據(jù)倉庫。具體步驟分為兩步:首先是對DB1, DB2,DBn的數(shù)據(jù)進(jìn)行提取、清洗、標(biāo)準(zhǔn)化、集成等,將不一致的數(shù)據(jù)轉(zhuǎn)化成一致的數(shù)據(jù);在這一過程中,可以建立一個名字映射表。其次,在組織不同來源的數(shù)據(jù)過程中,先將數(shù)據(jù)轉(zhuǎn)換成一種中間模式,再把它移至臨時工作區(qū)。最后是將不一致的數(shù)據(jù)轉(zhuǎn)化成標(biāo)準(zhǔn)的、一致化的數(shù)據(jù)后,將其存人數(shù)據(jù)倉庫的數(shù)據(jù)區(qū)。 （3）數(shù)據(jù)管理 數(shù)據(jù)倉庫規(guī)模一般都很大,從建立之初就要保證它的可管理性,一個政府機(jī)構(gòu)可能建立幾個數(shù)據(jù)倉庫或數(shù)據(jù)集市,但他們可共用一個元數(shù)據(jù)庫對其進(jìn)行管理。首先從元數(shù)據(jù)庫查詢所需元數(shù)據(jù),然后進(jìn)行數(shù)據(jù)倉庫更新作業(yè),更新結(jié)束后,將更新情況記錄于元數(shù)據(jù)庫中。當(dāng)

10、數(shù)據(jù)源的運(yùn)行環(huán)境、結(jié)構(gòu)及目標(biāo)數(shù)據(jù)的維護(hù)計劃發(fā)生變化時,需要修改元數(shù)據(jù)。元數(shù)據(jù)是數(shù)據(jù)倉庫的重要組成部分,元數(shù)據(jù)的質(zhì)量決定整個數(shù)據(jù)倉庫的質(zhì)量。 四、決策支持系統(tǒng)在稅務(wù)上的應(yīng)用 稅務(wù)部門是一個數(shù)據(jù)密集型部門,數(shù)據(jù)管理任務(wù)繁重,需要高效的數(shù)據(jù)管理工具。一方面,稅務(wù)部門幾乎每天都要產(chǎn)生大量的原始數(shù)據(jù),需要及時對這些數(shù)據(jù)進(jìn)行處理和保存,并且,從稅務(wù)登記到稅務(wù)申報再到 稅務(wù)核定等一系列過程中,對數(shù)據(jù)需要反復(fù)使用;另一方面,稅務(wù)各部門領(lǐng)導(dǎo)需要分析稅務(wù),了解稅收情況,以便作出有效工作安排。因此,數(shù)據(jù)的有效管理是一個非常重要的任務(wù),有必要建立以數(shù)據(jù)倉庫和OLAP系統(tǒng)技術(shù)為基礎(chǔ)的決策支持系統(tǒng)。 稅務(wù)系統(tǒng)整體規(guī)劃的功

11、能及系統(tǒng)體系結(jié)構(gòu)可以概括為以下幾方面: 1.系統(tǒng)可實現(xiàn)的功能 （1）建立面向整個稅務(wù)系統(tǒng)的數(shù)據(jù)倉庫,包括從操作數(shù)據(jù)庫存到數(shù)據(jù)倉庫的抽取轉(zhuǎn)換模塊、面向主題的數(shù)據(jù)倉庫、特定需要的數(shù)據(jù)商場、元數(shù)據(jù)庫、元數(shù)據(jù)瀏覽程序等; （2）建立基于數(shù)據(jù)倉庫的應(yīng)用系統(tǒng),包括報表查詢系統(tǒng)、通用查詢系統(tǒng)、區(qū)域經(jīng)濟(jì)分析系統(tǒng)、網(wǎng)上在線分析系統(tǒng)、基于地理信息系統(tǒng)的稅務(wù)分析系統(tǒng)等OLAP工具。 2.數(shù)據(jù)分析 該系統(tǒng)可完成稅務(wù)征收數(shù)據(jù)的采集和加工,構(gòu)成可供本單位及其它政府部門共享的時間系列數(shù)據(jù)庫。數(shù)據(jù)主要來自終端征收系統(tǒng)。指標(biāo)主要包括稅收額、稅基和納稅戶,稅收額按性質(zhì)又分為應(yīng)交稅金、實交稅金、退稅額、補(bǔ)稅額和未交稅額,每個指標(biāo)又

12、可按要求分時段指標(biāo),如年指標(biāo)、月指標(biāo)、累計指標(biāo)。數(shù)據(jù)倉庫中的數(shù)據(jù)以月為基本粒度從操作數(shù)據(jù)庫抽取數(shù)據(jù)。因此,系統(tǒng)中的指標(biāo)數(shù)據(jù)主要是經(jīng)過計算后所得的數(shù)據(jù)。 3.系統(tǒng)結(jié)構(gòu) 稅務(wù)信息系統(tǒng)主要由一個終端應(yīng)用系統(tǒng)和操作數(shù)據(jù)庫系統(tǒng)、一個數(shù)據(jù)倉庫系統(tǒng)及基于數(shù)據(jù)倉庫的 0LAP系統(tǒng)組成,處理各種稅務(wù)征收業(yè)務(wù),并提供較強(qiáng)的稅收查詢、分析功能。它利用TCPI/P協(xié)議、X.25公共數(shù)據(jù)網(wǎng)建立全市稅務(wù)系統(tǒng)計算機(jī)網(wǎng)絡(luò),連接市局和各分局。 4.系統(tǒng)的物理結(jié)構(gòu) 系統(tǒng)利用C/S結(jié)構(gòu)實現(xiàn)。數(shù)據(jù)從各分局計算中心的業(yè)務(wù)數(shù)據(jù)庫傳到同一地點或上級部門的數(shù)據(jù)倉庫里。0LAPSERVER和WEBSERVE:從數(shù)據(jù)倉庫里抽取數(shù)據(jù),提供給客戶端

13、使用,部門各單位相關(guān)人員利用PC機(jī)上的分析軟件,通過部門局域網(wǎng)訪問數(shù)據(jù)倉庫上的數(shù)據(jù)。 5.系統(tǒng)實現(xiàn)方案 該系統(tǒng)利用 ORACLE數(shù)據(jù)庫系統(tǒng)建立數(shù)據(jù)倉庫,用局域網(wǎng),并以WindowsNT作為OLAPSERVER的工作平臺。采用TCP/IP和X.25進(jìn)行分局與市財政局聯(lián)網(wǎng)。利用ODBC和OLEDB進(jìn)行數(shù)據(jù)連接,并利用OLAPSERVER所提供的功能,盡可能使數(shù)據(jù)訪間本地化,以提高響應(yīng)速度。 五、結(jié)束語 數(shù)據(jù)倉庫技術(shù)為決策分析系統(tǒng)的研制與開發(fā)提供了一種有效的、可行的體系化解決方案。本文對數(shù)據(jù)倉庫技術(shù)在該系統(tǒng)建立中的應(yīng)用作了較深入的探討,提出了建立該系統(tǒng)的理論框架。據(jù)統(tǒng)計,美國500強(qiáng)中98%的企飯已經(jīng)建立了基于數(shù)據(jù)倉庫的應(yīng)用,而我國在這方面還存在很大的空白。但隨著我國綜合國力的增強(qiáng),以及信息技術(shù)的飛速發(fā)展,越來越多成功的決策支持系統(tǒng)應(yīng)用將會出現(xiàn)。一個完整的決策分析系統(tǒng)數(shù)據(jù)倉庫解決方案集成了數(shù)據(jù)倉庫、聯(lián)機(jī)分析、數(shù)據(jù)挖掘等多種信息處理技術(shù),如果這一解決方案得到廣泛的采用,必將把決策分析系統(tǒng)的研究與開發(fā)工作推向一個更高的層次。 參考文獻(xiàn)： 1馮海霞：基于數(shù)據(jù)倉庫的HR決策支持系統(tǒng)初探,當(dāng)代經(jīng)理人(中旬刊),2006/19 2李睿：基于數(shù)據(jù)倉庫的壽險決