數(shù)據(jù)倉庫與數(shù)據(jù)挖掘論文

1、 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘論文題目：淺析基于數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)的決策支持系統(tǒng)指導老師： 班級： 學號：姓名： 專業(yè)： 2012年11月2日 摘要 通過對數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的學習和大致的了解,主要提出了一種基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘系統(tǒng)的決策支持系統(tǒng)的框架。該文章把數(shù)據(jù)倉庫、數(shù)據(jù)挖掘工具和知識庫結(jié)合在一起，提高了數(shù)據(jù)挖掘的效率。增加了挖掘數(shù)據(jù)的效率和價值實用性！一、概述 今天， 越來越多的企業(yè)認識到要從以往的事務(wù)處理和決策中總結(jié)經(jīng)驗，利用現(xiàn)有的數(shù)據(jù)進行分析和推理，建立企業(yè)的決策支持系統(tǒng)（DSS）以提高決策的質(zhì)量。企業(yè)如果不能快速精確的收集和分析信息，將無法進行科學而有效的決策。建立數(shù)據(jù)倉庫(Data

2、warehouse)將能很的解決這一問題，使企業(yè)從大量的業(yè)務(wù)信息中篩選出所需的信息，并做出正確的決策。數(shù)據(jù)倉庫不是單一的產(chǎn)品， 而是綜合了多種信息技術(shù)的計算環(huán)境。它將全企業(yè)的運行數(shù)據(jù)匯集到一個精心設(shè)計的關(guān)系數(shù)據(jù)庫中，并將它們轉(zhuǎn)換成面向主題(Subject-oriented)的形式，使最終用戶很容易的從歷史的角度對這些數(shù)據(jù)進行訪問和分析。以銀行為例，通常，銀行的應用系統(tǒng)是按業(yè)務(wù)分類的，如儲蓄、信貸、信用卡等，一個客戶的信息分布在不同的業(yè)務(wù)系統(tǒng)中，要想得到一個客戶的全面信息非常困難。銀行通過建立數(shù)據(jù)倉庫， 可以將分離在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)合并成一個統(tǒng)一的圖表，這樣就可以看到客戶在各個系統(tǒng)中的全貌，

3、而且可以從歷史的角度對客戶檔案進行分析， 以便做出為每一個客戶進一步服務(wù)的決策。二、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的基本概念 數(shù)據(jù)倉庫是支持管理決策過程的、面向主題的、集成的、隨時間而變的、持久的數(shù)據(jù)集合。數(shù)據(jù)倉庫系統(tǒng)負責從操作型數(shù)據(jù)庫中抽取數(shù)據(jù)，實現(xiàn)對集成和綜合后的數(shù)據(jù)的管理，并把數(shù)據(jù)呈現(xiàn)給一組數(shù)據(jù)倉庫前端工具， 以滿足用戶的各種分析和決策的需求。數(shù)據(jù)倉庫系統(tǒng)的前端工具以O(shè)LAP 工具和數(shù)據(jù)挖掘工具為代表，是用戶賴以從數(shù)據(jù)倉庫中提取、分析數(shù)據(jù)，以及實施決策的必經(jīng)途徑。數(shù)據(jù)挖掘DM(Data Mining)，是指從數(shù)據(jù)中識別出潛在有用的、先前未知的、最終可理解的模式的非平凡過程。研究基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘

4、系統(tǒng)結(jié)構(gòu)框架是很有意義的。三、數(shù)據(jù)倉庫的結(jié)構(gòu)、功能1、數(shù)據(jù)倉庫的基本結(jié)構(gòu) 數(shù)據(jù)倉庫中的信息存儲， 根據(jù)對數(shù)據(jù)的不同深度的分析處理而區(qū)分為不同的層次，其基本結(jié)構(gòu)分為以下幾個部分：（1）歷史性詳細數(shù)據(jù)層：它存儲歷史數(shù)據(jù)，用于數(shù)據(jù)對比、回歸、匯總等供分析、建模預測之用。歷史數(shù)據(jù)一般為5 至10 年或更久的數(shù)據(jù)，它縱向只對數(shù)據(jù)/信息進行分類存儲。（2）當前詳細數(shù)據(jù)層：存儲當前最新詳細數(shù)據(jù)，重點用于了解當前情況，是進一步分析數(shù)據(jù)的基礎(chǔ)。在一定時刻，這些數(shù)據(jù)會轉(zhuǎn)移到歷史數(shù)據(jù)層去。（3）不同程序的歸納總結(jié)信息層：可包含多個層次，根據(jù)所需分類和歸納的不同深度而定。如按周、月、年統(tǒng)計的數(shù)據(jù)。這些信息只是一些簡單

5、的匯總，尚不能形成高級的決策信息。（4）專業(yè)信息分析層：進一步專業(yè)分析的結(jié)果，如統(tǒng)計分析、運籌分析、時間序列分析以及表面數(shù)據(jù)的內(nèi)在規(guī)律分析等。（5）倉庫結(jié)構(gòu)信息：數(shù)據(jù)倉庫的內(nèi)部結(jié)構(gòu)信息，反映各種信息在數(shù)據(jù)倉庫中的位置分布和處理方式等，以便檢索查詢之用。組織數(shù)據(jù)倉庫的數(shù)據(jù)時， 應根據(jù)數(shù)據(jù)訪問概率把數(shù)據(jù)分為經(jīng)常被訪問但較少被修改的數(shù)據(jù)和經(jīng)常被修改但較少被訪問的數(shù)據(jù)。對于前者可以做較多的索引（一般可做8 至12 個）來提高訪問的效率；對于后者就必須少建索引，否則，由于它經(jīng)常被修改，重索引的概率就很大，反而會降低系統(tǒng)的效率。2、數(shù)據(jù)倉庫的功能特點 數(shù)據(jù)倉庫的主要功能是提供企業(yè)決策支持系統(tǒng)或執(zhí)行信息系統(tǒng)

6、（EIS）所需要的信息，它把企業(yè)日常運行中分散不一致的數(shù)據(jù)經(jīng)歸納整理后轉(zhuǎn)換為集中統(tǒng)一的、可隨時取用的深層信息，這種信息雖然也是按關(guān)系數(shù)據(jù)庫的存儲結(jié)構(gòu)存儲的， 單與面向逐條記錄的聯(lián)機時務(wù)處理（OLTP）不同，在數(shù)據(jù)倉庫中的一條記錄，有可能是基礎(chǔ)數(shù)據(jù)中若干個表、若干條記錄的歸納和匯總。數(shù)據(jù)倉庫的基本特點是：（1）面向?qū)ο笮?。?shù)據(jù)倉庫中存儲的信息是面向主題來組織的。它根據(jù)所需要的信息，分不同類、不同角度等主題把數(shù)據(jù)加工、整理之后存儲起來（按橫向?qū)?shù)據(jù)進行分類存儲）。（2）數(shù)據(jù)歷史性。數(shù)據(jù)倉庫中可以專門存儲5 至10 年或更久的歷史數(shù)據(jù)，數(shù)據(jù)具有時間標示，以滿足信息比較、分析預測等的數(shù)據(jù)需求（按縱向?qū)?/p>

7、數(shù)據(jù)進行分類存儲）。（3）數(shù)據(jù)集成性。無論數(shù)據(jù)來源于何處，進入數(shù)據(jù)倉庫后都具有統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)和編碼規(guī)則， 數(shù)據(jù)倉庫中的數(shù)據(jù)具有一致性的特點。（4）數(shù)據(jù)只讀性。數(shù)據(jù)倉庫是一個信息源，它只是為在其上開發(fā)的DSS 或EIS 等提供信息服務(wù)，因此它應是只讀數(shù)據(jù)庫，一般不能輕易改動，只能定期刷新。（5）操作集合性。數(shù)據(jù)倉庫可通過快照機制，成批的更新來自不同資源的數(shù)據(jù)， 將其載入數(shù)據(jù)倉庫； 也可以成批的訪問數(shù)據(jù)。（6）應用C/S（客戶機/服務(wù)器）性。數(shù)據(jù)倉庫通過定義信息（元信息）把整個數(shù)據(jù)組織起來。在元信息中有一類記錄系統(tǒng)信息，定義了數(shù)據(jù)存儲、修改權(quán)限等，記錄系統(tǒng)將原始數(shù)據(jù)轉(zhuǎn)換成適合于數(shù)據(jù)倉庫應用的數(shù)據(jù)，

8、所以這實際上是C/S 應用模式。四、數(shù)據(jù)挖掘技術(shù) 數(shù)據(jù)挖掘是一種大型數(shù)據(jù)庫（如數(shù)據(jù)倉庫）中提取隱藏的預測性信息的新技術(shù)。數(shù)據(jù)挖掘是一種展望和預測性的信息分析工具，它能挖掘數(shù)據(jù)間潛在的關(guān)系模式，發(fā)現(xiàn)用戶可能忽略的信息，為企業(yè)管理者提供前攝的（Proactive）、基于知識的決策。數(shù)據(jù)挖掘技術(shù)使DSS 的應用向效益型賣出了重要的一步。傳統(tǒng)的DSS 通常是在某個假設(shè)的前提下通過數(shù)據(jù)查詢和分析來驗證或否定這個假設(shè)，而數(shù)據(jù)挖掘技術(shù)則能夠自動分析數(shù)據(jù)，進行歸納性推理，從中發(fā)掘出潛在模式或產(chǎn)生聯(lián)想，建立新的業(yè)務(wù)模型，幫助決策者調(diào)整市場策略，做出正確的決策。五、一種基于DW 的DMS 結(jié)構(gòu)框架 根據(jù)數(shù)據(jù)倉庫系

9、統(tǒng)的特點， 提出一種基于數(shù)據(jù)倉庫的通用數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)框架，如圖1。該結(jié)構(gòu)框架的概念模型包括如下組成部分：（1）用戶查詢接口它可分為查詢分類、查詢解釋及規(guī)格化兩部分。其作用是將數(shù)據(jù)挖掘請求解釋成規(guī)格化的查詢語言，并交由查詢協(xié)同機處理。（2）查詢協(xié)同機它的工作是協(xié)同數(shù)據(jù)倉庫管理系統(tǒng)、數(shù)據(jù)挖掘工具管理系統(tǒng)和知識庫管理系統(tǒng)， 共同對查詢接口提交的查詢請求進行處理。 圖1 一種基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)框架（3）數(shù)據(jù)倉庫管理系統(tǒng)它直接負責對數(shù)據(jù)倉庫進行管理，并完成對各種異構(gòu)分布數(shù)據(jù)源中數(shù)據(jù)的提取工作， 以最大限度屏蔽各異構(gòu)數(shù)據(jù)源對系統(tǒng)的影響。（4）知識庫管理系統(tǒng)它對知識庫進行管理和控制，包括知

10、識的增加、刪除、更新和查詢等。一方面，處理由查詢協(xié)同機處理后產(chǎn)生的知識庫查詢請求，并將結(jié)果提交給數(shù)據(jù)挖掘模塊；另一方面，接受通過知識評價的知識模式，并存入知識庫。（5） 數(shù)據(jù)挖掘工具的管理系統(tǒng)它的作用是對數(shù)據(jù)挖掘工具進行管理。（6） 數(shù)據(jù)挖掘預處理模塊它的任務(wù)是在數(shù)據(jù)倉庫管理系統(tǒng)的協(xié)同下，根據(jù)元數(shù)據(jù)和維表，對整個數(shù)據(jù)倉庫中儲存的數(shù)據(jù)進行處理，生成符合用戶查詢需要的，并能滿足數(shù)據(jù)挖掘工具集要求的待處理數(shù)據(jù)子集。（7） 知識評價模塊數(shù)據(jù)挖掘階段發(fā)現(xiàn)出來的模式需要經(jīng)過知識評價模塊的評估。如果存在冗余或無關(guān)的模式，則將其剔除了；如果模式不能滿足用戶要求，則需要重新選取數(shù)據(jù)，設(shè)定新的數(shù)據(jù)挖掘參數(shù)值， 甚

11、至更換數(shù)據(jù)挖掘算法重新進行數(shù)據(jù)挖掘。（8） 結(jié)論表達模塊它將得到的結(jié)論按語義層次結(jié)構(gòu)進行普化，得出各語義層上的結(jié)論，并對其進行解釋，將發(fā)現(xiàn)的模式以可視化或自然語言的形式呈現(xiàn)給用戶。六、基于數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)的DSS 創(chuàng)建數(shù)據(jù)倉庫的目的是為企業(yè)的DSS 和EIS 提供科學的決策依據(jù)。數(shù)據(jù)倉庫用于大量數(shù)據(jù)存儲和組織；數(shù)據(jù)挖掘用于從大量的數(shù)據(jù)中發(fā)現(xiàn)知識，為用戶進行預測決策。數(shù)據(jù)挖掘以數(shù)據(jù)倉庫和多維數(shù)據(jù)庫為基礎(chǔ)， 通過OLAP 和多維分析工具自動發(fā)現(xiàn)數(shù)據(jù)中的潛在模式，并以這些模式為基礎(chǔ)自動做出預測。數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)的結(jié)合為企業(yè)DSS 和EIS 的建立提供了新的、更有效的解決方案。圖2 表明了

12、這種方案的一種結(jié)構(gòu)。七、結(jié)束語 通過對數(shù)據(jù)倉庫與數(shù)據(jù)挖掘教程的學習,我了解了數(shù)據(jù)倉庫對相關(guān)數(shù)據(jù)進行分析的方法，以及用相關(guān)軟件預測的步驟。并且懂得了企業(yè)未來的成功，很大程度上取決于準確的數(shù)據(jù)挖掘能力，許多領(lǐng)域都需要對潛在的數(shù)據(jù)進行深層次的分析，困難主要有對數(shù)據(jù)的一些概念和方法方法不太熟悉，導致思想比較懵懂，會時不時出現(xiàn)差錯，導致出現(xiàn)的結(jié)果與預期的不一致。但總體來說還是有很多收獲的，通過這次學習，我鞏固了所學的理論知識，進一步理解了相關(guān)的概念和方法。也明白了一些深刻的道理，即在遇到困難時不要放棄，要有持之以恒的精神，遇到不懂的問題時要及時請教老師和同學，要在實際動手操作時進一步完善自己的所學的知識，要善于思考，善于總結(jié)，這樣才能有所學有所想，學有所得。八、參考文獻：1、賴福軍，周婷， 數(shù)據(jù)倉庫及其本關(guān)技術(shù)， 軟件世界， 1997.22、王