基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘技術(shù)

第一章

數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)管理系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)

第1章數(shù)據(jù)據(jù)庫(kù)、數(shù)數(shù)據(jù)庫(kù)管管理系統(tǒng)統(tǒng)與數(shù)據(jù)據(jù)倉(cāng)庫(kù)1.1數(shù)據(jù)庫(kù)與與數(shù)據(jù)庫(kù)庫(kù)技術(shù)1.1..1數(shù)據(jù)、數(shù)數(shù)據(jù)庫(kù)與與數(shù)據(jù)庫(kù)庫(kù)系統(tǒng)1.1..2數(shù)據(jù)庫(kù)系系統(tǒng)的特特點(diǎn)1.1..3數(shù)據(jù)庫(kù)技技術(shù)新發(fā)發(fā)展1.2數(shù)據(jù)倉(cāng)庫(kù)庫(kù)1.2..1從傳統(tǒng)數(shù)數(shù)據(jù)庫(kù)到到數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)1.2..2數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的基本本特性1.3數(shù)據(jù)倉(cāng)庫(kù)庫(kù)及其數(shù)數(shù)據(jù)分析析工具1.3..1聯(lián)機(jī)分析析與數(shù)據(jù)據(jù)挖掘1.3..2數(shù)據(jù)倉(cāng)庫(kù)庫(kù)與數(shù)據(jù)據(jù)挖掘1.3..3數(shù)據(jù)倉(cāng)庫(kù)庫(kù)未來(lái)發(fā)發(fā)展方向向1.1數(shù)據(jù)庫(kù)與與數(shù)據(jù)庫(kù)庫(kù)技術(shù)數(shù)據(jù)庫(kù)是是按一定定組織方方式存儲(chǔ)儲(chǔ)在計(jì)算算機(jī)存儲(chǔ)儲(chǔ)器中的的相互關(guān)關(guān)聯(lián)的數(shù)數(shù)據(jù)集合合,數(shù)據(jù)庫(kù)的的建立獨(dú)獨(dú)立于程程序。數(shù)數(shù)據(jù)庫(kù)管管理系統(tǒng)統(tǒng)是一個(gè)個(gè)管理數(shù)數(shù)據(jù)庫(kù)的的軟件系系統(tǒng),它為用戶戶提供了了描述數(shù)數(shù)據(jù)庫(kù)、、操縱數(shù)數(shù)據(jù)庫(kù)和和維護(hù)數(shù)數(shù)據(jù)庫(kù)的的方法和和命令，，并且能能自動(dòng)控控制數(shù)據(jù)據(jù)庫(kù)的安安全以及及數(shù)據(jù)完完整。數(shù)據(jù)庫(kù)系系統(tǒng)是在在文件系系統(tǒng)的基基礎(chǔ)上發(fā)發(fā)展起來(lái)來(lái)的。數(shù)數(shù)據(jù)庫(kù)系系統(tǒng)是一一個(gè)具有有管理數(shù)數(shù)據(jù)庫(kù)功功能的計(jì)計(jì)算機(jī)系系統(tǒng)，它它包括應(yīng)應(yīng)用軟件件、數(shù)據(jù)據(jù)庫(kù)、數(shù)數(shù)據(jù)庫(kù)管管理系統(tǒng)統(tǒng)和數(shù)據(jù)據(jù)庫(kù)管理理人員幾幾部分。。1.1..1數(shù)據(jù)、數(shù)數(shù)據(jù)庫(kù)與與數(shù)據(jù)庫(kù)庫(kù)系統(tǒng)1．?dāng)?shù)據(jù)(Data)數(shù)據(jù)是信信息系統(tǒng)統(tǒng)的基本本概念和和計(jì)算機(jī)機(jī)系統(tǒng)要要處理的的基本對(duì)對(duì)象之一一。嚴(yán)格地說(shuō)說(shuō)，數(shù)據(jù)據(jù)可定義義為：數(shù)數(shù)據(jù)是對(duì)對(duì)客觀事事物記錄錄下來(lái)的的、可以以鑒別的的符號(hào)。。數(shù)據(jù)是是客觀觀事物的的屬性、、數(shù)量、、位置及及相互關(guān)關(guān)系等等等的抽象象表示。。2．?dāng)?shù)據(jù)庫(kù)庫(kù)(DataBase，DB)數(shù)據(jù)庫(kù)是是自描述述的，這這個(gè)描述述稱作數(shù)數(shù)據(jù)字典典(或數(shù)據(jù)目目錄，或或元數(shù)據(jù)據(jù))。3．?dāng)?shù)據(jù)庫(kù)系系統(tǒng)(DataBaseSystem，DBS))數(shù)據(jù)庫(kù)系系統(tǒng)是指指在計(jì)算算機(jī)系統(tǒng)統(tǒng)中引入入數(shù)據(jù)庫(kù)庫(kù)后的系系統(tǒng)。4．?dāng)?shù)據(jù)庫(kù)庫(kù)管理系系統(tǒng)隨著計(jì)算算機(jī)軟、、硬件和和相應(yīng)技技術(shù)的發(fā)發(fā)展，數(shù)數(shù)據(jù)管理理經(jīng)歷了了人工管管理、文文件系系統(tǒng)和數(shù)數(shù)據(jù)庫(kù)系系統(tǒng)3個(gè)階段。。1.1..2數(shù)據(jù)庫(kù)系系統(tǒng)的特特點(diǎn)1.數(shù)據(jù)的結(jié)結(jié)構(gòu)化2.數(shù)據(jù)的共共享性3.數(shù)據(jù)的獨(dú)獨(dú)立性4.數(shù)據(jù)統(tǒng)一一由DBMS管理和控控制(1)數(shù)據(jù)的安安全性(2)數(shù)據(jù)的完完整性(3)并發(fā)控制制(4)數(shù)據(jù)庫(kù)恢恢復(fù)1.1..3數(shù)據(jù)庫(kù)技技術(shù)新發(fā)發(fā)展1.數(shù)據(jù)模型型：關(guān)系系數(shù)據(jù)庫(kù)庫(kù)與面向向?qū)ο髷?shù)數(shù)據(jù)庫(kù)(1)關(guān)系數(shù)據(jù)據(jù)庫(kù)用數(shù)字來(lái)來(lái)表明自自然界的的各種事事物是按按照實(shí)體體、屬性性、值進(jìn)進(jìn)行的。。關(guān)系數(shù)據(jù)據(jù)庫(kù)是支支持關(guān)系系模型的的數(shù)據(jù)庫(kù)庫(kù)系統(tǒng)，，而關(guān)系系模型由由關(guān)系數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)、關(guān)系系操作集集合和完完整性約約束三部部分組成成。(2)結(jié)構(gòu)化查查詢語(yǔ)言言SQLSQL是結(jié)構(gòu)化化查詢語(yǔ)語(yǔ)言(StructedQueryLanguage),,也被稱為為StandardQueryLanguage(標(biāo)準(zhǔn)化查查詢語(yǔ)言言)。SQL有兩大突突出的特特點(diǎn)：一一是所有有SQL數(shù)據(jù)庫(kù)中中的數(shù)據(jù)據(jù)都存儲(chǔ)儲(chǔ)在表中中，一個(gè)個(gè)表有行行和列組組成。二二是這種種語(yǔ)言被被設(shè)計(jì)為為不允許許按照某某種特定定的順序序來(lái)取出出，使用用SQL只能按查查詢條件件來(lái)讀取取記錄。。

(3)面向?qū)ο笙髷?shù)據(jù)庫(kù)庫(kù)面向?qū)ο笙髷?shù)據(jù)庫(kù)庫(kù)系統(tǒng)是是數(shù)據(jù)庫(kù)庫(kù)技術(shù)與與面向?qū)?duì)象程序序設(shè)計(jì)方方法相結(jié)結(jié)合的產(chǎn)產(chǎn)物。圖1-4數(shù)據(jù)庫(kù)系系統(tǒng)ODBCAPI應(yīng)用程程序序ODBC驅(qū)動(dòng)程序序管理器器ODBC驅(qū)動(dòng)程序序ODBC驅(qū)動(dòng)程序序ODBC驅(qū)動(dòng)程序序數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源

將傳統(tǒng)數(shù)數(shù)據(jù)庫(kù)技技術(shù)與其其他學(xué)科科的內(nèi)容容相結(jié)合合以開發(fā)發(fā)新型數(shù)數(shù)據(jù)庫(kù)是是數(shù)據(jù)庫(kù)庫(kù)技術(shù)的的一個(gè)新新發(fā)展,目前已經(jīng)經(jīng)發(fā)展出出一些新新型的數(shù)數(shù)據(jù)庫(kù)系系統(tǒng)。如如：分布布式數(shù)據(jù)據(jù)庫(kù)、并并行數(shù)據(jù)據(jù)庫(kù)、知知識(shí)數(shù)據(jù)據(jù)庫(kù)、主主動(dòng)數(shù)據(jù)據(jù)庫(kù)系統(tǒng)統(tǒng)、多媒媒體數(shù)據(jù)據(jù)庫(kù)、模模糊數(shù)據(jù)據(jù)庫(kù)。2.傳統(tǒng)數(shù)據(jù)據(jù)數(shù)據(jù)庫(kù)庫(kù)技術(shù)與與其他技技術(shù)結(jié)合合3.面向應(yīng)用用的數(shù)據(jù)據(jù)庫(kù)數(shù)據(jù)庫(kù)技技術(shù)被應(yīng)應(yīng)用于特特定領(lǐng)域域中時(shí)，，就出現(xiàn)現(xiàn)了數(shù)據(jù)據(jù)倉(cāng)庫(kù)、、工程數(shù)數(shù)據(jù)庫(kù)、、統(tǒng)計(jì)數(shù)數(shù)據(jù)庫(kù)、、空間數(shù)數(shù)據(jù)庫(kù)、、科學(xué)數(shù)數(shù)據(jù)庫(kù)等等多種數(shù)數(shù)據(jù)庫(kù)，，使數(shù)據(jù)據(jù)庫(kù)領(lǐng)域域的應(yīng)用用范圍不不斷擴(kuò)大大。1.2..1從傳統(tǒng)數(shù)數(shù)據(jù)庫(kù)到到數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)傳統(tǒng)數(shù)據(jù)據(jù)庫(kù)在聯(lián)聯(lián)機(jī)事物物處理中中取得了了較大的的成功,但在基于于事物處處理的數(shù)數(shù)據(jù)庫(kù)幫幫助決策策分析時(shí)時(shí)卻產(chǎn)生生了很大大的困難難。主要要原因是是傳統(tǒng)數(shù)數(shù)據(jù)庫(kù)的的處理方方式和決決策分析析中的數(shù)數(shù)據(jù)需求求不相稱稱，導(dǎo)致致傳統(tǒng)數(shù)數(shù)據(jù)庫(kù)無(wú)無(wú)法支持持決策分分析活動(dòng)動(dòng)。這些些不相稱稱主要體體現(xiàn)在如如下幾個(gè)個(gè)方面：：(1)..決策處理理的系統(tǒng)統(tǒng)響應(yīng)問(wèn)問(wèn)題(2)..決策數(shù)據(jù)據(jù)需求的的問(wèn)題(3)..決策數(shù)據(jù)據(jù)操作的的問(wèn)題(4)..數(shù)據(jù)倉(cāng)庫(kù)庫(kù)與傳統(tǒng)統(tǒng)數(shù)據(jù)庫(kù)庫(kù)的比較較1.2..2數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的基本本特性1.數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的定義義數(shù)據(jù)倉(cāng)庫(kù)庫(kù)就是一一個(gè)面向向主題的的、集成成的、不不可更新新的、隨隨時(shí)間不不斷變化化的數(shù)據(jù)據(jù)集合，，它用以以支持企企業(yè)或組組織的決決策分析析處理。。

表1-1數(shù)據(jù)倉(cāng)庫(kù)庫(kù)與數(shù)據(jù)據(jù)庫(kù)的對(duì)對(duì)比對(duì)比內(nèi)容

數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序，重復(fù)處理面向主題域，分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化，按字段更新靜態(tài)、不能直接更新，只能定時(shí)添加、刷新數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜，適合操作計(jì)算簡(jiǎn)單、適合分析使用頻率高中到低數(shù)據(jù)訪問(wèn)量每個(gè)事物只訪問(wèn)少量記錄有的事物可能需要訪問(wèn)大量記錄對(duì)響應(yīng)時(shí)間的要求以秒為單位時(shí)間長(zhǎng)2.數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的基本本特征(1)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的數(shù)據(jù)據(jù)是面向向主題的的(2)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的數(shù)據(jù)據(jù)是集成成的(3)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)是隨時(shí)時(shí)間變化化的(4)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)是不可可更新的的1.3..1聯(lián)機(jī)分析析與數(shù)據(jù)據(jù)挖掘1.聯(lián)機(jī)分析析處理技技術(shù)及工工具聯(lián)機(jī)分析析處理OLAP(On-LineAnalyticalProcessing)應(yīng)用是不不同于與與聯(lián)機(jī)事事務(wù)處理理(OLTP)的一類應(yīng)應(yīng)用。它它專門設(shè)設(shè)計(jì)用于于支持復(fù)復(fù)雜的分分析操作作，側(cè)重重對(duì)分析析人員和和高層管管理人員員的決策策支持，，可以應(yīng)應(yīng)分析人人員的要要求快速速、靈活活地進(jìn)行行大數(shù)據(jù)據(jù)量的復(fù)復(fù)雜查詢?cè)兲幚?，，并且以以一種直直觀易懂懂的形式式將查詢?cè)兘Y(jié)果提提供給決決策制定定人，以以便他們們準(zhǔn)確掌掌握企業(yè)業(yè)（公司司）的經(jīng)經(jīng)營(yíng)狀況況，了解解市場(chǎng)需需求，制制定正確確方案，，增加效效益。2.數(shù)據(jù)挖掘掘技術(shù)和和工具數(shù)據(jù)挖掘掘(DataMining,,DM))是從超大大型數(shù)據(jù)據(jù)庫(kù)(VLDB)或數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)中發(fā)發(fā)現(xiàn)并提提取隱藏藏在內(nèi)部部的信息息的一種種新技術(shù)術(shù)。目的的是幫助助決策者者尋找數(shù)數(shù)據(jù)間潛潛在的關(guān)關(guān)系，發(fā)發(fā)現(xiàn)經(jīng)營(yíng)營(yíng)者被忽忽略的要要素，而而這些要要素對(duì)預(yù)預(yù)測(cè)趨勢(shì)勢(shì)、決策策行為也也許是十十分有用用的信息息。數(shù)據(jù)挖掘掘技術(shù)是是可以滿滿足和解解決當(dāng)前前“數(shù)據(jù)據(jù)太多，，信息不不足”的的技術(shù)。。對(duì)于數(shù)據(jù)據(jù)挖掘和和知識(shí)發(fā)發(fā)現(xiàn)（KnowledgeDiscoveryinDataBase,KDD)的確切定定義一直直有混淆淆。（1）數(shù)據(jù)挖挖掘嚴(yán)格來(lái)說(shuō)說(shuō)，數(shù)據(jù)據(jù)挖掘可可定義為為：應(yīng)用用一系列列技術(shù)從從大型數(shù)數(shù)據(jù)庫(kù)或或數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的數(shù)數(shù)據(jù)中提提取人們們感興趣趣的信息息和知識(shí)識(shí)，這些些知識(shí)或或信息是是隱含的的、事先先未知而而潛在有有用的，，提取的的知識(shí)表表示為概概念、規(guī)規(guī)則、規(guī)規(guī)律、模模式等形形式。（2）知識(shí)發(fā)發(fā)現(xiàn)過(guò)程程1.數(shù)據(jù)準(zhǔn)備備2.數(shù)據(jù)挖掘掘3.結(jié)果表述述和解釋釋1.3..2數(shù)據(jù)倉(cāng)庫(kù)庫(kù)與數(shù)據(jù)據(jù)挖掘1.數(shù)據(jù)倉(cāng)庫(kù)庫(kù)與數(shù)據(jù)據(jù)挖掘數(shù)據(jù)挖掘掘和數(shù)據(jù)據(jù)倉(cāng)庫(kù)作作為決策策支持新新技術(shù),在近10年來(lái)得到到了迅速速發(fā)展.數(shù)據(jù)倉(cāng)庫(kù)庫(kù)和數(shù)據(jù)據(jù)挖掘是是相互結(jié)結(jié)合起來(lái)來(lái)一起發(fā)發(fā)展的,二者是相相互影響響、相互互促進(jìn)的的。二者者的聯(lián)系系可以概概括為以以下幾點(diǎn)點(diǎn)：（1）數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)為數(shù)數(shù)據(jù)挖掘掘提供了了更好的的、更廣廣泛的數(shù)數(shù)據(jù)源（2）數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)為數(shù)數(shù)據(jù)挖掘掘提供了了新的支支持平臺(tái)臺(tái)（3）數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)為更更好地使使用數(shù)據(jù)據(jù)挖掘工工具提供供了方便便（4）數(shù)據(jù)挖挖掘?yàn)閿?shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)提供了了更好的的決策支支持（5）數(shù)據(jù)挖挖掘?qū)?shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的數(shù)據(jù)據(jù)組織提提供了更更高的要要求（6）數(shù)據(jù)挖挖掘還為為數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)提供供了廣泛泛的技術(shù)術(shù)支持2.數(shù)據(jù)倉(cāng)庫(kù)庫(kù)與數(shù)據(jù)據(jù)挖掘的的區(qū)別數(shù)據(jù)倉(cāng)庫(kù)庫(kù)是一種種存儲(chǔ)技技術(shù),它的數(shù)據(jù)據(jù)存儲(chǔ)量量是一般般數(shù)據(jù)庫(kù)庫(kù)的百倍倍,它包含大大量的歷歷史數(shù)據(jù)據(jù)、當(dāng)前前的詳細(xì)細(xì)數(shù)據(jù)以以及綜合合數(shù)據(jù)，，能為不不同用戶戶的不同同決策需需求提供供所需的的數(shù)據(jù)和和信息。。3.基于數(shù)據(jù)據(jù)庫(kù)技術(shù)術(shù)的DSS解決方案案1.3..3數(shù)據(jù)倉(cāng)庫(kù)庫(kù)未來(lái)發(fā)發(fā)展方向向1.數(shù)據(jù)倉(cāng)庫(kù)庫(kù)技術(shù)和和應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)庫(kù)技術(shù)的的發(fā)展包包括數(shù)據(jù)據(jù)抽取、、數(shù)據(jù)管管理、數(shù)數(shù)據(jù)表現(xiàn)現(xiàn)和方法法論等方方面。數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的發(fā)展展趨勢(shì)主主要表現(xiàn)現(xiàn)在三個(gè)個(gè)方面：：（1）對(duì)非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)的處處理（2）實(shí)現(xiàn)共共享數(shù)據(jù)據(jù)（3）對(duì)信息息進(jìn)行打打包2.國(guó)內(nèi)數(shù)據(jù)據(jù)倉(cāng)庫(kù)的的需求與與應(yīng)用特特點(diǎn)國(guó)內(nèi)數(shù)據(jù)據(jù)倉(cāng)庫(kù)的的需求主主要表現(xiàn)現(xiàn)在如下下方面：：（1）由于銀銀行商業(yè)業(yè)化的步步伐正在在加大，，各大、、中型銀銀行開始始重新考考慮自身身的業(yè)務(wù)務(wù)，特別別是加強(qiáng)強(qiáng)對(duì)自身身的信貸貸風(fēng)險(xiǎn)的的管理，，因而對(duì)對(duì)有關(guān)信信貸風(fēng)險(xiǎn)險(xiǎn)管理和和風(fēng)險(xiǎn)規(guī)規(guī)避的決決策支持持系統(tǒng)的的需求逐逐漸多了了起來(lái)。。（2）由于電電子商務(wù)務(wù)的迅速速發(fā)展，，不少網(wǎng)網(wǎng)站開始始考慮如如何提高高對(duì)顧客客的忠誠(chéng)誠(chéng)度，為為客戶提提供更進(jìn)進(jìn)一步的的“貼身身”服務(wù)務(wù)。（3）各大型型企業(yè)如如移動(dòng)通通信局等等開始考考慮著手手進(jìn)行決決策支持持以及數(shù)