數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

1、-、數(shù)據(jù)倉庫的特征：(1)面向主題性主題：是一個抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用的抽象。在邏輯上，它對應(yīng)于企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對象。面向主題的數(shù)據(jù)組織方式可在較高層次上對分析對象的數(shù)據(jù)給出完整、一致的描述,能完整、統(tǒng)一的刻畫各個分析對象所涉及的企業(yè)的各項(xiàng)數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系，從而適應(yīng)企業(yè)各個部門的業(yè)務(wù)活動特點(diǎn)和企業(yè)數(shù)據(jù)的動態(tài)特征，從根本上實(shí)現(xiàn)數(shù)據(jù)與應(yīng)用的分離。(2)集成性數(shù)據(jù)倉庫中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫中提取出來的，其每一個主題所對應(yīng)的源數(shù)據(jù)在原有的數(shù)據(jù)庫中有許多冗余和不一致，且與不同的應(yīng)用邏輯相關(guān)。為了創(chuàng)建一個有效的主題域，必須將

2、這些來自不同數(shù)據(jù)源的數(shù)據(jù)集成起來，使之遵循統(tǒng)一的編碼規(guī)則。因此，數(shù)據(jù)倉庫在提取數(shù)據(jù)時(shí)必須經(jīng)過數(shù)據(jù)集成，消除源數(shù)據(jù)中的矛盾，并進(jìn)行數(shù)據(jù)綜合和計(jì)算。經(jīng)過數(shù)據(jù)集成后，數(shù)據(jù)倉庫所提供的信息比數(shù)據(jù)庫提供的信息更概括、更本質(zhì)。(3)時(shí)變性時(shí)變性：許多商業(yè)分析要求對發(fā)展趨勢做出預(yù)測，對發(fā)展趨勢的分析需要訪問歷史數(shù)據(jù)。因此數(shù)據(jù)倉庫必須不斷捕捉OLTP數(shù)據(jù)庫中變化的數(shù)據(jù)，生成數(shù)據(jù)庫的快照，經(jīng)集成后增加到數(shù)據(jù)倉庫中去；另外數(shù)據(jù)倉庫還需要隨時(shí)間的變化刪去過期的、對分析沒有幫助的數(shù)據(jù)，并且還需要按規(guī)定的時(shí)間段增加綜合數(shù)據(jù)。(4)非易失性數(shù)據(jù)倉庫中的數(shù)據(jù)反映的是一段時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時(shí)點(diǎn)的數(shù)據(jù)庫快照的集合，以

3、及基于撰寫快照進(jìn)行統(tǒng)計(jì)、綜合和重組的導(dǎo)出數(shù)據(jù)，而不是聯(lián)機(jī)處理的數(shù)據(jù)。主要供企業(yè)高層決策分析之用，所涉及的數(shù)據(jù)操作主要是查詢，一般情況下并不進(jìn)行修改操作，即數(shù)據(jù)倉庫中的數(shù)據(jù)是不可實(shí)時(shí)更新的，僅當(dāng)超過規(guī)定的存儲期限，才將其從數(shù)據(jù)倉庫中刪除，提取新的數(shù)據(jù)經(jīng)集成后輸入數(shù)據(jù)倉庫(5)集合性數(shù)據(jù)倉庫的集合性意味著數(shù)據(jù)倉庫以某種數(shù)據(jù)集合的形式存儲起來。二、KDD過程中的數(shù)據(jù)準(zhǔn)備中的三個子步驟：(1)數(shù)據(jù)集成將多文件或多數(shù)據(jù)庫運(yùn)行環(huán)境中的數(shù)據(jù)進(jìn)行合并處理，解決語義模糊性、處理數(shù)據(jù)中的遺漏和清洗臟數(shù)據(jù)等。(2)數(shù)據(jù)選擇數(shù)據(jù)選取的目的是確定目標(biāo)數(shù)據(jù)，根據(jù)用戶的需要從原始數(shù)據(jù)庫中選取相關(guān)數(shù)據(jù)或樣本。在此過程中，將利

4、用一些數(shù)據(jù)庫操作對數(shù)據(jù)庫進(jìn)行相關(guān)處理。(3)數(shù)據(jù)預(yù)處理對步驟2中選出的數(shù)據(jù)進(jìn)行再處理，檢查數(shù)據(jù)的完整性及一致性，消除噪聲及與數(shù)據(jù)挖掘無關(guān)的冗余數(shù)據(jù)，根據(jù)時(shí)間序列和已知的變化情況，利用統(tǒng)計(jì)等方法填充丟失的數(shù)據(jù)。三、KDD過程中的“結(jié)果的解釋和評估”步驟說明：對在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式(知識)進(jìn)行解釋。通過機(jī)器評估剔除冗余或無關(guān)模式，若模式不滿足，再返回到前面某些處理步驟中反復(fù)提取。將發(fā)現(xiàn)的知識以用戶能了解的方式呈現(xiàn)給用戶。其中也包括對知識一致性的檢查，以確信本次發(fā)現(xiàn)的知識不會與以前發(fā)現(xiàn)的知識相抵觸四、數(shù)據(jù)挖掘的任務(wù)之一“關(guān)聯(lián)分析”相關(guān)內(nèi)容？關(guān)聯(lián)規(guī)則反映一個事物與其它事物之間的相互依存性和關(guān)聯(lián)性

5、，如果兩個事物或者多個事物之間存在一定的關(guān)聯(lián)關(guān)系，那么其中一個事物就能夠通過其他事物預(yù)測到。人們希望在海量的商業(yè)交易記錄中發(fā)現(xiàn)感興趣的數(shù)據(jù)關(guān)聯(lián)關(guān)系，用以幫助商家作出決策。例如：面包2%牛奶1.5%（占超市交易總數(shù)）2%和1.5%表明這兩種商品在超市經(jīng)營中的重要程度，稱為支持度。商家關(guān)注高支持度的產(chǎn)品。面包=>牛奶60%在購買面包的交易中，有60%的交易既買了面包又買了牛奶，成60%為規(guī)則面包=牛奶”的信任度。信任度反映了商品間的關(guān)聯(lián)程度五、數(shù)據(jù)挖掘的任務(wù)之一“聚類”相關(guān)內(nèi)容？聚類是對物理的或抽象的對象集合分組的過程。聚類生成的組為簇，簇是數(shù)據(jù)對象的集合。簇內(nèi)部任意兩個對象之間具有較高的相

6、似度，而屬于不同簇的兩個對象間具有較高的相異度。相異度可以根據(jù)描述對象的屬性值計(jì)算，對象間的距離是最常采用的度量指標(biāo)。在實(shí)際應(yīng)用中，經(jīng)常將一個簇中的數(shù)據(jù)對象作為一個整體看待。用聚類生成的簇來表達(dá)數(shù)據(jù)集不可避免地會損失一些信息，但卻可以使問題得到必要的簡化。主要的數(shù)據(jù)挖掘聚類方法有：劃分的方法、層次的方法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法六、數(shù)據(jù)挖掘的任務(wù)之一“分類”相關(guān)內(nèi)容？分類的目的是提出一個分類函數(shù)或分類模型（即分類器）通過分類器將數(shù)據(jù)對象映射到某一個給定的類別中。數(shù)據(jù)分類可以分為兩步進(jìn)行。第一步建立模型，用于描述給定的數(shù)據(jù)集合。通過分析由屬性描述的數(shù)據(jù)集合來建立反映數(shù)據(jù)集合

7、特性的模型。第二步是用模型對數(shù)據(jù)對象進(jìn)行分類。七、數(shù)據(jù)挖掘中的歸納學(xué)習(xí)方法中的“遺傳算法”相關(guān)內(nèi)容遺傳算法遺傳算法是進(jìn)化計(jì)算的一種，體現(xiàn)生物進(jìn)化的四個要素：繁殖、變異、競爭和自然選擇遺傳算法的聚類思想：數(shù)據(jù)空間、編碼、個體（染色體）、適應(yīng)值函數(shù)、交叉、變異、選擇（自然選擇）。重復(fù)以上步驟，直到種群不再進(jìn)化或找到目標(biāo)為止。八、數(shù)據(jù)挖掘中的公式發(fā)現(xiàn)中的“BACON系統(tǒng)”相關(guān)內(nèi)容（1） BACON系統(tǒng)的基本思想BACON系統(tǒng)是運(yùn)用人工智能技術(shù)從試驗(yàn)數(shù)據(jù)中尋找規(guī)律性比較成功的一個系統(tǒng)，其思想是讓程序反復(fù)地考察數(shù)據(jù)并使用精煉算子創(chuàng)造新項(xiàng)，直到創(chuàng)造的這些項(xiàng)中有一個是常數(shù)時(shí)為止。該系統(tǒng)運(yùn)用的是數(shù)據(jù)驅(qū)動方法，

8、這種方法使用的規(guī)則空間與假設(shè)空間是分開的。這類學(xué)習(xí)方法的大致步驟為：步驟1:手集某些訓(xùn)練例。步驟2:對訓(xùn)練例進(jìn)行分析，決定應(yīng)該使用的精煉算子。步驟3:使用選出的算子修改當(dāng)前的假設(shè)空間。重復(fù)執(zhí)行步驟1到步驟3直到取得滿意的假設(shè)為止。BACON系統(tǒng)中所采用的主要精煉算子如下：A.發(fā)現(xiàn)常數(shù)B.具體化C.斜率和截距的產(chǎn)生D.積的產(chǎn)生E.商的產(chǎn)生F指In的項(xiàng)的產(chǎn)生（2） BACON系統(tǒng)的功能和應(yīng)用BACON系統(tǒng)是用產(chǎn)生式語言O(shè)PS實(shí)現(xiàn)的。這個任務(wù)產(chǎn)生式系統(tǒng)的優(yōu)點(diǎn)是它允許人們寫一套小型的一般規(guī)律發(fā)現(xiàn)程序。這些程序在收集的數(shù)據(jù)上進(jìn)行搜索，同時(shí)，這些數(shù)據(jù)仍存放在工作存儲器中。如果數(shù)據(jù)中出現(xiàn)所說的一種規(guī)律性，它

9、就會觸發(fā)某個算子，執(zhí)行適當(dāng)?shù)膭幼鳎篊asel如果規(guī)律性保持不變，就在有關(guān)范圍內(nèi)(時(shí)間、物體)進(jìn)行一般化并檢驗(yàn)。Case2如果在某時(shí)間間隔上屬性值一致地增加或減少，則構(gòu)造一個新屬性，該屬性是借助隨時(shí)間變化的舊屬性而定義的(例如加速度是由速度構(gòu)造的)，并且進(jìn)一步研究這個新屬性。Case3如果一個屬性值隨著另一個上升，則要考慮新屬性為它們的乘積。最后，構(gòu)造和發(fā)現(xiàn)一個這樣的高級屬性，它用到程序員在自定義規(guī)律中提到的新屬性，并以它的值為常數(shù)，這是BAXIN系統(tǒng)的變體九、數(shù)據(jù)挖掘中的公式發(fā)現(xiàn)中的“FDD系統(tǒng)”相關(guān)內(nèi)容FDD系統(tǒng)是一個基于實(shí)驗(yàn)數(shù)據(jù)庫的經(jīng)驗(yàn)公式發(fā)現(xiàn)系統(tǒng)。FDD系統(tǒng)運(yùn)用了人工智能中的啟發(fā)式方法和數(shù)據(jù)處理中的曲線擬合技術(shù)，通過對所提供原型之間的線性組合和一定程度的復(fù)合不斷逼近實(shí)驗(yàn)數(shù)據(jù)，最終得到蘊(yùn)藏在大量實(shí)驗(yàn)數(shù)據(jù)中的經(jīng)驗(yàn)公式。其基本思路是：步驟1:固定變量X2,對X1進(jìn)行學(xué)習(xí)，即在現(xiàn)有原型基礎(chǔ)上，依次對所提配，用最小二乘法求出a,b系數(shù)，若某一原型經(jīng)線性組合后與實(shí)驗(yàn)數(shù)據(jù)的相對誤差小于一給定或值，則學(xué)習(xí)成功，否則轉(zhuǎn)步驟2。步驟2:在