數(shù)據(jù)挖掘考試復(fù)習(xí)

1、1. 了解商務(wù)智能的定義與大數(shù)據(jù)的四個(gè)基本特征；答：商務(wù)智能是企業(yè)利用數(shù)據(jù)倉庫（DW）、數(shù)據(jù)挖掘（DM）、在線分析處理（OLAP）、決策支持系統(tǒng)（DSS）等現(xiàn)代信息技術(shù)對(duì)企業(yè)生產(chǎn)、經(jīng)營過程中產(chǎn)生的大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行收集、整理、分析，形成知識(shí)或情報(bào)，以輔助企業(yè)做出正確的決策、采取有效的商務(wù)行動(dòng)、優(yōu)化商務(wù)流程、全面提升商務(wù)績效的工具、方法和技術(shù)的統(tǒng)稱。大數(shù)據(jù)特征： （4個(gè)V）2. 理解商務(wù)智能系統(tǒng)的5層結(jié)構(gòu)商務(wù)智能系統(tǒng)結(jié)構(gòu)大致分為五層:1 數(shù)據(jù)源層：也可稱作操作型數(shù)據(jù)層，是整個(gè)數(shù)據(jù)倉庫的基礎(chǔ)，提供了整個(gè)系統(tǒng)最原始的數(shù)據(jù)2 數(shù)據(jù)獲取層：也可稱作數(shù)據(jù)轉(zhuǎn)換層，主要是把數(shù)據(jù)源層的數(shù)據(jù)通過ETCL

2、過程轉(zhuǎn)換到數(shù)據(jù)倉庫中3 數(shù)據(jù)存取層：該層是按主題進(jìn)行分析和對(duì)相關(guān)的數(shù)據(jù)進(jìn)行挖掘的數(shù)據(jù)源，包括每一個(gè)按主題進(jìn)行分類的數(shù)據(jù)集市或?qū)ｉT用于數(shù)據(jù)挖掘的數(shù)據(jù)倉庫4 數(shù)據(jù)分析服務(wù)層：該層是數(shù)據(jù)存儲(chǔ)和前端分析工具的橋梁5 前端展現(xiàn)層：用戶界面3. 理解操作型與分析型系統(tǒng)分離的必要性以及他們的特征4. 理解維度爆炸給數(shù)據(jù)挖掘帶來的困難數(shù)據(jù)過高的維度會(huì)給計(jì)算帶來麻煩，在數(shù)據(jù)挖掘處理時(shí)，它會(huì)耗費(fèi)很多的處理時(shí)間和內(nèi)存容量。數(shù)據(jù)的高維度還使得數(shù)據(jù)間的關(guān)系也不容易察覺，增加了數(shù)據(jù)的無關(guān)屬性和噪音點(diǎn)。5. 掌握數(shù)據(jù)倉庫的定義并理解其四個(gè)方面的特征數(shù)據(jù)倉庫是決策支持系統(tǒng)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。數(shù)據(jù)倉庫研究和解

3、決從數(shù)據(jù)庫中獲取信息的問題。（數(shù)據(jù)倉庫是為支持管理決策建立的，面向主題的、集成的、隨時(shí)間變化的、相對(duì)穩(wěn)定的數(shù)據(jù)集合。）【滔注：我覺得寫括號(hào)里的會(huì)好一點(diǎn)】四方面特征：1 面向主題：主題是指用戶使用數(shù)據(jù)倉庫進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)忙面。2 集成性：在數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫之前，要進(jìn)過統(tǒng)一于綜合，將多個(gè)異源數(shù)據(jù)集成在一起。這一步是數(shù)據(jù)倉庫建設(shè)中最關(guān)鍵、最復(fù)雜的一步。3 時(shí)變性：數(shù)據(jù)倉庫隨時(shí)間變化不斷增加新的數(shù)據(jù)。4 相對(duì)穩(wěn)定性：數(shù)據(jù)倉庫反映的是歷史的內(nèi)容，而不是聯(lián)機(jī)數(shù)據(jù)，主要供企業(yè)決策分析之用。6. 掌握數(shù)據(jù)挖掘的定義并描述其主要特征【數(shù)據(jù)挖掘定義】從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱

4、含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識(shí)的過程。數(shù)據(jù)挖掘是從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)?！局饕襟E】（1）數(shù)據(jù)準(zhǔn)備：從各種數(shù)據(jù)源中選取和集成用于數(shù)據(jù)挖掘的數(shù)據(jù) ；（2）規(guī)律尋找：用某種方法將數(shù)據(jù)中的規(guī)律找出來；（3）規(guī)律表示：用盡可能符合用戶習(xí)慣的方式將找出的規(guī)律表示出來。7. 掌握Minkowski距離，并熟練計(jì)算l1，l2，l無窮norm【L1norm】當(dāng)r=1，城市街區(qū)（也稱曼哈頓、出租車、L1范數(shù)）距離；【L2norm】當(dāng)r=2，歐幾里得距離；【Lnorm】當(dāng)r=，上確界距離，這是對(duì)象屬性之間的最大距離。8. 理解Hunts算法的基本過程通過將訓(xùn)練記錄相繼劃分成較純的

5、子集,以遞歸方式建立決策樹。設(shè)Dt是與節(jié)點(diǎn)t相關(guān)聯(lián)的訓(xùn)練記錄集,而Y= y1,y2,yc是類標(biāo)號(hào),Hunt算法的遞歸定義如下:(1)如果Dt中所有記錄都屬于同一個(gè)類yt,則t是葉節(jié)點(diǎn),用yt標(biāo)記。(2)如果Dt中包含屬于多個(gè)類的記錄,則選擇一個(gè)屬性測試條件,將記錄劃分成較小的子集。對(duì)于測試條件的每個(gè)輸出,創(chuàng)建一個(gè)子女節(jié)點(diǎn),并根據(jù)測試結(jié)果將Dt中的記錄分布到子女節(jié)點(diǎn)中。然后,對(duì)于每個(gè)子女節(jié)點(diǎn),遞歸地調(diào)用該算法。9. 掌握吉尼系數(shù)、熵的定義，會(huì)計(jì)算其最大值與最小值，理解信息增益在構(gòu)造決策樹時(shí)的意義【基尼系數(shù)、熵是度量不純度的方法】GINI系數(shù)和熵都是越小，代表所分的節(jié)點(diǎn)屬性越純，最小可取到0，表示

6、這個(gè)節(jié)點(diǎn)中只有一個(gè)類。當(dāng)一個(gè)節(jié)點(diǎn)中有n個(gè)父節(jié)點(diǎn)，而且能分出n個(gè)子節(jié)點(diǎn)，GINI系數(shù)取到最大值，為1-1/n. 熵也取到最大值 log2 n （滔注：那個(gè)2是角標(biāo)，不是log2n ！）【基尼值的性質(zhì)】：越大越不純，越小越純，0最純，1-1/n最不純。b.子節(jié)點(diǎn)基尼值c.最大值、最小值（最小值表示最純，最大值表示最不純）【熵】在信息領(lǐng)域熵被用來衡量一個(gè)隨機(jī)變量出現(xiàn)的期望值。熵是對(duì)信息的不確定性的度量。熵越低，意味著傳輸?shù)男畔⒃缴?。【熵的性質(zhì)】：熵是衡量節(jié)點(diǎn)一致性的函數(shù)。熵大于等于0，當(dāng)且僅當(dāng)p1=p2=pn時(shí)，熵最大，純的節(jié)點(diǎn)熵是0.【信息增益】當(dāng)選擇熵作為公式的不純性度量時(shí)，熵的差就是所謂的信息

7、增益。信息增益描述了當(dāng)使用Q進(jìn)行編碼時(shí)，再使用P進(jìn)行編碼的差異。通常P代表樣本或觀察值的分布，也有可能是精確計(jì)算的理論分布。Q代表一種理論，模型，描述或者對(duì)P的近似。當(dāng)純度高達(dá)1時(shí)（即只有一種數(shù)據(jù)類型），熵最小，為0；當(dāng)其中的各類數(shù)據(jù)均勻分布時(shí)，熵最大，為-log2p（j|t）。10. 理解了解最鄰近分類的基本思想，鄰近分類的前提條件與分類過程【近鄰分類法】是基于類比學(xué)習(xí)，即通過將給定的檢驗(yàn)元組與和它相似的訓(xùn)練元組進(jìn)行比較來學(xué)習(xí)。訓(xùn)練元組用n個(gè)屬性描述。每個(gè)元祖代表n維空間的一個(gè)點(diǎn)。這樣，所有的訓(xùn)練元組都存放在n維模式空間中。當(dāng)給定一個(gè)未知元組時(shí)，近鄰分類法搜索模式空間，找出最接近未知元組的k

8、個(gè)訓(xùn)練元組。這k個(gè)訓(xùn)練元組是未知元組的k個(gè)“最近鄰”。一句話概述：點(diǎn)x的k-最近鄰分類就是離點(diǎn)x的歐式距離最近的k個(gè)點(diǎn)的集合。 三個(gè)前提條件：訓(xùn)練集存在內(nèi)存中；給定距離度量指標(biāo)；給定K值分類過程：1 計(jì)算未知點(diǎn)與其他訓(xùn)練集的距離 2找到K個(gè)最鄰近的鄰近組 3用鄰近組的分類標(biāo)簽來決定未知點(diǎn)所在組的標(biāo)簽。11. 了解分類中的過擬合及產(chǎn)生的原因【過度擬合數(shù)據(jù)】當(dāng)決策樹變大時(shí)，測試誤差會(huì)越來越小，而訓(xùn)練誤差會(huì)越來越大，測試集產(chǎn)生的決策樹與實(shí)際會(huì)不符?！井a(chǎn)生的原因】（1） 噪聲導(dǎo)致的過分?jǐn)M合（2） 決策樹的復(fù)雜程度超過了需要的程度，會(huì)產(chǎn)生過度擬合（3） 訓(xùn)練誤差的減小已經(jīng)對(duì)結(jié)果沒有更多意義但卻依然在計(jì)算

9、，會(huì)產(chǎn)生過度擬合（4） 沒有更多的屬性來減小樣本誤差，會(huì)產(chǎn)生過度擬合12. 理解關(guān)聯(lián)規(guī)則及支持與置信度的定義，并熟練計(jì)算支持度與置信度【關(guān)聯(lián)規(guī)則】關(guān)聯(lián)規(guī)則是形如XY的蘊(yùn)涵式，其中，X和Y都是事務(wù)數(shù)據(jù)集。關(guān)聯(lián)規(guī)則的強(qiáng)度可以用它的支持度和置信度度量?！局С侄萐upport】事務(wù)數(shù)據(jù)庫中既包含X又包含Y某個(gè)項(xiàng)集的事務(wù)占事務(wù)總數(shù)的比例；【置信度Confidence】在所有包含X的事務(wù)中包含Y的事務(wù)所占比例。13. 理解Apriori性質(zhì)及其意義【Apriori】如果一個(gè)項(xiàng)集是頻繁的，那么它的所有子集都是頻繁的。相反，如果一個(gè)項(xiàng)集是非頻繁的，則它的所有超集也一定是非頻繁的。【意義】利用該性質(zhì)，通過減少搜

10、索空間，來提高頻繁項(xiàng)集逐層產(chǎn)生的效率。14. 理解FP-Growth算法克服了Apriori算法的那些不足1. 減少了掃描數(shù)據(jù)庫的次數(shù)，只用掃描兩次2. 候選項(xiàng)變少，不會(huì)產(chǎn)生那么大的候選項(xiàng)集15. 給定一個(gè)交易數(shù)據(jù)庫與支持度閾值，能熟練運(yùn)用Apriori算法與FP-Growth算法挖掘頻繁項(xiàng)集【Apriori算法計(jì)算頻繁項(xiàng)集】【步驟】1、第一次掃描，列出一項(xiàng)集，并計(jì)數(shù)。 2、去除低于閾值的項(xiàng)集，組合出二項(xiàng)集，掃描計(jì)數(shù)。 3、重復(fù)步驟2，依次組合出N項(xiàng)集，直至項(xiàng)集計(jì)數(shù)小于閾值，結(jié)束。 【注意】Apriori定義：如果一個(gè)項(xiàng)集是非頻繁的，則它的所有超集也一定是非頻繁的。所以在組合項(xiàng)集時(shí)一定要注意，

11、新組合出的項(xiàng)集不應(yīng)包含已經(jīng)被“淘汰”的項(xiàng)集。 【FP-Growth算法計(jì)算頻繁項(xiàng)集】步驟一、掃描一次數(shù)據(jù)集，確定每個(gè)項(xiàng)的支持度計(jì)數(shù)。丟棄非頻繁項(xiàng)，將頻繁項(xiàng)按照支持度的遞減排序，生成頻繁項(xiàng)集頭表。（注意事項(xiàng)：1、降序排列。2、MinSup的存在?。┎襟E二、第二次掃描投影，按照f,c,a,b,m,p的順序逐條對(duì)應(yīng)寫出剔除非頻繁項(xiàng)后的頻繁集，（注意：f,c,a,b,m,p的順序確定后就不在變動(dòng)，這在下面的步驟中起關(guān)鍵作用）步驟三、并開始構(gòu)建FP樹。按照事務(wù)ID號(hào)的順序，將處理好的頻繁項(xiàng)集映射創(chuàng)建FP樹，并在對(duì)應(yīng)節(jié)點(diǎn)計(jì)數(shù)。步驟四、構(gòu)建每個(gè)對(duì)象的條件模式基，建議從頻率低的節(jié)點(diǎn)開始。（注意：不要忘了f對(duì)應(yīng)

12、的）。步驟五、列出下表，對(duì)照MinSup剔除低于閾值的項(xiàng)。步驟六、針對(duì)每一項(xiàng)建立條件FP樹。下面用m項(xiàng)作例子，如下。步驟七、找出頻繁項(xiàng)集。16. 理解關(guān)聯(lián)規(guī)則產(chǎn)生時(shí)所采取的優(yōu)化策略（老師說直接距離就可以）比如，L = A,B,C,D:c(ABC D) c(AB CD) c(A BCD)【為什么？分子不變，都是ABCD，分母越來越大】17. 理解K-means算法的內(nèi)容并討論該算法之不足【K-means】K均值算法流程1、 隨機(jī)選擇K個(gè)對(duì)象，每個(gè)對(duì)象代表一個(gè)簇的初始均值或中心2、 對(duì)剩余的每個(gè)對(duì)象，根據(jù)它與簇均值的距離，將他指派到最相似的簇。3、 計(jì)算每個(gè)簇的新均值4、 回到步驟2，循環(huán)，直到準(zhǔn)

13、則函數(shù)收斂?！静蛔阒帯?、 只有當(dāng)簇均值有定義的情況下，K-means方法才能夠使用。2、 用戶必須首先給定簇?cái)?shù)目3、 不適合發(fā)現(xiàn)非凸形狀的簇，或者大小差別很大的簇。4、 對(duì)噪聲和離群點(diǎn)數(shù)據(jù)敏感。18. 理解凝聚聚類算法的基本過程，并分析算法時(shí)間與空間復(fù)雜度步驟：1計(jì)算距離矩陣 2 讓每個(gè)數(shù)據(jù)點(diǎn)成為一個(gè)群集 3,循環(huán)開始 4， 合并兩個(gè)距離最近的群集 5， 更新距離矩陣 6，直到只剩下一個(gè)群集時(shí)間復(fù)雜度：N²倍 空間復(fù)雜度：N³倍19. 理解DBSCAN算法將待聚類的點(diǎn)分為哪幾類，分解解釋之三類：中心點(diǎn)：中心點(diǎn)領(lǐng)域范圍內(nèi)的點(diǎn)的個(gè)數(shù)臨界值（MinPts）邊界點(diǎn)：邊界點(diǎn)領(lǐng)域范

14、圍內(nèi)的點(diǎn)個(gè)數(shù)小于臨界值，但是它在中心點(diǎn)鄰域范圍的邊界上。噪音點(diǎn)：既不是中心點(diǎn)又不是邊界點(diǎn)的點(diǎn)。（噪音點(diǎn)領(lǐng)域范圍內(nèi)的點(diǎn)個(gè)數(shù)小于臨界點(diǎn)。）20. 理解DBSCAN算法的思想及它克服了K-means算法的哪些不足【基于密度的聚類】只要一個(gè)區(qū)域中的點(diǎn)的密度大于某個(gè)域值，就把它加到與之相近的聚類中去。克服基于距離的算法只能發(fā)現(xiàn)“類圓形”的聚類的缺點(diǎn)，可發(fā)現(xiàn)任意形狀的聚類，且對(duì)噪聲不敏感。但是，其計(jì)算密度短語的計(jì)算復(fù)雜度大，需要建立空間索引來降低計(jì)算量，且對(duì)數(shù)據(jù)維數(shù)的伸縮性較差。【DBSCAN】（Density-Based Spatial Clustering of Applications with Noise）具有噪聲的基于密度的聚類應(yīng)用?！舅惴ú襟E】1、 通過檢查數(shù)據(jù)集中每個(gè)對(duì)象的-鄰域（可以理解為半徑）來尋找聚類2、 如果一個(gè)點(diǎn)P的-鄰域包含多于MinPts（最少包含點(diǎn)數(shù)）個(gè)對(duì)象，則創(chuàng)建一個(gè)P作為核心對(duì)象的新簇。3、 反復(fù)地尋找從這個(gè)核心對(duì)象直接密度可達(dá)