數(shù)據(jù)挖掘考試重點復(fù)習(xí)

1、1. 了解商務(wù)智能的定義與大數(shù)據(jù)的四個基本特征；答：商務(wù)智能是企業(yè)利用數(shù)據(jù)倉庫（DW）、數(shù)據(jù)挖掘（DM）、在線分析處理（OLAP）、決策支持系統(tǒng)（DSS）等現(xiàn)代信息技術(shù)對企業(yè)生產(chǎn)、經(jīng)營過程中產(chǎn)生的大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行收集、整理、分析，形成知識或情報，以輔助企業(yè)做出正確的決策、采取有效的商務(wù)行動、優(yōu)化商務(wù)流程、全面提升商務(wù)績效的工具、方法和技術(shù)的統(tǒng)稱。大數(shù)據(jù)特征： （4個V）2. 理解商務(wù)智能系統(tǒng)的5層結(jié)構(gòu)商務(wù)智能系統(tǒng)結(jié)構(gòu)大致分為五層:1 數(shù)據(jù)源層：也可稱作操作型數(shù)據(jù)層，是整個數(shù)據(jù)倉庫的基礎(chǔ)，提供了整個系統(tǒng)最原始的數(shù)據(jù)2 數(shù)據(jù)獲取層：也可稱作數(shù)據(jù)轉(zhuǎn)換層，主要是把數(shù)據(jù)源層的數(shù)據(jù)通過ETCL

2、過程轉(zhuǎn)換到數(shù)據(jù)倉庫中3 數(shù)據(jù)存取層：該層是按主題進(jìn)行分析和對相關(guān)的數(shù)據(jù)進(jìn)行挖掘的數(shù)據(jù)源，包括每一個按主題進(jìn)行分類的數(shù)據(jù)集市或?qū)ｉT用于數(shù)據(jù)挖掘的數(shù)據(jù)倉庫4 數(shù)據(jù)分析服務(wù)層：該層是數(shù)據(jù)存儲和前端分析工具的橋梁5 前端展現(xiàn)層：用戶界面3. 理解操作型與分析型系統(tǒng)分離的必要性以及他們的特征4. 理解維度爆炸給數(shù)據(jù)挖掘帶來的困難數(shù)據(jù)過高的維度會給計算帶來麻煩，在數(shù)據(jù)挖掘處理時，它會耗費很多的處理時間和內(nèi)存容量。數(shù)據(jù)的高維度還使得數(shù)據(jù)間的關(guān)系也不容易察覺，增加了數(shù)據(jù)的無關(guān)屬性和噪音點。5. 掌握數(shù)據(jù)倉庫的定義并理解其四個方面的特征數(shù)據(jù)倉庫是決策支持系統(tǒng)和聯(lián)機分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。數(shù)據(jù)倉庫研究和解

3、決從數(shù)據(jù)庫中獲取信息的問題。（數(shù)據(jù)倉庫是為支持管理決策建立的，面向主題的、集成的、隨時間變化的、相對穩(wěn)定的數(shù)據(jù)集合。）【滔注：我覺得寫括號里的會好一點】四方面特征：1 面向主題：主題是指用戶使用數(shù)據(jù)倉庫進(jìn)行決策時所關(guān)心的重點忙面。2 集成性：在數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫之前，要進(jìn)過統(tǒng)一于綜合，將多個異源數(shù)據(jù)集成在一起。這一步是數(shù)據(jù)倉庫建設(shè)中最關(guān)鍵、最復(fù)雜的一步。3 時變性：數(shù)據(jù)倉庫隨時間變化不斷增加新的數(shù)據(jù)。4 相對穩(wěn)定性：數(shù)據(jù)倉庫反映的是歷史的內(nèi)容，而不是聯(lián)機數(shù)據(jù)，主要供企業(yè)決策分析之用。6. 掌握數(shù)據(jù)挖掘的定義并描述其主要特征【數(shù)據(jù)挖掘定義】從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取隱

4、含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識的過程。數(shù)據(jù)挖掘是從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。【主要步驟】（1）數(shù)據(jù)準(zhǔn)備：從各種數(shù)據(jù)源中選取和集成用于數(shù)據(jù)挖掘的數(shù)據(jù) ；（2）規(guī)律尋找：用某種方法將數(shù)據(jù)中的規(guī)律找出來；（3）規(guī)律表示：用盡可能符合用戶習(xí)慣的方式將找出的規(guī)律表示出來。7. 掌握Minkowski距離，并熟練計算l1，l2，l無窮norm【L1norm】當(dāng)r=1，城市街區(qū)（也稱曼哈頓、出租車、L1范數(shù)）距離；【L2norm】當(dāng)r=2，歐幾里得距離；【Lnorm】當(dāng)r=，上確界距離，這是對象屬性之間的最大距離。8. 理解Hunts算法的基本過程通過將訓(xùn)練記錄相繼劃分成較純的

5、子集,以遞歸方式建立決策樹。設(shè)Dt是與節(jié)點t相關(guān)聯(lián)的訓(xùn)練記錄集,而Y= y1,y2,yc是類標(biāo)號,Hunt算法的遞歸定義如下:(1)如果Dt中所有記錄都屬于同一個類yt,則t是葉節(jié)點,用yt標(biāo)記。(2)如果Dt中包含屬于多個類的記錄,則選擇一個屬性測試條件,將記錄劃分成較小的子集。對于測試條件的每個輸出,創(chuàng)建一個子女節(jié)點,并根據(jù)測試結(jié)果將Dt中的記錄分布到子女節(jié)點中。然后,對于每個子女節(jié)點,遞歸地調(diào)用該算法。9. 掌握吉尼系數(shù)、熵的定義，會計算其最大值與最小值，理解信息增益在構(gòu)造決策樹時的意義【基尼系數(shù)、熵是度量不純度的方法】GINI系數(shù)和熵都是越小，代表所分的節(jié)點屬性越純，最小可取到0，表示

6、這個節(jié)點中只有一個類。當(dāng)一個節(jié)點中有n個父節(jié)點，而且能分出n個子節(jié)點，GINI系數(shù)取到最大值，為1-1/n. 熵也取到最大值 log2 n （滔注：那個2是角標(biāo)，不是log2n ?。净嶂档男再|(zhì)】：越大越不純，越小越純，0最純，1-1/n最不純。b.子節(jié)點基尼值c.最大值、最小值（最小值表示最純，最大值表示最不純）【熵】在信息領(lǐng)域熵被用來衡量一個隨機變量出現(xiàn)的期望值。熵是對信息的不確定性的度量。熵越低，意味著傳輸?shù)男畔⒃缴?。【熵的性質(zhì)】：熵是衡量節(jié)點一致性的函數(shù)。熵大于等于0，當(dāng)且僅當(dāng)p1=p2=pn時，熵最大，純的節(jié)點熵是0.【信息增益】當(dāng)選擇熵作為公式的不純性度量時，熵的差就是所謂的信息

7、增益。信息增益描述了當(dāng)使用Q進(jìn)行編碼時，再使用P進(jìn)行編碼的差異。通常P代表樣本或觀察值的分布，也有可能是精確計算的理論分布。Q代表一種理論，模型，描述或者對P的近似。當(dāng)純度高達(dá)1時（即只有一種數(shù)據(jù)類型），熵最小，為0；當(dāng)其中的各類數(shù)據(jù)均勻分布時，熵最大，為-log2p（j|t）。10. 理解了解最鄰近分類的基本思想，鄰近分類的前提條件與分類過程【近鄰分類法】是基于類比學(xué)習(xí)，即通過將給定的檢驗元組與和它相似的訓(xùn)練元組進(jìn)行比較來學(xué)習(xí)。訓(xùn)練元組用n個屬性描述。每個元祖代表n維空間的一個點。這樣，所有的訓(xùn)練元組都存放在n維模式空間中。當(dāng)給定一個未知元組時，近鄰分類法搜索模式空間，找出最接近未知元組的k

8、個訓(xùn)練元組。這k個訓(xùn)練元組是未知元組的k個“最近鄰”。一句話概述：點x的k-最近鄰分類就是離點x的歐式距離最近的k個點的集合。 三個前提條件：訓(xùn)練集存在內(nèi)存中；給定距離度量指標(biāo)；給定K值分類過程：1 計算未知點與其他訓(xùn)練集的距離 2找到K個最鄰近的鄰近組 3用鄰近組的分類標(biāo)簽來決定未知點所在組的標(biāo)簽。11. 了解分類中的過擬合及產(chǎn)生的原因【過度擬合數(shù)據(jù)】當(dāng)決策樹變大時，測試誤差會越來越小，而訓(xùn)練誤差會越來越大，測試集產(chǎn)生的決策樹與實際會不符?！井a(chǎn)生的原因】（1） 噪聲導(dǎo)致的過分?jǐn)M合（2） 決策樹的復(fù)雜程度超過了需要的程度，會產(chǎn)生過度擬合（3） 訓(xùn)練誤差的減小已經(jīng)對結(jié)果沒有更多意義但卻依然在計算

9、，會產(chǎn)生過度擬合（4） 沒有更多的屬性來減小樣本誤差，會產(chǎn)生過度擬合12. 理解關(guān)聯(lián)規(guī)則及支持與置信度的定義，并熟練計算支持度與置信度【關(guān)聯(lián)規(guī)則】關(guān)聯(lián)規(guī)則是形如XY的蘊涵式，其中，X和Y都是事務(wù)數(shù)據(jù)集。關(guān)聯(lián)規(guī)則的強度可以用它的支持度和置信度度量?！局С侄萐upport】事務(wù)數(shù)據(jù)庫中既包含X又包含Y某個項集的事務(wù)占事務(wù)總數(shù)的比例；【置信度Confidence】在所有包含X的事務(wù)中包含Y的事務(wù)所占比例。13. 理解Apriori性質(zhì)及其意義【Apriori】如果一個項集是頻繁的，那么它的所有子集都是頻繁的。相反，如果一個項集是非頻繁的，則它的所有超集也一定是非頻繁的?！疽饬x】利用該性質(zhì)，通過減少搜

10、索空間，來提高頻繁項集逐層產(chǎn)生的效率。14. 理解FP-Growth算法克服了Apriori算法的那些不足1. 減少了掃描數(shù)據(jù)庫的次數(shù)，只用掃描兩次2. 候選項變少，不會產(chǎn)生那么大的候選項集15. 給定一個交易數(shù)據(jù)庫與支持度閾值，能熟練運用Apriori算法與FP-Growth算法挖掘頻繁項集【Apriori算法計算頻繁項集】【步驟】1、第一次掃描，列出一項集，并計數(shù)。 2、去除低于閾值的項集，組合出二項集，掃描計數(shù)。 3、重復(fù)步驟2，依次組合出N項集，直至項集計數(shù)小于閾值，結(jié)束。 【注意】Apriori定義：如果一個項集是非頻繁的，則它的所有超集也一定是非頻繁的。所以在組合項集時一定要注意，

11、新組合出的項集不應(yīng)包含已經(jīng)被“淘汰”的項集。 【FP-Growth算法計算頻繁項集】步驟一、掃描一次數(shù)據(jù)集，確定每個項的支持度計數(shù)。丟棄非頻繁項，將頻繁項按照支持度的遞減排序，生成頻繁項集頭表。（注意事項：1、降序排列。2、MinSup的存在?。┎襟E二、第二次掃描投影，按照f,c,a,b,m,p的順序逐條對應(yīng)寫出剔除非頻繁項后的頻繁集，（注意：f,c,a,b,m,p的順序確定后就不在變動，這在下面的步驟中起關(guān)鍵作用）步驟三、并開始構(gòu)建FP樹。按照事務(wù)ID號的順序，將處理好的頻繁項集映射創(chuàng)建FP樹，并在對應(yīng)節(jié)點計數(shù)。步驟四、構(gòu)建每個對象的條件模式基，建議從頻率低的節(jié)點開始。（注意：不要忘了f對應(yīng)

12、的）。步驟五、列出下表，對照MinSup剔除低于閾值的項。步驟六、針對每一項建立條件FP樹。下面用m項作例子，如下。步驟七、找出頻繁項集。16. 理解關(guān)聯(lián)規(guī)則產(chǎn)生時所采取的優(yōu)化策略（老師說直接距離就可以）比如，L = A,B,C,D:c(ABC D) c(AB CD) c(A BCD)【為什么？分子不變，都是ABCD，分母越來越大】17. 理解K-means算法的內(nèi)容并討論該算法之不足【K-means】K均值算法流程1、 隨機選擇K個對象，每個對象代表一個簇的初始均值或中心2、 對剩余的每個對象，根據(jù)它與簇均值的距離，將他指派到最相似的簇。3、 計算每個簇的新均值4、 回到步驟2，循環(huán)，直到準(zhǔn)

13、則函數(shù)收斂?！静蛔阒帯?、 只有當(dāng)簇均值有定義的情況下，K-means方法才能夠使用。2、 用戶必須首先給定簇數(shù)目3、 不適合發(fā)現(xiàn)非凸形狀的簇，或者大小差別很大的簇。4、 對噪聲和離群點數(shù)據(jù)敏感。18. 理解凝聚聚類算法的基本過程，并分析算法時間與空間復(fù)雜度步驟：1計算距離矩陣 2 讓每個數(shù)據(jù)點成為一個群集 3,循環(huán)開始 4， 合并兩個距離最近的群集 5， 更新距離矩陣 6，直到只剩下一個群集時間復(fù)雜度：N²倍 空間復(fù)雜度：N³倍19. 理解DBSCAN算法將待聚類的點分為哪幾類，分解解釋之三類：中心點：中心點領(lǐng)域范圍內(nèi)的點的個數(shù)臨界值（MinPts）邊界點：邊界點領(lǐng)域范

14、圍內(nèi)的點個數(shù)小于臨界值，但是它在中心點鄰域范圍的邊界上。噪音點：既不是中心點又不是邊界點的點。（噪音點領(lǐng)域范圍內(nèi)的點個數(shù)小于臨界點。）20. 理解DBSCAN算法的思想及它克服了K-means算法的哪些不足【基于密度的聚類】只要一個區(qū)域中的點的密度大于某個域值，就把它加到與之相近的聚類中去?？朔诰嚯x的算法只能發(fā)現(xiàn)“類圓形”的聚類的缺點，可發(fā)現(xiàn)任意形狀的聚類，且對噪聲不敏感。但是，其計算密度短語的計算復(fù)雜度大，需要建立空間索引來降低計算量，且對數(shù)據(jù)維數(shù)的伸縮性較差。【DBSCAN】（Density-Based Spatial Clustering of Applications with Noise）具有噪聲的基于密度的聚類應(yīng)用?！舅惴ú襟E】1、 通過檢查數(shù)據(jù)集中每個對象的-鄰域（可以理解為半徑）來尋找聚類2、 如果一個點P的-鄰域包含多于MinPts（最少包含點數(shù)）個對象，則創(chuàng)建一個P作為核心對象的新簇。3、 反復(fù)地尋找從這個核心對象直接密度可達(dá)