數(shù)據(jù)挖掘的10大算法

1、數(shù)據(jù)挖掘的10大經(jīng)典算法1，Apriori算法 Apriori算法使用的是一種逐層搜索的迭代是方法 首先，通過掃描數(shù)據(jù)庫，累計(jì)每個(gè)項(xiàng)的個(gè)數(shù)，并搜集滿足最小支持度的項(xiàng)，形成頻繁1項(xiàng)集L1。通過L1，在數(shù)據(jù)庫中尋找頻繁2項(xiàng)集L2，直至不能找到更多項(xiàng)的平凡項(xiàng)集。最小支持度為22%數(shù)據(jù)庫中有9條數(shù)據(jù)，最小支持度就是9*22%=2掃描數(shù)據(jù)庫根究最小支持度，得出頻繁1項(xiàng)集C1.根據(jù)C1掃描數(shù)據(jù)庫得到2項(xiàng)集C2，比較最小支持度，刪除不頻繁項(xiàng)，得到頻繁2項(xiàng)集L2.根據(jù)排列組合，3項(xiàng)集應(yīng)該如第一個(gè)集合顯示的。如果基數(shù)很大的話，組合的數(shù)目應(yīng)該很大。Apriori算法有個(gè)規(guī)則，如果一個(gè)k項(xiàng)集不是頻繁項(xiàng)集，那么k+1

2、項(xiàng)集也就不是頻繁項(xiàng)集。根據(jù)頻繁2項(xiàng)集排列組合得出中間的集合，然后掃描數(shù)據(jù)庫，得出頻繁3項(xiàng)集。每找一次頻繁k項(xiàng)集就要掃描一次數(shù)據(jù)庫，每次都會(huì)生成大量的候選項(xiàng)集。2，k-means 選取k個(gè)中心點(diǎn) 計(jì)算所有數(shù)據(jù)到中心點(diǎn)的距離（歐幾里得距離），并把距某個(gè)中心點(diǎn)最近的點(diǎn)歸到一類。 計(jì)算一個(gè)聚類里面的點(diǎn)的平均值，然后把平均值作為新的中心點(diǎn) 重復(fù)上面兩步，直至收斂。在樣本集中隨機(jī)的選擇兩個(gè)中心點(diǎn)計(jì)算到中心點(diǎn)的歐幾里得距離，把離同一個(gè)中心點(diǎn)最近的點(diǎn)歸到一類中，計(jì)算聚類中點(diǎn)的平均值，作為新的中心點(diǎn)不停地迭代，直至中心點(diǎn)收斂為止，得到最終的聚類結(jié)果 需要提前估計(jì)K點(diǎn)，比較困難，選擇的不好的話，聚類效果會(huì)受到一定

3、的影響。 計(jì)算量大，時(shí)間消耗比較大。KNN，K最近鄰分類法 一個(gè)樣本空間里的樣本分成很幾個(gè)類型，然后，給定一個(gè)待分類的數(shù)據(jù)，通過計(jì)算接近自己最近的K個(gè)樣本來判斷這個(gè)待分類數(shù)據(jù)屬于哪個(gè)分類。 一個(gè)數(shù)據(jù)放到測試數(shù)據(jù)中，k=3時(shí)，計(jì)算歐幾里得距離，最靠近測試數(shù)據(jù)的有3個(gè)點(diǎn)，紅的2個(gè)，藍(lán)的一個(gè)，我們就把測試數(shù)據(jù)歸到紅色的類中 k=5時(shí)，計(jì)算歐幾里得距離，最靠近測試數(shù)據(jù)的有5個(gè)點(diǎn)，紅的2個(gè)，藍(lán)的3個(gè)，我們就把測試數(shù)據(jù)歸到藍(lán)色色的類中 當(dāng)一個(gè)數(shù)據(jù)v過大時(shí)，通過公式 v=(v-min(a)/(max(a)-min(a)保證范圍在0-1之間 計(jì)算量大，空間開銷大，當(dāng)樣本不平衡時(shí)，在一定情況下，分類結(jié)果會(huì)出現(xiàn)誤

4、差4，Nave Bayes樸素貝葉斯P(A|B,C)=P(B|A)* P(C|A)* P(A)/(P(B)*P(C) 在計(jì)算概率的時(shí)候，如果某個(gè)屬性出現(xiàn)的次數(shù)0，則在對應(yīng)得屬性出現(xiàn)次數(shù)上都加上15，CART 是基于決策樹的一種算法，將當(dāng)前樣本集分為兩個(gè)樣本集，使得每個(gè)沒葉子節(jié)點(diǎn)都有兩個(gè)分支，所以CART算法生成的決策樹都是二叉樹6，C4.57,Adaboost 是一種迭代算法，核心是針對同一個(gè)訓(xùn)練集訓(xùn)練成不同的弱分類器，再把弱分類器組合成一個(gè)最終分類器。8，PageRank PageRank算法計(jì)算每一個(gè)網(wǎng)頁的PageRank值，然后根據(jù)這個(gè)值的大小對網(wǎng)頁的重要性進(jìn)行排序。一個(gè)網(wǎng)頁可能只有如鏈，而出鏈也是指向自己，這就可能導(dǎo)致最終迭代結(jié)果是該頁面的pagerank值為1，其他為0一個(gè)網(wǎng)頁可能只有如鏈，沒有出鏈，這就可能導(dǎo)致最終迭代結(jié)果是所有頁面的pagerank值為0 每一步，上網(wǎng)者可能都不想看當(dāng)前網(wǎng)頁了，不看當(dāng)前網(wǎng)頁也就不會(huì)點(diǎn)擊上面的連接，而上悄悄地在地址欄輸入另外一個(gè)地址，而在地址欄輸入而跳轉(zhuǎn)到各個(gè)網(wǎng)頁的概率是1/n。假設(shè)上網(wǎng)者每一步查看當(dāng)前網(wǎng)頁的概率為a，那么他從瀏覽器地址欄跳轉(zhuǎn)的概率為(1-a)，于是原來的迭代公式轉(zhuǎn)化為：9，最大期望EM 取對數(shù)似然函數(shù)的最大值，代入1,2迭代直至收斂10，SVM支持向量機(jī) 支持向量機(jī)將向量映射到一個(gè)更高維的空