數(shù)據(jù)挖掘分類算法比較

1、數(shù)據(jù)挖掘分類算法比較分類是數(shù)據(jù)挖掘、機器學習和模式識別中一個重要的研究領(lǐng)域。通過對當前數(shù)據(jù)挖掘中具 有代表性的優(yōu)秀分類算法進行分析和比較,總結(jié)出了各種算法的特性,為使用者選擇算法或研究 者改進算法提供了依據(jù).Decision Trees)1、決策樹易于理解和解釋.人們在通過解釋后都有能力去理解決策樹所表達的意義。2、對于決策樹，數(shù)據(jù)的準備往往是簡單或者是不必要的.其他的技術(shù)往往要求先把數(shù)據(jù)一般 化，比如去掉多余的或者空白的屬性。3、能夠同時處理數(shù)據(jù)型和常規(guī)型屬性。其他的技術(shù)往往要求數(shù)據(jù)屬性的單一。4、決策樹是一個白盒模型。如果給定一個觀察的模型，那么根據(jù)所產(chǎn)生的決策樹很容易推 5、易于通過靜態(tài)

2、測試來對模型進行評測 .表示有可能測量該模型的可信度。6、在相對短的時間內(nèi)能夠?qū)Υ笮蛿?shù)據(jù)源做出可行且效果良好的結(jié)果。7、可以對有許多屬性的數(shù)據(jù)集構(gòu)造決策樹。8、決策樹可很好地擴展到大型數(shù)據(jù)庫中，同時它的大小獨立于數(shù)據(jù)庫的大小。1、對于那些各類別樣本數(shù)量不一致的數(shù)據(jù),在決策樹當中,信息增益的結(jié)果偏向于那些具有 更多數(shù)值的特征。2、決策樹處理缺失數(shù)據(jù)時的困難。3、過度擬合問題的出現(xiàn)。4、忽略數(shù)據(jù)集中屬性之間的相關(guān)性。數(shù)據(jù)挖掘分類算法比較人工神經(jīng)網(wǎng)絡(luò)的優(yōu)點：分類的準確度高，并行分布處理能力強,分布存儲及學習能力強，對 噪聲神經(jīng)有較強的魯棒性和容錯能力，能充分逼近復雜的非線性關(guān)系，具備聯(lián)想記憶的功能等

3、。人工神經(jīng)網(wǎng)絡(luò)的缺點：神經(jīng)網(wǎng)絡(luò)需要大量的參數(shù),如網(wǎng)絡(luò)拓撲結(jié)構(gòu)、權(quán)值和閾值的初始值； 不能觀察之間的學習過程，輸出結(jié)果難以解釋，會影響到結(jié)果的可信度和可接受程度；學習時 間過長，甚至可能達不到學習的目的。算法1、與問題領(lǐng)域無關(guān)切快速隨機的搜索能力。2、搜索從群體出發(fā)，具有潛在的并行性，可以進行多個個體的同時比較，魯棒性好。3、搜索使用評價函數(shù)啟發(fā)，過程簡單。4、使用概率機制進行迭代,具有隨機性。5、具有可擴展性，容易與其他算法結(jié)合。1、遺傳算法的編程實現(xiàn)比較復雜,首先需要對問題進行編碼，找到最優(yōu)解之后還需要對問題 進行解碼,2、另外三個算子的實現(xiàn)也有許多參數(shù)，如交叉率和變異率,并且這些參數(shù)的選擇

4、嚴重影響解 的品質(zhì),而目前這些參數(shù)的選擇大部分是依靠經(jīng)驗.沒有能夠及時利用網(wǎng)絡(luò)的反饋信息,故算法 的搜索速度比較慢，要得要較精確的解需要較多的訓練時間。3、算法對初始種群的選擇有一定的依賴性，能夠結(jié)合一些啟發(fā)算法進行改進。數(shù)據(jù)挖掘分類算法比較。2、重新訓練的代價較低(類別體系的變化和訓練集的變化，在 Web 環(huán)境和電子商務(wù)應(yīng)用中 是很常見的) .3、計算時間和空間線性于訓練集的規(guī)模(在一些場合不算太大) . 5、該算法比較適用于樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域采用 這種算法比較容易產(chǎn)生誤分。1、KNN 算法是懶散學習方法(lazy learning，基本上不學習)，一些

5、積極學習的算法要快很 概率評分)。3、輸出的可解釋性不強，例如決策樹的可解釋性較強。4、該算法在分類時有個主要的不足是，當樣本不平衡時，如一個類的樣本容量很大,而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的 K 個鄰居中大容量類的樣本占 多數(shù)。該算法只計算“最近的”鄰居樣本，某一類的樣本數(shù)量很大，那么或者這類樣本并不接 近目標樣本,或者這類樣本很靠近目標樣本。無論怎樣，數(shù)量并不能影響運行結(jié)果?？梢圆捎脵?quán)值的方法(和該樣本距離小的鄰居權(quán)值大)來改進。5、計算量較大. 目前常用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本。五、支持向量機(SVM)的優(yōu)缺點1、可

6、以解決小樣本情況下的機器學習問題。數(shù)據(jù)挖掘分類算法比較2、可以提高泛化性能。3、可以解決高維問題。4、可以解決非線性問題。5、可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點問題.失數(shù)據(jù)敏感。2、對非線性問題沒有通用解決方案，必須謹慎選擇 Kernelfunction 來處理。1、樸素貝葉斯模型發(fā)源于古典數(shù)學理論，有著堅實的數(shù)學基礎(chǔ) ,以及穩(wěn)定的分類效率。2、NBC 模型所需估計的參數(shù)很少，對缺失數(shù)據(jù)不太敏感,算法也比較簡單. 是因為 NBC 模型假設(shè)屬性之間相互獨立,這個假設(shè)在實際應(yīng)用中往往是不成立的(可以考慮用聚 類算法先將相關(guān)性較大的屬性聚類)，這給 NBC 模型的正確分類帶來了一定影響.在屬性個數(shù)比 較多或者屬性之間相關(guān)性較大時,NBC 模型的分類效率比不上決策樹模型。而在屬性相關(guān)性較小 2、需要知道先驗概率。3、分類決策存在錯誤率adaboostst數(shù)據(jù)挖掘分類算法比較 3、當使用簡單分類器時,計算出的結(jié)果是可以理解的.而且弱分類器構(gòu)造極其簡單。4、簡單，不用做特征篩選。5、不用擔心 overfitting。 類系統(tǒng)性能的基準系統(tǒng)，而實用的分類系統(tǒng)很少采用這種算法解決具體的分類問題。根據(jù)這