基于weka的數(shù)據(jù)分類分析實驗報告

1、數(shù)據(jù)挖掘?qū)嶒瀳蟾?陳諾言 201021030483基于weka的數(shù)據(jù)分類分析實驗報告姓名：陳諾言 學號：2010210304831實驗基本內(nèi)容本實驗的基本內(nèi)容是通過使用weka中的三種常見分類方法（樸素貝葉斯，KNN和決策樹C4.5）分別在訓(xùn)練數(shù)據(jù)上訓(xùn)練出分類模型，并使用校驗數(shù)據(jù)對各個模型進行測試和評價，找出各個模型最優(yōu)的參數(shù)值，并對三個模型進行全面評價比較，得到一個最好的分類模型以及該模型所有設(shè)置的最優(yōu)參數(shù)。最后使用這些參數(shù)以及訓(xùn)練集和校驗集數(shù)據(jù)一起構(gòu)造出一個最優(yōu)分類器，并利用該分類器對測試數(shù)據(jù)進行預(yù)測。2數(shù)據(jù)的準備及預(yù)處理2.1格式轉(zhuǎn)換方法原始數(shù)據(jù)是excel文件保存的xlsx格式數(shù)據(jù)，需

2、要轉(zhuǎn)換成Weka支持的arff文件格式或csv文件格式。由于Weka對arff格式的支持更好，這里我們選擇arff格式作為分類器原始數(shù)據(jù)的保存格式。轉(zhuǎn)換方法：在excel中打開“movie_given.xlsx”，選擇菜單文件->另存為，在彈出的對話框中，文件名輸入“total_data”，保存類型選擇“CSV（逗號分隔）”，保存，我們便可得到“total_data.csv”文件；然后，打開Weka的Exporler，點擊Open file按鈕，打開剛才得到的“total_data”文件，點擊“save”按鈕，在彈出的對話框中，文件名輸入“total_data”，文件類型選擇“Arff

3、data files（*.arff）”，這樣得到的數(shù)據(jù)文件為“total_data.arff”。2.2如何建立數(shù)據(jù)訓(xùn)練集，校驗集和測試集數(shù)據(jù)的預(yù)處理過程中，為了在訓(xùn)練模型、評價模型和使用模型對數(shù)據(jù)進行預(yù)測能保證一致性和完整性，首先要把movie_given.xslx和test.xslx合并在一起，因為在生成arff文件的時候，可能會出現(xiàn)屬性值不一樣的情況，否則將為后來的測試過程帶來麻煩。通過統(tǒng)計數(shù)據(jù)信息，發(fā)現(xiàn)帶有類標號的數(shù)據(jù)一共有100行，為了避免數(shù)據(jù)的過度擬合，必須把數(shù)據(jù)訓(xùn)練集和校驗集分開，目前的拆分策略是各50行。類標號為female的數(shù)據(jù)有21條，而類標號為male的數(shù)據(jù)有79條，這樣目

4、前遇到的問題是，究竟如何處理僅有的21條female數(shù)據(jù)？為了能在訓(xùn)練分類模型時有更全面的信息，所以決定把包含21條female類標號數(shù)據(jù)和29條male類標號數(shù)據(jù)作為模型訓(xùn)練數(shù)據(jù)集，而剩下的另49條類標號類male的數(shù)據(jù)將全部用于校驗數(shù)據(jù)集，這是因為在校驗的時候，兩種類標號的數(shù)據(jù)的作用區(qū)別不大，而在訓(xùn)練數(shù)據(jù)模型時，則更需要更全面的信息，特別是不同類標號的數(shù)據(jù)的合理比例對訓(xùn)練模型的質(zhì)量有較大的影響。2.3預(yù)處理具體步驟第一步：合并movie_given.xlsx和test.xlsx，保存為total_data.xlsx；第二步：在total_data.xlsx中刪除多余的ID列信息；第三步：在

5、excel中打開“total_data.xlsx”，選擇菜單文件->另存為，在彈出的對話框中，文件名輸入“total_data”，保存類型選擇“CSV（逗號分隔）”；第四步：使用UltraEdit工具把total_data.csv中的數(shù)據(jù)缺失部分補上全局常量？；第五步：打開Weka的Exporler，點擊Open file按鈕，打開剛才得到的“total_data.csv”文件，點擊“save”按鈕，在彈出的對話框中，文件名輸入“total_data”，文件類型選擇“Arff data files（*.arff）”，這樣得到的數(shù)據(jù)文件為“total_data.arff”。第六步：從tot

6、al_data.arff文件里面剪切所有沒有分類標號的數(shù)據(jù)作為預(yù)測數(shù)據(jù)集（test.arff），共26項。第七步：把剩下含有類標號數(shù)據(jù)的total_data.arff文件復(fù)制一份，作為總的訓(xùn)練數(shù)據(jù)集。文件名稱為build_model.arff。第八步：從total_data.arff文件中剩下的數(shù)據(jù)里面選取所有分類標號為male的49行數(shù)據(jù)作為校驗數(shù)據(jù)集（validate_data.arff）。第九步：從把剩下的total_data.arff文件改名為train_data.arff。3. 實驗過程及結(jié)果截圖3.1決策樹分類用“Explorer”打開剛才得到的“train-data.arff”，

7、并切換到“Class”。點“Choose”按鈕選擇“tree (weka.classifiers.trees.j48)”，這是WEKA中實現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點擊“start”按鈕：訓(xùn)練數(shù)據(jù)集訓(xùn)練決策樹得出的結(jié)果使用不同配置訓(xùn)練參數(shù)，得到的實驗數(shù)據(jù)：配置不同的葉子節(jié)點的實例個數(shù)實例數(shù)/葉節(jié)點23456準確率54%60%56%56%56%結(jié)果分析：使用決策樹時，每個葉子節(jié)點最優(yōu)的實例個數(shù)為3。校驗數(shù)據(jù)集校驗決策樹得出的結(jié)果初步結(jié)果分析：使用決策樹進行分類，對于已知的49個類標號為male的數(shù)據(jù)都進行了準確的分類，并且達到100%；雖然是個

8、很好的數(shù)據(jù)，但是完美背后隱藏了缺陷，是以對female類的低準確率作為代價的，因為這樣會說明該分類器很有可能偏向male類。3.2 K最近鄰算法分類點“Choose”按鈕選擇“l(fā)aze->ibk”，這是WEKA中實現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點擊“start”按鈕：訓(xùn)練數(shù)據(jù)集訓(xùn)練KNN得出的結(jié)果使用不同配置訓(xùn)練參數(shù)，得到的實驗數(shù)據(jù)：配置不同的葉子節(jié)點的實例個數(shù)K值12345678910準確率52%54%56%58%60%58%60%68%62%62%結(jié)果分析：使用KNN算法分類時，K最優(yōu)值為8。校驗數(shù)據(jù)集校驗KNN得出的結(jié)果初步結(jié)果分析：

9、對使用k=8訓(xùn)練出來的分類模型進行校驗的結(jié)果，準確率達到77.6%，算是一個比較合理的分類結(jié)果。3.3 樸素貝葉斯分類點“Choose”按鈕選擇“bayes”，這是WEKA中實現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點擊“start”按鈕：訓(xùn)練數(shù)據(jù)集訓(xùn)練Naïve Bayes得出的結(jié)果校驗數(shù)據(jù)集校驗Naïve Bayes得出的結(jié)果初步結(jié)果分析：評價結(jié)果中準確率僅僅達到59.1%，結(jié)果不是很讓人滿意。3.4 三類分類方法的校驗結(jié)果比較決策樹K最近鄰樸素貝葉斯校驗準確率100%77.55%59.18%訓(xùn)練混淆矩陣校驗混淆矩陣標準誤差0.42

10、0.46540.5918比較結(jié)果分析： 根據(jù)上述數(shù)據(jù)，雖然決策樹有最高的完美的準確率和相對較好的標準誤差，但是這種完美的背后，很有可能是以類標號female的較大錯誤率作為代價，這點可以從訓(xùn)練混淆矩陣中得到印證；而樸素貝葉斯分類算法的準確率相對較低，而標準誤差也較高，綜合評價可以得知，當前最好的分類算法是KNN算法，并且它是最優(yōu)設(shè)置參數(shù)為k=8。3.5 訓(xùn)練最優(yōu)模型使用預(yù)處理中的buildmodel_data.arff數(shù)據(jù)文件訓(xùn)練分類模型，算法為k=8的KNN。數(shù)據(jù)集訓(xùn)練KNN得出的結(jié)果使用最終模型對測試集進行預(yù)測結(jié)果4.三種算法在進行測試的性能比較 4.1實驗結(jié)果決策樹的測試結(jié)果：KNN測試結(jié)果：樸素貝葉斯測試結(jié)果：比較分析結(jié)論： 性能分析應(yīng)該包括兩個部分，一個部分是測試速度，另一個部分是測試的質(zhì)量。由于本次使用所使用的數(shù)據(jù)量太少，在測試速度的對比上相差太少，無法進行準確的分析。而在測試質(zhì)量上，可以從上述數(shù)據(jù)中得到，決策樹依然是由于它對與male類標號的偏愛