基于樸素貝葉斯算法的垃圾郵件分類-(Python實現(xiàn))

Presentation基于樸素貝葉斯算法的垃圾郵件分類(Python實現(xiàn))EastChinaNormalUniversity2024年7月29日CONTENTS目錄0簡介1回顧：基本方法2算法3拉普拉斯平滑4實例：郵件分類5流行學(xué)習(xí)2024年7月29日EastChinaNormalUniversity簡介樸素貝葉斯法：是基于貝葉斯定理和特征條件獨立假設(shè)的分類方法。對于給定的訓(xùn)練數(shù)據(jù)集，首先基于特征條件獨立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布；然后基于此模型對于給定的輸入x，利用貝葉斯定理求出后驗概率最大的輸出y.樸素貝葉斯法實現(xiàn)簡單，學(xué)習(xí)和預(yù)測的效率都很高，是業(yè)界常用的一種方法。2024年7月29日EastChinaNormalUniversity

Review1:分類問題綜述12024年7月29日EastChinaNormalUniversity垃圾郵件非垃圾郵件……各種化驗檢測數(shù)據(jù)來推斷病情，這時醫(yī)生就好比一個分類器，而這個醫(yī)生診斷的準確率，與他當初受到的教育方式（構(gòu)造方法）、病人的癥狀是否突出（待分類數(shù)據(jù)的特性）以及醫(yī)生的經(jīng)驗多少（訓(xùn)練樣本數(shù)量）都有密切關(guān)系?；仡櫵惴ɡ绽蛊交]件分類流行學(xué)習(xí)小結(jié)

Review2:貝葉斯定理2024年7月29日EastChinaNormalUniversity回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)算法：2024年7月29日EastChinaNormalUniversityRIDageincomestudentcredit_ratingclass_buy_pc1youthhighnofairno2youthhighnoexcellentno3midhighnofairyes4seniormediumnofairyes5seniorlowyesfairyes6seniorlowyesexcellentno7midlowyesexcellentyes8youthmediumnofairno9youthlowyesfairyes10seniormediumyesfairyes11youthmediumyesexcellentyes12midmediumnoexcellentyes13midhighyesfairyes14seniormediumnoexcellentnoTrain_dataset(表格來源：數(shù)據(jù)挖掘:概念與技術(shù)第3版)回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)2024年7月29日EastChinaNormalUniversity

test:X=(age=youth,income=mediu,student=yes,credit_rating=fair)(1)計算先驗概率P(buy_pc=yes)=9/14=0.643P(buy_pc=no)=5/14=0.357條件概率：P(age=youth|buy_pc=yes)=2/9=0.22P(age=youth|buy_pc=no)=2/5=0.600P(income=medium|buy_pc=yes)=4/9=0.444P(income=medium|buy_pc=no)=2/5=0.400P(student=yes|buy_pc)=1/5=0.200P(credit_rating=fair|buy_pc=yes)=6/9=0.667P(credit_rating=fair|buy_pc=no)=2/5=0.400回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)2024年7月29日EastChinaNormalUniversity

回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)如果遇到零概率值怎么辦？

拉普拉斯平滑。EastChinaNormalUniversity

2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流程圖：EastChinaNormalUniversity獲取訓(xùn)練樣本確定特征屬性

對每個特征屬性就按所有劃分的條件概率

準備階段分類器訓(xùn)練階段應(yīng)用階段2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)準備數(shù)據(jù)從文本中構(gòu)建詞向量（貝努利模型）EastChinaNormalUniversity從文本中構(gòu)建郵件向量（words2vec）：通常有兩種實現(xiàn)方式：一種是基于貝努利模型，一種是基于多項式模型實現(xiàn)。我們采用前一種實現(xiàn)方式，將每個詞的出現(xiàn)與否作為一個特征（詞集模型，相對應(yīng)的是詞袋模型），不考慮單詞在文檔中出現(xiàn)的次數(shù)，因此在這個意義上相當于每個假設(shè)詞是等權(quán)重的。具體如下：(1）遍歷所有郵件,創(chuàng)建一個包含所有文檔中出現(xiàn)的不重復(fù)的單詞集合（即特征）。(2)對于每一封郵件創(chuàng)建一個與單詞集合等長的0向量。接著遍歷郵件中所有單詞，如果出現(xiàn)在單詞集合中則把對應(yīng)的值設(shè)為1。2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)訓(xùn)練模型（技巧小結(jié)）EastChinaNormalUniversity

2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)交叉驗證（1000）EastChinaNormalUniversity正確錯誤64936準確率：0.936%2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)2024年7月29日EastChinaNormalUniversity本質(zhì)上，流形學(xué)習(xí)就是給數(shù)據(jù)降維的過程。這里假設(shè)數(shù)據(jù)是一個隨機樣本，采樣自一個高維歐氏空間中的流形（manifold），流形學(xué)習(xí)的任務(wù)就是把這個高維流形映射到一個低維（例如2維）的空間里。流形學(xué)習(xí)可以分為線性算法和非線性算法，前者包括主成分分析（PCA）和線性判別分析（LDA），后者包括等距映射（Isomap），拉普拉斯特征映射（LE）等。流形學(xué)習(xí)可以用于特征的降維和提取，為后續(xù)的基于特征的分析，如聚類和分類，做鋪墊，也可以直接應(yīng)用于數(shù)據(jù)可視化等?；仡櫵惴ɡ绽蛊交]件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)2024年7月29日EastChinaNormalUniversity回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)2024年7月29日EastChinaNormalUniversity回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)2024年7月29日EastChinaNormalUniversity回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)(DIM)2024年7月29日EastChinaNormalUniversity算法的輸入是所有數(shù)據(jù)在高維情況下兩兩之間的距離（記i與j的距離為Dij）?，F(xiàn)在以降到2維為例說明這個算法。首先我們把所有數(shù)據(jù)點隨機繪制在一張二維圖像上，然后計算它們兩兩之間的距離dij，然后我們計算出它與高維距離Dij的誤差，根據(jù)這些誤差，我們將每對數(shù)據(jù)點按比例移近或移遠，然后重新計算所有dij，不斷重復(fù)到我們沒法減少誤差為止。假設(shè)有n個點:(1)輸入每一對點之間的距離Dij。(2)隨機在2維平面生成n個點，點i坐標記為x[i]、y[i]，計算它們兩之間的距離，記為dij.(3)對所有i和j計算：eij=(dij-Dij)/Dij，每個點用一個二維的值grad[k]來表示它要移動的距離的比例因子(初始為0，0)。在計算出每個eij后，計算((x[i]-x[j])/dij)*eij，然后把它加到grad[i][x]上，同樣把((y[i]-y[j])/dij)*eij加到grad[i][y]上。(4)把所有eij的絕對值相加，為總誤差，與前一次的總誤差比較(初始化為無窮大)，大于前一次的話就停止。否則把它作為上一次總誤差，繼續(xù)。對每個點，新的坐標為x[i]-=rate*grad[i][x]y[i]-=rate*grad[i][y]，其中rate是開始時自己定義的一個常數(shù)參數(shù)，該參數(shù)影響了點的移動速度。重新計算各個dij，回到3。回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)小結(jié)2024年7月29日看論文……大神交流寫代碼實際應(yīng)用中，需要考慮很多因素，下溢是其中一個，詞袋模型在解決文檔分類問比詞集模型有所提高，還有其他一些方面的改進，比如移除停用詞。實際生活中，避免將普通郵件當作垃圾郵件比截獲每一封垃圾郵件更為重要，收件箱收到幾封垃圾郵件還是可以忍受的，但一