垃圾郵件過(guò)濾

文本分析之垃圾郵件過(guò)濾系統(tǒng)小組成員：馬力15241043郝殊宇15241033陳思宇14261031林尹棋15241040李文哲15241038李文強(qiáng)15241037張佳慧15241058目錄Content文本分析簡(jiǎn)介簡(jiǎn)要介紹文本分析的概念、如何運(yùn)作、主要功能和應(yīng)用貝葉斯垃圾郵件過(guò)濾算法原理介紹貝葉斯算法背后的數(shù)學(xué)模型與公式貝葉斯垃圾郵件過(guò)濾算法的應(yīng)用案例通過(guò)實(shí)際案例展示讓大家加深對(duì)該算法的理解簡(jiǎn)述與總結(jié)概括貝葉斯算法運(yùn)作規(guī)則，展望垃圾郵件過(guò)濾功能的未來(lái)1Part文本分析簡(jiǎn)介簡(jiǎn)要介紹文本分析的概念、如何運(yùn)作、主要功能和應(yīng)用。Part1文本分析簡(jiǎn)介

文本分析是指對(duì)文本的表示及其特征項(xiàng)的選取，即對(duì)文本進(jìn)行科學(xué)的抽象，建立它的數(shù)學(xué)模型，用以描述和代替文本。使計(jì)算機(jī)能夠通過(guò)對(duì)這種模型的計(jì)算和操作來(lái)實(shí)現(xiàn)對(duì)文本的識(shí)別?；靖拍钊绾芜\(yùn)作Part1文本分析簡(jiǎn)介應(yīng)用：電子郵件管理文檔管理自動(dòng)問(wèn)答系統(tǒng)市場(chǎng)研究情報(bào)收集主要功能：文本總結(jié)文本分類文本聚類關(guān)聯(lián)分析分布分析趨勢(shì)預(yù)測(cè)Part1文本分析簡(jiǎn)介今天，我們主要介紹文本分析在垃圾郵件過(guò)濾中的應(yīng)用，介紹如何通過(guò)貝葉斯算法對(duì)垃圾郵件進(jìn)行過(guò)濾。2Part貝葉斯垃圾郵件過(guò)濾算法原理介紹貝葉斯算法背后的數(shù)學(xué)模型與公式。Part2貝葉斯垃圾郵件過(guò)濾算法原理Part2貝葉斯垃圾郵件過(guò)濾算法原理√

基于多項(xiàng)式模型和低風(fēng)險(xiǎn)的貝葉斯垃圾郵件處理主要是利用兩個(gè)模型，將判別出的垃圾郵件不看作是一個(gè)準(zhǔn)確事件。再進(jìn)一步的判別和確定，最終得出一個(gè)準(zhǔn)確率高的答案。采用貝葉斯多項(xiàng)式模型來(lái)對(duì)特征項(xiàng)利用率進(jìn)行改進(jìn)，同時(shí)采用低風(fēng)險(xiǎn)策略來(lái)對(duì)郵件進(jìn)行分類。我們的理解：3Part貝葉斯垃圾郵件過(guò)濾算法的應(yīng)用案例通過(guò)實(shí)際案例展示讓大家加深對(duì)該算法的理解。Part3貝葉斯垃圾郵件過(guò)濾算法的應(yīng)用案例例如：一封含有“法輪功”字樣的垃圾郵件A

和一封含有“法律”字樣的非垃圾郵件B

根據(jù)郵件A生成hashtable_bad，該哈希表中的記錄為

法：1次

輪：1次

功：1次

計(jì)算得在本表中：

法出現(xiàn)的概率為0.3

輪出現(xiàn)的概率為0.3

功出現(xiàn)的概率為0.3

根據(jù)郵件B生成hashtable_good，該哈希表中的記錄為：

法：1

律：1

計(jì)算得在本表中：

法出現(xiàn)的概率為0.5

律出現(xiàn)的概率為0.5

綜合考慮兩個(gè)哈希表，共有四個(gè)TOKEN串：法輪功律Part3貝葉斯垃圾郵件過(guò)濾算法的應(yīng)用案例當(dāng)郵件中出現(xiàn)“法”時(shí)，該郵件為垃圾郵件的概率為：

P=0.3/（0.3+0.5）=0.375

出現(xiàn)“輪”時(shí)：

P=0.3/（0.3+0）=1

出現(xiàn)“功“時(shí)：

P=0.3/（0.3+0）=1

出現(xiàn)“律”時(shí)

P=0/（0+0.5）=0；

由此可得第三個(gè)哈希表：hashtable_probability其數(shù)據(jù)為：

法：0.375輪：1功：1律：0

當(dāng)新到一封含有“功律”的郵件時(shí)，我們可得到兩個(gè)TOKEN串，功律

查詢哈希表hashtable_probability可得

P（垃圾郵件|功）=1

P（垃圾郵件|律）=0

此時(shí)該郵件為垃圾郵件的可能性為：

P=（0*1）/[0*1+（1-0）*（1-1）]=0（ps:實(shí)際應(yīng)用時(shí)應(yīng)該不能出現(xiàn)0，否則一項(xiàng)為零會(huì)影響全局）

由此可推出該郵件為非垃圾郵件4Part簡(jiǎn)述與總結(jié)概括貝葉斯算法運(yùn)作規(guī)則，展望垃圾郵件過(guò)濾功能的未來(lái)Part4簡(jiǎn)述與總結(jié)簡(jiǎn)述：1.收集大量垃圾郵件和非垃圾郵件，建立二者數(shù)據(jù)集分類2.編碼3.計(jì)算字符串出現(xiàn)概率4.自我學(xué)習(xí)5.接收郵件+判斷Part4簡(jiǎn)述與總結(jié)Start技術(shù)系統(tǒng)客戶端“錯(cuò)糾率”依舊較高，因此，要過(guò)濾垃圾郵件，必須將兩種或以上的技術(shù)合并使用,以達(dá)到有較好的過(guò)濾效果,降低誤判率。今客戶端郵件過(guò)濾器，重點(diǎn)考慮用戶個(gè)性化特征