廣東工業(yè)大學(xué)課件

數(shù)據(jù)挖掘滕少華

廣東工業(yè)大學(xué)協(xié)同計(jì)算與知識(shí)工程數(shù)據(jù)挖掘滕少華9.4基于內(nèi)容的垃圾郵件識(shí)別9.4.1垃圾郵件識(shí)別方法簡(jiǎn)介9.4.2基于內(nèi)容的垃圾郵件識(shí)別方法工作原理9.4.3一種基于聚類的垃圾郵件識(shí)別方法2022/12/149.4基于內(nèi)容的垃圾郵件識(shí)別9.4.1垃圾郵件識(shí)別方法簡(jiǎn)9.4.1垃圾郵件識(shí)別方法簡(jiǎn)介主流的垃圾郵件識(shí)別技術(shù)可分為郵件服務(wù)器端防范技術(shù)和郵件客戶端防范技術(shù)兩大類郵件服務(wù)器端防范技術(shù)：基于IP地址、域名和“(黑)白名單”過(guò)濾技術(shù)；基于信頭、信體、附件的內(nèi)容過(guò)濾技術(shù)；基于連接頻率的動(dòng)態(tài)規(guī)則技術(shù)；郵件客戶端防范技術(shù)：充分利用黑名單，白名單功能；慎用“自動(dòng)回復(fù)”功能；盡量避免泄露郵件地址；2022/12/149.4.1垃圾郵件識(shí)別方法簡(jiǎn)介主流的垃圾郵件識(shí)別技術(shù)可分為基于內(nèi)容的垃圾郵件識(shí)別技術(shù)基于內(nèi)容的垃圾郵件識(shí)別技術(shù)是郵件服務(wù)器端防范技術(shù)的主流技術(shù)，以上提到的基于信頭、信體、附件的內(nèi)容過(guò)濾技術(shù)是典型的基于內(nèi)容的方法這類型方法的典型代表有Bayes方法、kNN、支持向量機(jī)SVM、Rocchio、神經(jīng)網(wǎng)絡(luò)等2022/12/14基于內(nèi)容的垃圾郵件識(shí)別技術(shù)基于內(nèi)容的垃圾郵件識(shí)別技術(shù)是郵件服9.4.2基于內(nèi)容的垃圾郵件識(shí)別方法工作原理一封標(biāo)準(zhǔn)格式的電子郵件包含有郵件頭部(mailhead)和郵件體(mailbody)兩部分郵件頭部包括發(fā)件人，收件人，抄送人，發(fā)信日期，主題，附件等信息郵件體包括郵件正文信息實(shí)例圖如下：2022/12/149.4.2基于內(nèi)容的垃圾郵件識(shí)別方法工作原理一封標(biāo)準(zhǔn)格式的2022/12/142022/12/12垃圾郵件過(guò)濾的基礎(chǔ)在不考慮附件、圖片化文字等問(wèn)題，只簡(jiǎn)單考慮郵件中包含的文本內(nèi)容情況下，這類垃圾郵件大概占總垃圾郵件數(shù)量的80%垃圾郵件過(guò)濾的基礎(chǔ)是識(shí)別出所接收到郵件是正常郵件還是垃圾郵件，而這個(gè)識(shí)別過(guò)程可以看作是一種二類的文本分類問(wèn)題，即正常郵件和垃圾郵件兩個(gè)類別文本的識(shí)別2022/12/14垃圾郵件過(guò)濾的基礎(chǔ)在不考慮附件、圖片化文字等問(wèn)題，只簡(jiǎn)單考慮識(shí)別方法的主要步驟基于內(nèi)容的垃圾郵件識(shí)別方法的主要步驟：將解碼并格式化后的電子郵件視為文本；分詞并使用相應(yīng)的文本表示方法來(lái)表示文本，較多的方法采用向量空間模型VSM；基于已有的垃圾郵件和正常郵件語(yǔ)料庫(kù)，采用文本分類算法建立垃圾郵件識(shí)別模型；基于識(shí)別模型判別新收到的郵件是否為垃圾郵件2022/12/14識(shí)別方法的主要步驟基于內(nèi)容的垃圾郵件識(shí)別方法的主要步驟：209.4.3一種基于聚類的垃圾郵件識(shí)別方法介紹的方法首先采用聚類算法學(xué)習(xí)訓(xùn)練語(yǔ)料，并建立識(shí)別模型，然后再結(jié)合kNN分類方法思想對(duì)測(cè)試語(yǔ)料決策分類，具有很好的識(shí)別準(zhǔn)確度以及效率并可以通過(guò)聚類算法增量更新模型2022/12/149.4.3一種基于聚類的垃圾郵件識(shí)別方法介紹的方法首先采用建立識(shí)別模型利用一趟聚類算法建立識(shí)別模型，過(guò)程如下:初始時(shí),簇集合為空,讀入一個(gè)新的文本；以這個(gè)對(duì)象構(gòu)造一個(gè)新的簇，該文本的類別標(biāo)識(shí)作為新簇的類別標(biāo)識(shí)；若文本已被處理完,則轉(zhuǎn)(6),否則讀入新對(duì)象,

計(jì)算并選擇最大的相似度的簇；若最大相似度小于給定半徑閾值r,轉(zhuǎn)(2)；否則將該文本并入具有最大相似度的簇，轉(zhuǎn)(3)；采用投票機(jī)制對(duì)聚類得到的簇進(jìn)行標(biāo)識(shí)；得到聚類結(jié)果(識(shí)別模型)，建模階段結(jié)束。2022/12/14建立識(shí)別模型利用一趟聚類算法建立識(shí)別模型，過(guò)程如下:2022決策分類結(jié)合kNN分類方法思想，利用識(shí)別模型對(duì)測(cè)試語(yǔ)料進(jìn)行分類處理：給定一個(gè)測(cè)試文本x，使用公式(1)計(jì)算模型m0的每個(gè)簇的打分，即(1)(2)找出k1(first_k_value)個(gè)最近鄰的簇，并在這些簇中查找k2(second_k_value)個(gè)最近鄰的文本基于得到的k2最近鄰文本集，使用公式(2)給其打分，并將x判定為得分最高的類別2022/12/14決策分類結(jié)合kNN分類方法思想，利用識(shí)別模型對(duì)測(cè)試語(yǔ)料進(jìn)行分模型更新對(duì)于新添加的訓(xùn)練語(yǔ)料，采用建立模型一樣的方法對(duì)新添加的訓(xùn)練文本進(jìn)行增量式聚類，更新聚類結(jié)果，以得到新的識(shí)別模型2022/12/14模型更新對(duì)于新添加的訓(xùn)練語(yǔ)料，采用建立模型一樣的方法對(duì)新添加部分算法性能測(cè)試結(jié)果2022/12/14部分算法性能測(cè)試結(jié)果2022/12/12Ling-Spam語(yǔ)料lemm版本上的十折交叉驗(yàn)證分類結(jié)果2022/12/14Ling-Spam語(yǔ)料lemm版本上的十折交叉驗(yàn)證分類結(jié)果2Ling-Spam上的增量式建模分類TCR值2022/12/14Ling-Spam上的增量式建模分類TCR值2022/12/Ling-Spam上的增量式建模的簇變化情況2022/12/14Ling-Spam上的增量式建模的簇變化情況2022/12/數(shù)據(jù)挖掘滕少華

廣東工業(yè)大學(xué)協(xié)同計(jì)算與知識(shí)工程數(shù)據(jù)挖掘滕少華9.4基于內(nèi)容的垃圾郵件識(shí)別9.4.1垃圾郵件識(shí)別方法簡(jiǎn)介9.4.2基于內(nèi)容的垃圾郵件識(shí)別方法工作原理9.4.3一種基于聚類的垃圾郵件識(shí)別方法2022/12/149.4基于內(nèi)容的垃圾郵件識(shí)別9.4.1垃圾郵件識(shí)別方法簡(jiǎn)9.4.1垃圾郵件識(shí)別方法簡(jiǎn)介主流的垃圾郵件識(shí)別技術(shù)可分為郵件服務(wù)器端防范技術(shù)和郵件客戶端防范技術(shù)兩大類郵件服務(wù)器端防范技術(shù)：基于IP地址、域名和“(黑)白名單”過(guò)濾技術(shù)；基于信頭、信體、附件的內(nèi)容過(guò)濾技術(shù)；基于連接頻率的動(dòng)態(tài)規(guī)則技術(shù)；郵件客戶端防范技術(shù)：充分利用黑名單，白名單功能；慎用“自動(dòng)回復(fù)”功能；盡量避免泄露郵件地址；2022/12/149.4.1垃圾郵件識(shí)別方法簡(jiǎn)介主流的垃圾郵件識(shí)別技術(shù)可分為基于內(nèi)容的垃圾郵件識(shí)別技術(shù)基于內(nèi)容的垃圾郵件識(shí)別技術(shù)是郵件服務(wù)器端防范技術(shù)的主流技術(shù)，以上提到的基于信頭、信體、附件的內(nèi)容過(guò)濾技術(shù)是典型的基于內(nèi)容的方法這類型方法的典型代表有Bayes方法、kNN、支持向量機(jī)SVM、Rocchio、神經(jīng)網(wǎng)絡(luò)等2022/12/14基于內(nèi)容的垃圾郵件識(shí)別技術(shù)基于內(nèi)容的垃圾郵件識(shí)別技術(shù)是郵件服9.4.2基于內(nèi)容的垃圾郵件識(shí)別方法工作原理一封標(biāo)準(zhǔn)格式的電子郵件包含有郵件頭部(mailhead)和郵件體(mailbody)兩部分郵件頭部包括發(fā)件人，收件人，抄送人，發(fā)信日期，主題，附件等信息郵件體包括郵件正文信息實(shí)例圖如下：2022/12/149.4.2基于內(nèi)容的垃圾郵件識(shí)別方法工作原理一封標(biāo)準(zhǔn)格式的2022/12/142022/12/12垃圾郵件過(guò)濾的基礎(chǔ)在不考慮附件、圖片化文字等問(wèn)題，只簡(jiǎn)單考慮郵件中包含的文本內(nèi)容情況下，這類垃圾郵件大概占總垃圾郵件數(shù)量的80%垃圾郵件過(guò)濾的基礎(chǔ)是識(shí)別出所接收到郵件是正常郵件還是垃圾郵件，而這個(gè)識(shí)別過(guò)程可以看作是一種二類的文本分類問(wèn)題，即正常郵件和垃圾郵件兩個(gè)類別文本的識(shí)別2022/12/14垃圾郵件過(guò)濾的基礎(chǔ)在不考慮附件、圖片化文字等問(wèn)題，只簡(jiǎn)單考慮識(shí)別方法的主要步驟基于內(nèi)容的垃圾郵件識(shí)別方法的主要步驟：將解碼并格式化后的電子郵件視為文本；分詞并使用相應(yīng)的文本表示方法來(lái)表示文本，較多的方法采用向量空間模型VSM；基于已有的垃圾郵件和正常郵件語(yǔ)料庫(kù)，采用文本分類算法建立垃圾郵件識(shí)別模型；基于識(shí)別模型判別新收到的郵件是否為垃圾郵件2022/12/14識(shí)別方法的主要步驟基于內(nèi)容的垃圾郵件識(shí)別方法的主要步驟：209.4.3一種基于聚類的垃圾郵件識(shí)別方法介紹的方法首先采用聚類算法學(xué)習(xí)訓(xùn)練語(yǔ)料，并建立識(shí)別模型，然后再結(jié)合kNN分類方法思想對(duì)測(cè)試語(yǔ)料決策分類，具有很好的識(shí)別準(zhǔn)確度以及效率并可以通過(guò)聚類算法增量更新模型2022/12/149.4.3一種基于聚類的垃圾郵件識(shí)別方法介紹的方法首先采用建立識(shí)別模型利用一趟聚類算法建立識(shí)別模型，過(guò)程如下:初始時(shí),簇集合為空,讀入一個(gè)新的文本；以這個(gè)對(duì)象構(gòu)造一個(gè)新的簇，該文本的類別標(biāo)識(shí)作為新簇的類別標(biāo)識(shí)；若文本已被處理完,則轉(zhuǎn)(6),否則讀入新對(duì)象,

計(jì)算并選擇最大的相似度的簇；若最大相似度小于給定半徑閾值r,轉(zhuǎn)(2)；否則將該文本并入具有最大相似度的簇，轉(zhuǎn)(3)；采用投票機(jī)制對(duì)聚類得到的簇進(jìn)行標(biāo)識(shí)；得到聚類結(jié)果(識(shí)別模型)，建模階段結(jié)束。2022/12/14建立識(shí)別模型利用一趟聚類算法建立識(shí)別模型，過(guò)程如下:2022決策分類結(jié)合kNN分類方法思想，利用識(shí)別模型對(duì)測(cè)試語(yǔ)料進(jìn)行分類處理：給定一個(gè)測(cè)試文本x，使用公式(1)計(jì)算模型m0的每個(gè)簇的打分，即(1)(2)找出k1(first_k_value)個(gè)最近鄰的簇，并在這些簇中查找k2(second_k_value)個(gè)最近鄰的文本基于得到的k2最近鄰文本集，使用公式(2)給其打分，并將x判定為得分最高的類別2022/12/14決策分類結(jié)合kNN分類方法思想，利用識(shí)別模型對(duì)測(cè)試語(yǔ)料進(jìn)行分模型更新對(duì)于新添加的訓(xùn)練語(yǔ)料，采用建立模型一樣的方法對(duì)新添加的訓(xùn)練文本進(jìn)行增量式聚類，更新聚類結(jié)果，以得到新的識(shí)別模型2022/12/14模型更新對(duì)于新添加的訓(xùn)練語(yǔ)料，采用建立模型一樣的方法對(duì)新添加部分算法性能測(cè)試結(jié)果2022/12/14部分算法性能測(cè)試結(jié)果2