信息過(guò)濾與郵件過(guò)濾

信息過(guò)濾與郵件過(guò)濾第一頁(yè)，共三十一頁(yè)，2022年，8月28日綱要研究背景和現(xiàn)狀

關(guān)鍵技術(shù)研究

實(shí)現(xiàn)和結(jié)構(gòu)主要工作總結(jié)第二頁(yè)，共三十一頁(yè)，2022年，8月28日研究背景和現(xiàn)狀研究背景網(wǎng)絡(luò)跟人們的生活越來(lái)越緊密。然而網(wǎng)絡(luò)是雙面的，人們?cè)谙硎芫W(wǎng)絡(luò)所帶來(lái)的便利的同時(shí)，不可避免地接觸到大量的不良信息。

過(guò)濾網(wǎng)絡(luò)信息，使網(wǎng)絡(luò)用戶尤其是青少年學(xué)生遠(yuǎn)離非友善信息的侵?jǐn)_，使得網(wǎng)絡(luò)環(huán)境更加純凈、美好。過(guò)濾掉用戶不感興趣的網(wǎng)頁(yè)信息和垃圾郵件，可以節(jié)省用戶的上網(wǎng)時(shí)間。

第三頁(yè)，共三十一頁(yè)，2022年，8月28日研究背景和現(xiàn)狀研究現(xiàn)狀

當(dāng)前信息過(guò)濾的研究以TREC會(huì)議為核心，主要是文本過(guò)濾。國(guó)內(nèi)有關(guān)信息過(guò)濾的研究以核心算法為主，主要集中在特征抽取、學(xué)習(xí)算法和過(guò)濾算法上。

出現(xiàn)了一些過(guò)濾軟件，但存在較多問(wèn)題，過(guò)濾效果不佳。第四頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究現(xiàn)有網(wǎng)絡(luò)過(guò)濾技術(shù)及其存在問(wèn)題

網(wǎng)絡(luò)過(guò)濾新技術(shù)研究

第五頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究現(xiàn)有網(wǎng)絡(luò)過(guò)濾技術(shù)及其存在問(wèn)題斷開(kāi)物理連接資源有限，更新速度慢，多半是過(guò)期的網(wǎng)頁(yè)地址庫(kù)(URL)過(guò)濾需要不斷更新地址庫(kù)基于關(guān)鍵字的頁(yè)面內(nèi)容過(guò)濾。易被偽裝技術(shù)突破

過(guò)濾往往矯枉過(guò)正

第六頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究網(wǎng)絡(luò)過(guò)濾新技術(shù)研究－－針對(duì)內(nèi)容進(jìn)行過(guò)濾第七頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究關(guān)鍵技術(shù)文本表示特征選擇分類算法模糊模式識(shí)別第八頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究信息表示(文本表示)信息過(guò)濾的主要工作是比較用戶請(qǐng)求信息和要過(guò)濾的非法信息的匹配程度，為此，需要能夠有效地表示信息空間，一般采用模型化的方法表示信息空間。

目前常用的文本表示模型有：布爾邏輯模型向量空間模型概率推理模型潛在語(yǔ)義索引模型第九頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究布爾邏輯模型一種相對(duì)簡(jiǎn)單的信息過(guò)濾模型。在過(guò)濾時(shí)，它以文檔中是否包含特征項(xiàng)來(lái)作為取舍的標(biāo)準(zhǔn)。特點(diǎn)是實(shí)現(xiàn)容易、操作方便結(jié)果非真即假，限制性過(guò)強(qiáng)

第十頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究向量空間模型以特征項(xiàng)作為文本表示的基本單位，特征項(xiàng)構(gòu)成特征項(xiàng)集，將文檔表示為向量。

第十一頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究概率推理模型向量空間模型中，假設(shè)文檔向量空間的基是相互正交的，沒(méi)有考慮檢索詞間的相互關(guān)系。概率推理模型包括了檢索詞間的依賴關(guān)系以及主要參數(shù)，如檢索詞權(quán)重計(jì)算，查詢與文檔相似性計(jì)算，由模型自身決定。

第十二頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究潛在語(yǔ)義索引模型利用字項(xiàng)與文檔對(duì)象之間的內(nèi)在關(guān)系形成信息的語(yǔ)義結(jié)構(gòu)。這種語(yǔ)義結(jié)構(gòu)反映了數(shù)據(jù)間最主要的聯(lián)系模式，忽略了個(gè)體文檔對(duì)詞的不同的使用風(fēng)格。LSI向量中的值是通過(guò)SVD分解得到的縮減了的值，內(nèi)容相近文檔的向量也是相近的。第十三頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究特征選擇前面討論的文本表示模型，一直假定特征向量每一維的特征都是確定的。事實(shí)上，這些特征是從文本中選擇出來(lái)的，這些特征的選擇是非常重要的，它強(qiáng)烈的影響到文本表示的準(zhǔn)確程度，影響到后面的過(guò)濾器的設(shè)計(jì)及其性能。主要包括分詞與選擇兩部分。第十四頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究分詞－－文本內(nèi)容與文本中出現(xiàn)的詞關(guān)系十分密切，漢語(yǔ)詞間沒(méi)有明顯的標(biāo)志，分詞的目的就是準(zhǔn)確的識(shí)別文本中的單詞。基于字典的字符串匹配方法基于統(tǒng)計(jì)的分詞基于句法與自然語(yǔ)言理解的方法第十五頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究選擇－－訓(xùn)練集中包含了大量的詞匯，如果把這些詞都作為特征，將帶來(lái)一系列問(wèn)題：首先是向量的維數(shù)太大，給計(jì)算帶來(lái)了非常大的壓力，存儲(chǔ)空間大、處理速度慢。其次是這些詞中實(shí)際上有很大一部分是與類別無(wú)關(guān)的，對(duì)分類作用不大，甚至存在較大副作用。常用的特征選擇方法有：文檔頻率信息增益互信息第十六頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究分類算法－－其目的為找到特征空間與類別之間的映射關(guān)系。常見(jiàn)方法：Racchio方法K-元最近鄰居（KNN）方法Na?veBayesian方法支持向量機(jī)（SVM）方法第十七頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究Racchio方法－－根據(jù)算術(shù)平均為每類文本集生成一個(gè)代表該類的中心向量，然后在新文本來(lái)到時(shí)，確定新文本向量，計(jì)算該向量與每類中心向量間的距離（相似度），最后判定文本屬于與文本距離最近的類，第十八頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究K-元最近鄰居（KNN）方法－－給出一個(gè)測(cè)試文檔，從訓(xùn)練文檔中找出與該文檔最近（用相似度度量）的k個(gè)文檔，用這k個(gè)鄰域文檔所屬的類別作為測(cè)試文檔的候選類別。第十九頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究Na?veBayesian方法－－是一種概率方法，它利用先驗(yàn)概率的聯(lián)合概率計(jì)算出后驗(yàn)概率，并且根據(jù)樣本集構(gòu)造分類標(biāo)準(zhǔn)，根據(jù)測(cè)試樣本的后驗(yàn)概率對(duì)測(cè)試樣本進(jìn)行分類。第二十頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究支持向量機(jī)（SVM）方法－－建立在一套較為完善的機(jī)器學(xué)習(xí)理論——統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)之上，并具有較好的泛化能力。第二十一頁(yè)，共三十一頁(yè)，2022年，8月28日關(guān)鍵技術(shù)研究模糊模式識(shí)別人類為了對(duì)事物進(jìn)行識(shí)別，要對(duì)事物按不同要求進(jìn)行分類，因此根據(jù)這種思想可以把不同事物歸于不同的種類，用于這種分類的數(shù)學(xué)工具就是經(jīng)典集合論。經(jīng)典集合并不能描述所有的事物，特別是涉及到與人的認(rèn)識(shí)有關(guān)的概念和現(xiàn)象。由于模糊性更能有效的表示“有關(guān)的”、“類似”等概念，將模糊集合的概念應(yīng)用到信息過(guò)濾中。第二十二頁(yè)，共三十一頁(yè)，2022年，8月28日網(wǎng)頁(yè)過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)系統(tǒng)結(jié)構(gòu)第二十三頁(yè)，共三十一頁(yè)，2022年，8月28日網(wǎng)頁(yè)過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)內(nèi)容過(guò)濾模塊第二十四頁(yè)，共三十一頁(yè)，2022年，8月28日網(wǎng)頁(yè)過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)樹(shù)狀分類器第二十五頁(yè)，共三十一頁(yè)，2022年，8月28日網(wǎng)頁(yè)過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)系統(tǒng)流程圖

第二十六頁(yè)，共三十一頁(yè)，2022年，8月28日垃圾郵件過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)第二十七頁(yè)，共三十一頁(yè)，2022年，8月28日垃圾郵件過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)提升方法（boosting）總的思想是學(xué)習(xí)一系列決策行動(dòng)，在這個(gè)序列中每個(gè)決策對(duì)它前一個(gè)決策導(dǎo)致的錯(cuò)誤判斷例子給予更大的重視。尤其是在學(xué)習(xí)完決策行動(dòng)之后，增加了由導(dǎo)致判斷錯(cuò)誤的訓(xùn)練例子的權(quán)重值，并且通過(guò)重新對(duì)訓(xùn)練例子計(jì)算權(quán)值，在學(xué)習(xí)下一個(gè)決策。這個(gè)過(guò)程重復(fù)T次。最終的分類器從這一系列的決策中綜合得出。樸素貝葉斯最小風(fēng)險(xiǎn)貝葉斯最小風(fēng)險(xiǎn)貝葉斯算法的提升第二十八頁(yè)，共三十一頁(yè)，2022年，8月28日總結(jié)

系統(tǒng)主要在以下幾個(gè)方面進(jìn)行了研究和實(shí)現(xiàn)：

由于傳統(tǒng)的URL過(guò)濾技術(shù)會(huì)導(dǎo)致網(wǎng)絡(luò)訪問(wèn)速度特別慢，因而本系統(tǒng)高速緩存技術(shù)引入到URL過(guò)濾技術(shù)中提出了一種改進(jìn)的URL過(guò)濾技術(shù)。傳統(tǒng)的URL過(guò)濾一般是基于靜態(tài)URL數(shù)據(jù)庫(kù)，靈活性差，速度慢；本系統(tǒng)具有自主學(xué)習(xí)功能，將用戶經(jīng)常訪問(wèn)的URL、關(guān)鍵詞和語(yǔ)義規(guī)則保持在一個(gè)較小的范圍之內(nèi)，從而提高了過(guò)濾速度。將分層架構(gòu)技術(shù)和模糊集理論引入到信息過(guò)濾模型中，并結(jié)合向量空間過(guò)濾模型提出了一種基于模糊集的信息過(guò)濾模型。

第二十九頁(yè)，共三十一頁(yè)，2022年，8月28日總結(jié)

由于傳統(tǒng)的基于關(guān)鍵字的頁(yè)面內(nèi)容過(guò)濾技術(shù)會(huì)導(dǎo)致漏判和誤判，因而本系統(tǒng)引入語(yǔ)義識(shí)別模塊從而在語(yǔ)義識(shí)別的基礎(chǔ)上對(duì)網(wǎng)頁(yè)信息進(jìn)行過(guò)濾，并依靠多種語(yǔ)義的組合進(jìn)行過(guò)濾，提高了信息過(guò)濾的準(zhǔn)確性，降低了漏判、誤判率。結(jié)合過(guò)濾要求與決策樹(shù)理論設(shè)計(jì)的兩層支持向量機(jī)技術(shù)，能夠有效的識(shí)別話題，并進(jìn)一步判斷對(duì)該話題是支持還是反對(duì)，從而使過(guò)濾效果更精確，同時(shí)，由于支持向量機(jī)的推廣性非常強(qiáng)，有效地解決了訓(xùn)練樣本不足的問(wèn)題。實(shí)現(xiàn)了一個(gè)分層過(guò)濾的高效的網(wǎng)絡(luò)信息過(guò)濾器，首先系統(tǒng)將過(guò)濾級(jí)別分為低中高三級(jí)，低級(jí)僅進(jìn)行URL過(guò)濾，中級(jí)進(jìn)行URL和文本過(guò)濾，高級(jí)則進(jìn)行URL、文本、語(yǔ)義過(guò)濾。同時(shí)分層技術(shù)在流程圖說(shuō)明中有一個(gè)直觀地介紹。第三十頁(yè)，共三十一頁(yè)，2022年，8月28日總結(jié)

實(shí)現(xiàn)了一個(gè)分層