利用分塊重要度進行中文網(wǎng)頁分類的研究.ppt

利用分塊重要度進行中文網(wǎng)頁分類的研究,段 昕 山東大學計算機學院,第1頁,引 言,互聯(lián)網(wǎng)的發(fā)展和信息量俱增使得人們對于主題網(wǎng)頁（以下簡稱“網(wǎng)頁”）自動分類的要求越來越迫切。 傳統(tǒng)網(wǎng)頁分類將整個網(wǎng)頁看作一個原子單元進行整體處理，但是由于網(wǎng)頁中一些“噪聲”信息的存在，不僅增加了處理的復雜度，還影響了網(wǎng)頁自動分類的效果，因而需要一種分類質量更高的網(wǎng)頁分類方法。,第2頁,網(wǎng)頁分塊,網(wǎng)頁中的信息并不都是具有相同的重要度的，比如大字標題就要比導航條更加引人注目。網(wǎng)頁中的不同信息由于所處的位置、占據(jù)的空間大小或者內(nèi)容不同而具有不同的重要度。所以，我們可以將網(wǎng)頁按照內(nèi)容分塊，利用分塊的一些特征來進行網(wǎng)頁分類，從而提高分類的質量。,第3頁,第4頁,網(wǎng)頁分塊方法（1）,基于位置關系的分塊法,利用網(wǎng)頁頁面的布局進行分塊，將一個網(wǎng)頁分成上、下、左、右和中間5個部分,再根據(jù)這5個部分的特征進行分類；,實際的網(wǎng)頁結構要復雜得多，這種基于網(wǎng)頁布局的方法并不能適用于所有的網(wǎng)頁；,這種方法切分的網(wǎng)頁粒度比較粗，有可能破壞網(wǎng)頁本身的內(nèi)在特征，難以充分包括真?zhèn)€網(wǎng)頁的語義特征。,第5頁,網(wǎng)頁分塊方法（2）,基于文檔對象模型（DOM）的分塊法,找出網(wǎng)頁HTML文檔里的特定標簽，利用標簽項將HTML文檔表示成一個DOM樹的結構；,特定標簽包括heading、table、paragraph和list等；,在許多情況下，文檔對象模型不是用來表示網(wǎng)頁內(nèi)容結構的，所以利用它不能夠準確地對網(wǎng)頁中各分塊的語義信息進行辨別。,第6頁,網(wǎng)頁分塊方法（3）,基于視覺特征網(wǎng)頁分塊法（VIPS）,利用字體、顏色、大小等網(wǎng)頁版面特征，根據(jù)一定的語義關聯(lián)，將整個網(wǎng)頁表示成一棵HTML DOM樹；,利用橫豎線條將DOM樹節(jié)點所對應的分塊在網(wǎng)頁中分隔開來，構成網(wǎng)頁的標準分塊；,每個節(jié)點通過一致度（DOC）來衡量它與其它節(jié)點的語義相關性，從而將相關的分塊聚集在一起；,利用預先設定的一致度（PDOC）作為閾值控制分割粒度，當所有網(wǎng)頁的DOC都不小于PDOC時，網(wǎng)頁分割就可以停止了。,第7頁,網(wǎng)頁分塊重要度的標定,利用網(wǎng)頁的空間和內(nèi)容特征可以對分塊進行重要度的標注，共分為4個級別：,級別一 廣告、版權等噪聲信息 級別二 導航條、網(wǎng)站目錄等與網(wǎng)頁標題相關 性不大但有一定用處的信息 級別三 與網(wǎng)頁主題一致但并不是十分突出的 信息，如相關標題、標題索引等 級別四 大字標題、正文等 網(wǎng)頁中最突出部 分的信息,第8頁,第9頁,實 驗,為了檢驗利用網(wǎng)頁分塊技術進行中文主題網(wǎng)頁分類的質量，我們將其與傳統(tǒng)網(wǎng)頁分類法進行了比較。選取政治、藝術、醫(yī)藥、體育、軍事、經(jīng)濟、教育、交通、計算機、環(huán)境等10大類共計3000篇主題網(wǎng)頁進行實驗，其中訓練集2000篇，測試集1000篇。,第10頁,在進行特征提取時，采用了開方檢驗( test, CHI)特征提取法，計算特征項t和類別c的相關性如下：,第11頁,分類時采用SVM分類器，核函數(shù)采用徑向基函數(shù)： 最通用的判定規(guī)則是采用高斯函數(shù)：,第12頁,實驗描述,首先將整篇網(wǎng)頁看作一個原子單元，在訓練過程中，訓練集實例經(jīng)過中文分詞和特征選取處理后被表示成向量形式，用來描述類別模式，在分類過程中使用。 在分類過程中，一個待分類的中文網(wǎng)頁，經(jīng)過中文分詞并表示成向量后，應用分類算法與訓練過程得到的類別模式逐一比較，得到候選類別列表，然后同訓練過程中得到的每個類別的閾值相比較，保留大于閾值的類別，并作為該網(wǎng)頁的分類結果。,第13頁,實驗描述,然后利用VIPS法對網(wǎng)頁進行分塊，并根據(jù)4條標準對分塊進行標注，利用級別較高的分塊提取文本，重復第一步工作，得到利用分塊法的分類結果。,第14頁,實驗結果,在分類系統(tǒng)中，查全率和查準率反映了分類質量的兩個不同方面，兩者必須綜合考慮，表示為F1測試值。本實驗用F1值來衡量最終的分類質量。其中：,第15頁,傳統(tǒng)方法 分塊方法,查全率(%) 查準率(%) F1(%) 查全率(%) 查準率(%) F1(%),政 治 93.413 89.143 91.228 95.210 92.442 93.806,藝 術 93.902 98.718 96.250 96.341 98.750 97.531,醫(yī) 藥 91.176 95.673 93.370 91.176 100.00 95.384,體 育 99.329 98.013 98.667 100.00 98.026 99.003,軍 事 86.747 85.714 86.227 90.361 87.209 88.757,經(jīng) 濟 95.370 91.964 93.636 96.296 94.545 95.412,教 育 91.781 94.366 93.056 93.151 97.143 95.105,交 通 94.366 94.429 94.398 95.775 97.143 96.454,計算機 91.463 96.154 93.750 98.485 97.015 97.744,環(huán) 境 91.045 96.825 93.846 94.030 96.923 95.455,總體評估(F1) 94.004 95.503,第16頁,兩種分類法的分類質量（F1值）曲線：,第17頁,實驗分析,實驗數(shù)據(jù)中，查準率和查全率的值都比較高，這是因為我們的實驗中數(shù)據(jù)集數(shù)量不是很大，并且大多采用的是較為簡單的網(wǎng)頁，廣告等噪聲信息相對較少的緣故。也正是因為這個原因，造成兩種分類方法的分類質量差異不如理想值（5%10%），但可以證明，基于分塊重要度的網(wǎng)頁分類法在分類質量上是要優(yōu)于傳統(tǒng)的網(wǎng)頁分類法的。,第18頁,實驗分析,實驗數(shù)據(jù)中，各類的F1值不太均衡，這跟每一類訓練樣本的數(shù)目有關。藝術、體育等類訓練樣本較多，則反映該類的特征就比較全面，SVM分類器通過學習獲得的知識就比較多，所以其F1評估值就較高。而政治、軍事等類，由于訓練樣本相對較少，分類器學習所得知識要少一些，從而影響了分類的質量，造成了F1評