




已閱讀5頁,還剩16頁未讀, 繼續(xù)免費(fèi)閱讀
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
利用分塊重要度進(jìn)行中文網(wǎng)頁分類的研究,段 昕 山東大學(xué)計(jì)算機(jī)學(xué)院,第1頁,引 言,互聯(lián)網(wǎng)的發(fā)展和信息量俱增使得人們對于主題網(wǎng)頁(以下簡稱“網(wǎng)頁”)自動(dòng)分類的要求越來越迫切。 傳統(tǒng)網(wǎng)頁分類將整個(gè)網(wǎng)頁看作一個(gè)原子單元進(jìn)行整體處理,但是由于網(wǎng)頁中一些“噪聲”信息的存在,不僅增加了處理的復(fù)雜度,還影響了網(wǎng)頁自動(dòng)分類的效果,因而需要一種分類質(zhì)量更高的網(wǎng)頁分類方法。,第2頁,網(wǎng)頁分塊,網(wǎng)頁中的信息并不都是具有相同的重要度的,比如大字標(biāo)題就要比導(dǎo)航條更加引人注目。網(wǎng)頁中的不同信息由于所處的位置、占據(jù)的空間大小或者內(nèi)容不同而具有不同的重要度。所以,我們可以將網(wǎng)頁按照內(nèi)容分塊,利用分塊的一些特征來進(jìn)行網(wǎng)頁分類,從而提高分類的質(zhì)量。,第3頁,第4頁,網(wǎng)頁分塊方法(1),基于位置關(guān)系的分塊法,利用網(wǎng)頁頁面的布局進(jìn)行分塊,將一個(gè)網(wǎng)頁分成上、下、左、右和中間5個(gè)部分,再根據(jù)這5個(gè)部分的特征進(jìn)行分類;,實(shí)際的網(wǎng)頁結(jié)構(gòu)要復(fù)雜得多,這種基于網(wǎng)頁布局的方法并不能適用于所有的網(wǎng)頁;,這種方法切分的網(wǎng)頁粒度比較粗,有可能破壞網(wǎng)頁本身的內(nèi)在特征,難以充分包括真?zhèn)€網(wǎng)頁的語義特征。,第5頁,網(wǎng)頁分塊方法(2),基于文檔對象模型(DOM)的分塊法,找出網(wǎng)頁HTML文檔里的特定標(biāo)簽,利用標(biāo)簽項(xiàng)將HTML文檔表示成一個(gè)DOM樹的結(jié)構(gòu);,特定標(biāo)簽包括heading、table、paragraph和list等;,在許多情況下,文檔對象模型不是用來表示網(wǎng)頁內(nèi)容結(jié)構(gòu)的,所以利用它不能夠準(zhǔn)確地對網(wǎng)頁中各分塊的語義信息進(jìn)行辨別。,第6頁,網(wǎng)頁分塊方法(3),基于視覺特征網(wǎng)頁分塊法(VIPS),利用字體、顏色、大小等網(wǎng)頁版面特征,根據(jù)一定的語義關(guān)聯(lián),將整個(gè)網(wǎng)頁表示成一棵HTML DOM樹;,利用橫豎線條將DOM樹節(jié)點(diǎn)所對應(yīng)的分塊在網(wǎng)頁中分隔開來,構(gòu)成網(wǎng)頁的標(biāo)準(zhǔn)分塊;,每個(gè)節(jié)點(diǎn)通過一致度(DOC)來衡量它與其它節(jié)點(diǎn)的語義相關(guān)性,從而將相關(guān)的分塊聚集在一起;,利用預(yù)先設(shè)定的一致度(PDOC)作為閾值控制分割粒度,當(dāng)所有網(wǎng)頁的DOC都不小于PDOC時(shí),網(wǎng)頁分割就可以停止了。,第7頁,網(wǎng)頁分塊重要度的標(biāo)定,利用網(wǎng)頁的空間和內(nèi)容特征可以對分塊進(jìn)行重要度的標(biāo)注,共分為4個(gè)級別:,級別一 廣告、版權(quán)等噪聲信息 級別二 導(dǎo)航條、網(wǎng)站目錄等與網(wǎng)頁標(biāo)題相關(guān) 性不大但有一定用處的信息 級別三 與網(wǎng)頁主題一致但并不是十分突出的 信息,如相關(guān)標(biāo)題、標(biāo)題索引等 級別四 大字標(biāo)題、正文等 網(wǎng)頁中最突出部 分的信息,第8頁,第9頁,實(shí) 驗(yàn),為了檢驗(yàn)利用網(wǎng)頁分塊技術(shù)進(jìn)行中文主題網(wǎng)頁分類的質(zhì)量,我們將其與傳統(tǒng)網(wǎng)頁分類法進(jìn)行了比較。選取政治、藝術(shù)、醫(yī)藥、體育、軍事、經(jīng)濟(jì)、教育、交通、計(jì)算機(jī)、環(huán)境等10大類共計(jì)3000篇主題網(wǎng)頁進(jìn)行實(shí)驗(yàn),其中訓(xùn)練集2000篇,測試集1000篇。,第10頁,在進(jìn)行特征提取時(shí),采用了開方檢驗(yàn)( test, CHI)特征提取法,計(jì)算特征項(xiàng)t和類別c的相關(guān)性如下:,第11頁,分類時(shí)采用SVM分類器,核函數(shù)采用徑向基函數(shù): 最通用的判定規(guī)則是采用高斯函數(shù):,第12頁,實(shí)驗(yàn)描述,首先將整篇網(wǎng)頁看作一個(gè)原子單元,在訓(xùn)練過程中,訓(xùn)練集實(shí)例經(jīng)過中文分詞和特征選取處理后被表示成向量形式,用來描述類別模式,在分類過程中使用。 在分類過程中,一個(gè)待分類的中文網(wǎng)頁,經(jīng)過中文分詞并表示成向量后,應(yīng)用分類算法與訓(xùn)練過程得到的類別模式逐一比較,得到候選類別列表,然后同訓(xùn)練過程中得到的每個(gè)類別的閾值相比較,保留大于閾值的類別,并作為該網(wǎng)頁的分類結(jié)果。,第13頁,實(shí)驗(yàn)描述,然后利用VIPS法對網(wǎng)頁進(jìn)行分塊,并根據(jù)4條標(biāo)準(zhǔn)對分塊進(jìn)行標(biāo)注,利用級別較高的分塊提取文本,重復(fù)第一步工作,得到利用分塊法的分類結(jié)果。,第14頁,實(shí)驗(yàn)結(jié)果,在分類系統(tǒng)中,查全率和查準(zhǔn)率反映了分類質(zhì)量的兩個(gè)不同方面,兩者必須綜合考慮,表示為F1測試值。本實(shí)驗(yàn)用F1值來衡量最終的分類質(zhì)量。其中:,第15頁,傳統(tǒng)方法 分塊方法,查全率(%) 查準(zhǔn)率(%) F1(%) 查全率(%) 查準(zhǔn)率(%) F1(%),政 治 93.413 89.143 91.228 95.210 92.442 93.806,藝 術(shù) 93.902 98.718 96.250 96.341 98.750 97.531,醫(yī) 藥 91.176 95.673 93.370 91.176 100.00 95.384,體 育 99.329 98.013 98.667 100.00 98.026 99.003,軍 事 86.747 85.714 86.227 90.361 87.209 88.757,經(jīng) 濟(jì) 95.370 91.964 93.636 96.296 94.545 95.412,教 育 91.781 94.366 93.056 93.151 97.143 95.105,交 通 94.366 94.429 94.398 95.775 97.143 96.454,計(jì)算機(jī) 91.463 96.154 93.750 98.485 97.015 97.744,環(huán) 境 91.045 96.825 93.846 94.030 96.923 95.455,總體評估(F1) 94.004 95.503,第16頁,兩種分類法的分類質(zhì)量(F1值)曲線:,第17頁,實(shí)驗(yàn)分析,實(shí)驗(yàn)數(shù)據(jù)中,查準(zhǔn)率和查全率的值都比較高,這是因?yàn)槲覀兊膶?shí)驗(yàn)中數(shù)據(jù)集數(shù)量不是很大,并且大多采用的是較為簡單的網(wǎng)頁,廣告等噪聲信息相對較少的緣故。也正是因?yàn)檫@個(gè)原因,造成兩種分類方法的分類質(zhì)量差異不如理想值(5%10%),但可以證明,基于分塊重要度的網(wǎng)頁分類法在分類質(zhì)量上是要優(yōu)于傳統(tǒng)的網(wǎng)頁分類法的。,第18頁,實(shí)驗(yàn)分析,實(shí)驗(yàn)數(shù)據(jù)中,各類的F1值不太均衡,這跟每一類訓(xùn)練樣本的數(shù)目有關(guān)。藝術(shù)、體育等類訓(xùn)練樣本較多,則反映該類的特征就比較全面,SVM分類器通過學(xué)習(xí)獲得的知識就比較多,所以其F1評估值就較高。而政治、軍事等類,由于訓(xùn)練樣本相對較少,分類器學(xué)習(xí)所得知識要少一些,從而影響了分類的質(zhì)量,造成了F1評
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年人力資源管理師三級考試模擬試卷:招聘與培訓(xùn)管理策略解析與實(shí)戰(zhàn)
- 2025年征信考試題庫:征信信用修復(fù)流程法律法規(guī)試題
- 2025年小升初數(shù)學(xué)入學(xué)考試模擬題:數(shù)學(xué)游戲《華容道》的路徑規(guī)劃策略
- 非遺保護(hù)與全球文化多樣性的平衡
- 合同書(模板)示范文本
- 貨場倉儲物流項(xiàng)目商業(yè)模式
- 老舊市政供水管網(wǎng)更新改造項(xiàng)目背景及必要性分析
- 高中生涯策劃
- 保險(xiǎn)業(yè)與企業(yè)文化
- 兒童學(xué)業(yè)拖延的社會工作介入研究分析 學(xué)前教育專業(yè)
- 渦街流量計(jì)技術(shù)協(xié)議書
- 09S304 衛(wèi)生設(shè)備安裝圖集
- 《弟子規(guī)》謹(jǐn)篇(課件)
- 膝關(guān)節(jié)骨性關(guān)節(jié)炎的防治課件
- 防蛇蟲咬傷防中暑課件
- 車輛購置稅和車船稅課件
- 國開電大《人員招聘與培訓(xùn)實(shí)務(wù)》形考任務(wù)4國家開放大學(xué)試題答案
- 混凝土灌注樁抽芯孔封堵施工方案
- 2023年徐州市泉山區(qū)工會系統(tǒng)招聘考試筆試題庫及答案解析
- 水泥廠高壓電機(jī)試驗(yàn)報(bào)告(樣表)
- 肌肉注射操作評分標(biāo)準(zhǔn)
評論
0/150
提交評論