Web檢索評(píng)測(cè).ppt

1、SEWM2007中文Web檢索評(píng)測(cè),李靜靜, 北京大學(xué)網(wǎng)絡(luò)實(shí)驗(yàn)室 2007-03,提綱,評(píng)測(cè)任務(wù)介紹 CWT200g測(cè)試集構(gòu)建 評(píng)測(cè)結(jié)果 總結(jié),評(píng)測(cè)任務(wù)之一：主題提?。═opic Distillation）,對(duì)于一個(gè)特定主題發(fā)現(xiàn)一組關(guān)鍵資源 注重以站點(diǎn)作為資源的查詢(xún) 要求是在前十個(gè)結(jié)果中尋找盡可能多的不同站點(diǎn)（用它們的網(wǎng)站的入口頁(yè)面表示） 判斷是否一個(gè)好的入口頁(yè)面,應(yīng)該考查結(jié)果是否符合下面三個(gè)條件: 是否大部分切合主題； 提供主題的可靠的信息； 不是一個(gè)更大的切合主題站點(diǎn)的一部分,評(píng)測(cè)任務(wù)之二：導(dǎo)航搜索(Navigation search),主頁(yè)查詢(xún)(Home Page finding，HP)

2、 通常是一個(gè)網(wǎng)站的主頁(yè) 指定頁(yè)面查詢(xún)(Named Page finding，NP） 滿(mǎn)足用戶(hù)需求的特定頁(yè)面 評(píng)測(cè)準(zhǔn)則 第一個(gè)正確答案出現(xiàn)位置的倒數(shù)平均值（MRR）,測(cè)試集使用框架,CWT200g文檔集,CWT200g 根據(jù)天網(wǎng)搜索引擎在2005年11月份數(shù)據(jù)中的627,036個(gè)站點(diǎn)為數(shù)據(jù)基礎(chǔ) 容量:197GB 覆蓋29,100個(gè)網(wǎng)站，37,482,913個(gè)網(wǎng)頁(yè) 網(wǎng)頁(yè)本身是壓縮保存, 以天網(wǎng)格式保存,Topic 示例：主題提取(TD), Number:TD217 體育新聞 Description: 足球，籃球，奧運(yùn)，亞運(yùn)等等的新聞報(bào)道 ,Topic 示例：導(dǎo)航搜索(HP/NP), Number:

3、NP890 中國(guó)政法大學(xué)學(xué)工部 , Number:NP1145 政府網(wǎng)站2005年十件大事 ,相關(guān)答案集的構(gòu)建,采用pooling方法，pooling的深度比去年加大 每個(gè)主題1000個(gè)待判斷的文檔 相關(guān)判斷結(jié)果 保留了56個(gè)主題，共1848個(gè)相關(guān)文檔 各主題平均答案數(shù) SEWM2007：33個(gè) vs. SEWM2006：33.5個(gè),各主題相關(guān)答案數(shù)分布,pool深度對(duì)相關(guān)答案數(shù)的影響之一,pool深度對(duì)相關(guān)答案數(shù)的影響之二,2007年提交結(jié)果的參賽隊(duì),TD評(píng)測(cè)結(jié)果,根據(jù)保留的56個(gè)主題來(lái)評(píng)分的結(jié)果,不同pool深度結(jié)果與評(píng)測(cè)結(jié)果一致性,NPHP評(píng)測(cè)結(jié)果,HP評(píng)測(cè)結(jié)果,NP評(píng)測(cè)結(jié)果,HP/NP/NPHP的MRR分布圖,總結(jié),人工評(píng)測(cè)耗費(fèi)的資源較大 pooling深度對(duì)評(píng)測(cè)結(jié)果的影響不大，即答案集不全對(duì)評(píng)測(cè)的影響不大 不