《華南木棉信息檢索》PPT課件

1、全國(guó)搜索引擎與網(wǎng)上信息學(xué)術(shù)研討會(huì) SEWM 2006-中文Web檢索,華南木棉信息檢索,木棉檢索隊(duì):張?jiān)S,陳曉志,陳曉鋒 http:/,2,目錄,木棉搜索引擎現(xiàn)狀 數(shù)據(jù)格式轉(zhuǎn)換 關(guān)鍵技術(shù)介紹 結(jié)果提交 分析與展望,3,木棉搜索引擎現(xiàn)狀,基于Nutch的實(shí)現(xiàn)； 對(duì)URL、Title、Anchor、Content進(jìn)行索引； PageRank算法的應(yīng)用； 中文分詞； 基于集群系統(tǒng)的并行化搜索引擎,4,木棉搜索引擎現(xiàn)狀,網(wǎng) 頁(yè) 預(yù) 處 理,中 文 分 詞,鏈 接 分 析,文檔庫(kù),索引庫(kù),噪音模板庫(kù),鏈接庫(kù),綜合采用多種去噪算法，噪音的去除，可以減少索引量，可以避免噪音對(duì)檢索結(jié)果的影響,對(duì)站內(nèi)站外鏈接

2、賦予不同的權(quán)重，保留錨點(diǎn)文本信息,鏈入錨點(diǎn)文本 網(wǎng)頁(yè)url 網(wǎng)頁(yè)標(biāo)題 網(wǎng)頁(yè)主題內(nèi)容 鏈出錨點(diǎn)文本,基于詞頻的中文分詞,Google pagerank算法 簡(jiǎn)單pagerank算法,5,木棉搜索引擎現(xiàn)狀,用戶輸入查詢?cè)~,索引庫(kù),二次排序,結(jié)果,6,目錄,木棉搜索引擎現(xiàn)狀 數(shù)據(jù)格式轉(zhuǎn)換 關(guān)鍵技術(shù)介紹 結(jié)果提交 分析與展望,7,數(shù)據(jù)格式轉(zhuǎn)換,8,數(shù)據(jù)格式轉(zhuǎn)換,將3700萬(wàn)網(wǎng)頁(yè)分成70個(gè)part進(jìn)行處理 對(duì)每個(gè)part建立Web DB 合并所有的Web DB 用完整的Web DB更新每一個(gè)part的數(shù)據(jù) 對(duì)每個(gè)part分別建立索引 合并索引,9,目錄,木棉搜索引擎現(xiàn)狀 數(shù)據(jù)格式轉(zhuǎn)換 關(guān)鍵技術(shù)介紹 結(jié)果

3、提交 分析與展望,10,關(guān)鍵技術(shù)介紹,TD 搜索相關(guān)主題的文章，主要查找入口頁(yè)面。 NPHP 查找首頁(yè)或者指定頁(yè)面,11,關(guān)鍵技術(shù)介紹,TD 擴(kuò)展查詢 利用Description對(duì)查詢?cè)~進(jìn)行擴(kuò)展，比如： Number:TD146 股票分析 Description:股票分析的網(wǎng)站，專家評(píng)論，論壇和軟件 擴(kuò)展后為：股票分析、股票論壇、股票評(píng)論、股票軟件； 用擴(kuò)展后的查詢?cè)~搜索，每個(gè)查詢?cè)~均返回300條結(jié)果； 合并擴(kuò)展查詢結(jié)果,12,關(guān)鍵技術(shù)介紹,TD 二次查詢優(yōu)化 截取每個(gè)查詢結(jié)果的前200條結(jié)果； 對(duì)這200條結(jié)果進(jìn)行站內(nèi)聚合，并將每個(gè)網(wǎng)站內(nèi)的ROOT、SUBROOT、url深度小于3的PATH

4、的url提前； 對(duì)所有被提前的網(wǎng)頁(yè)按照得分排序，并盡量保證前十條出現(xiàn)不同網(wǎng)站的url，將這些網(wǎng)頁(yè)放在結(jié)果集的前面； 對(duì)其他網(wǎng)頁(yè)按照得分進(jìn)行排序，順序排列在得到的結(jié)果之后,13,關(guān)鍵技術(shù)介紹,NPHP 對(duì)于所給的查詢集，我們根據(jù)查詢?cè)~很容易就可以分辨出該查詢的意圖：HP or NP。我們手工對(duì)查詢?cè)~進(jìn)行判斷（RANK4 和 RANK5沒(méi)有這一步驟），添加H（homepage）或N（namepage）標(biāo)記。這一步驟主要是查詢優(yōu)化時(shí)使用； 在索引庫(kù)中查詢，并返回200條搜索結(jié)果； 對(duì)搜索結(jié)果進(jìn)行二次排序。算法主要是基于華南理工大學(xué)胡俊剛等的基于URL類型優(yōu)先級(jí)入口頁(yè)面查詢算法。同時(shí)判斷查詢?cè)~的H標(biāo)記

5、或者N標(biāo)記，把結(jié)果中的主頁(yè)提取到前面（H）或放到后面（N,14,關(guān)鍵技術(shù)介紹,Page Rank Google Page Rank 在要求不高的情況下，迭代計(jì)算5次即可。 簡(jiǎn)單 Page Rank 可以反映網(wǎng)頁(yè)的重要程度,15,目錄,木棉搜索引擎現(xiàn)狀 數(shù)據(jù)格式轉(zhuǎn)換 關(guān)鍵技術(shù)介紹 結(jié)果提交 分析與展望,16,結(jié)果提交,CWT200gTD,17,結(jié)果提交,CWT200gNPHP,18,結(jié)果提交,CWT20gTD,19,結(jié)果提交,CWT20gNPHP,20,目錄,木棉搜索引擎現(xiàn)狀 數(shù)據(jù)格式轉(zhuǎn)換 關(guān)鍵技術(shù)介紹 結(jié)果提交 分析與展望,21,分析與展望,對(duì)網(wǎng)頁(yè)各組成部分進(jìn)行索引并賦予不同的權(quán)重可以提高檢索精度； NPHP查詢結(jié)果好；TD查詢?cè)谝恍┣闆r下不能很好的將用戶引導(dǎo)到最有價(jià)值的頁(yè)面； 人工標(biāo)記和二次排序?qū)μ岣邫z索準(zhǔn)確率有很大的幫助； 查詢響應(yīng)時(shí)間相對(duì)較長(zhǎng)（平均23s,22,分析與展望,TD查詢時(shí)，采用合理的輔