基于web的地圖搜索引擎設(shè)計(jì)與實(shí)現(xiàn)- PPT課件

1 基于web的地圖搜索引擎設(shè)計(jì)與實(shí)現(xiàn) 樂小虬中國科學(xué)院遙感應(yīng)用研究所網(wǎng)絡(luò)部2004 01 13 2 提綱 文本搜索技術(shù)圖像搜索技術(shù)系統(tǒng)性能評(píng)價(jià)指標(biāo)地圖搜索原理系統(tǒng)實(shí)現(xiàn)與測(cè)試結(jié)果問題與展望 3 1 文本搜索技術(shù) 1 1概念搜索引擎以一定的策略在互聯(lián)網(wǎng)中搜集 發(fā)現(xiàn)信息 對(duì)信息進(jìn)行理解 提取 組織和處理 并為用戶提供檢索服務(wù) 從而起到信息導(dǎo)航的目的 1 2分類三類 目錄式搜索引擎 機(jī)器人搜索引擎 元搜索引擎 4 1 2 1目錄式搜索引擎 以人工方式或半自動(dòng)方式搜集信息 由編輯員查看信息之后 人工形成信息摘要 并將信息置于事先確定的分類框架中 信息大多面向網(wǎng)站 提供目錄瀏覽服務(wù)和直接檢索服務(wù) 該類搜索引擎因?yàn)榧尤肓巳说闹悄?所以信息準(zhǔn)確 導(dǎo)航質(zhì)量高 缺點(diǎn)是需要人工介入 維護(hù)量大 信息量少 信息更新不及時(shí) 這類搜索引擎的代表是 Yahoo LookSmart OpenDirectory GoGuide等 5 1 2 2機(jī)器人搜索引擎 由一個(gè)稱為蜘蛛 Spider 的機(jī)器人程序以某種策略自動(dòng)地在互聯(lián)網(wǎng)中搜集和發(fā)現(xiàn)信息 由索引器為搜集到的信息建立索引 由檢索器根據(jù)用戶的查詢輸入檢索索引庫 并將查詢結(jié)果返回給用戶 服務(wù)方式是面向網(wǎng)頁的全文檢索服務(wù) 該類搜索引擎的優(yōu)點(diǎn)是信息量大 更新及時(shí) 毋需人工干預(yù) 缺點(diǎn)是返回信息過多 有很多無關(guān)信息 用戶必須從結(jié)果中進(jìn)行篩選 這類搜索引擎的代表是 AltaVista NorthernLight Excite Infoseek Inktomi FAST Lycos Google 國內(nèi)代表為 天網(wǎng) 悠游 OpenFind等 6 1 2 3元搜索引擎 這類搜索引擎沒有自己的數(shù)據(jù) 而是將用戶的查詢請(qǐng)求同時(shí)向多個(gè)搜索引擎遞交 將返回的結(jié)果進(jìn)行重復(fù)排除 重新排序等處理后 作為自己的結(jié)果返回給用戶 服務(wù)方式為面向網(wǎng)頁的全文檢索 這類搜索引擎的優(yōu)點(diǎn)是返回結(jié)果的信息量更大 更全 缺點(diǎn)是不能夠充分使用所使用搜索引擎的功能 用戶需要做更多的篩選 這類搜索引擎的代表是WebCrawler InfoMarket等 7 1 3主要技術(shù) 一個(gè)搜索引擎由搜索器 索引器 檢索器和用戶接口等部分組成 流程 Web空間劃分 起始URL集合 用戶接口 循環(huán)搜索 檢索器 廣度優(yōu)先 深度優(yōu)先 索引庫 索引器 分析器 網(wǎng)頁庫 8 2 圖像搜索技術(shù) 2 1工作原理為在web上瀏覽過的圖像建立索引信息 能夠進(jìn)行圖像分析和判別 為圖像加注釋 存儲(chǔ)抽取出的索引信息建立索引庫 圖像的獲取 1 自動(dòng)查找圖像文件可以通過兩個(gè)HTML標(biāo)簽 即IMGSRC和HREF來檢測(cè)是否存在可顯示的圖像文件 搜索引擎通過檢查文件擴(kuò)展名來判斷其導(dǎo)向的是否是圖像文件 如果文件擴(kuò)展名是 GIF或 JPG 即是一個(gè)可顯示的圖像 2 人工干預(yù)找出圖像并進(jìn)行分類由人工對(duì)網(wǎng)上的圖像及站點(diǎn)進(jìn)行選擇 這種方法可以產(chǎn)生準(zhǔn)確的查詢體系 但勞動(dòng)強(qiáng)度太大 限制處理圖像的數(shù)量 9 2 2檢索方法 2 2 1關(guān)鍵詞檢索基于圖像外部信息或人工賦予的關(guān)鍵詞進(jìn)行自由詞檢索 圖像的外部信息包括圖像的文件名或目錄名 路徑名 鏈路 ALT標(biāo)簽以及圖像周圍的文本信息 基于這部分信息的檢索是目前圖像搜索引擎采用最多的方法 2 2 2分類目錄瀏覽方式將采集到的圖像或通過某種自動(dòng)機(jī)制或采用人工進(jìn)行分類標(biāo)引 為用戶提供按主題瀏覽的檢索方式 適用于檢索目標(biāo)不明確或以一般瀏覽為目的的用戶 1 2 1相似 10 2 2 3基于圖像內(nèi)容的檢索由圖像分析軟件自動(dòng)抽取圖像的顏色 形狀 紋理等特征 建立特征索引庫 用戶只需將要查找的圖像的大致特征描述出來 就可以找出與之具有相近特征的圖像 這是一種基于圖像固有屬性的機(jī)械匹配 特別適用于檢索目標(biāo)明確的查詢要求 例如對(duì)商標(biāo)的檢索 產(chǎn)生的結(jié)果也比較準(zhǔn)確 目前這種較成熟的檢索技術(shù)主要應(yīng)用于圖像數(shù)據(jù)庫的檢索 在基于web的圖像搜索引擎中應(yīng)用這種檢索技術(shù)雖還具有一定的困難 11 3 系統(tǒng)性能評(píng)價(jià)指標(biāo) 性能參數(shù) 召回率 Recall 精度 Pricision 召回率是檢索出的相關(guān)文檔數(shù)和文檔庫中所有的相關(guān)文檔數(shù)的比率 衡量的是搜索引擎的查全率 精度是檢索出的相關(guān)文檔數(shù)與檢索出的文檔總數(shù)的比率 衡量的是搜索引擎的查準(zhǔn)率 難兩全其美 常求精度 12 4 地圖搜索原理 采用文本搜索和圖像搜索相結(jié)合的方法 主要通過分析網(wǎng)頁中與地圖相關(guān)的文本信息 視圖信息來搜索和判別地圖網(wǎng)頁 基本流程 網(wǎng)頁搜索 分析 中間結(jié)果 索引庫 重組 查找 用戶接口 13 網(wǎng)頁搜索采用元搜索引擎的基本原理 搜索所有與地圖相關(guān)的網(wǎng)頁 并超鏈保存至本地庫中 同時(shí)搜索目錄式搜索引擎的分類結(jié)果 超鏈分析分析超鏈中是否含有與地圖有關(guān)的文本串 如地名 單詞 后綴等 來確定權(quán)重 視圖分析通過統(tǒng)計(jì)分析確定視圖參數(shù) 索引生成重組結(jié)果 剔除重復(fù)超鏈 生成地名索引庫 地圖檢索通過地名檢索所有相關(guān)地圖網(wǎng)頁 14 5 系統(tǒng)實(shí)現(xiàn)與測(cè)試結(jié)果 平臺(tái)PC cpu2 4G RAM528MOS win2000DE VS net運(yùn)行線程20測(cè)試范圍中國各省市結(jié)果 15 16 17 18 19 20 21 22 準(zhǔn)確率80 左右召回率 目錄式搜索結(jié)果 文本搜索結(jié)果結(jié)論 采用文本搜索與圖像搜索相結(jié)合的方法搜