搜索引擎詳解

1、搜索引擎詳解一、搜索引擎的定義搜索引擎是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信 息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息 展示給用戶的系統(tǒng)。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索 引擎、集合式搜索引擎、門戶搜索引擎與免費(fèi)鏈接列表等。百度和谷歌等是搜索 引擎的代表。二、搜索弓I擎的發(fā)展過程及特點(diǎn)用戶的大眾化，和信息量的高速增長(zhǎng)，向用戶提出了一個(gè)問題，及普通用戶 面對(duì)海量及不斷增長(zhǎng)的信息資源，如何快速有效的找到所需的資源？為了解決該 問題人們開始了對(duì)各種各樣的網(wǎng)絡(luò)信息檢索工具的研究。1、搜索引擎的雛形匿名FTP文件檢索工具Archie，是

2、網(wǎng)絡(luò)上出現(xiàn)最早的信息檢索工具，是由加拿大蒙特利爾的麥基爾大學(xué)的大學(xué)生開發(fā)的。它依靠基于腳本的采集 程序自動(dòng)搜索匿名FTP站點(diǎn)的文件，然后對(duì)有關(guān)信息進(jìn)行索引，供使用者以文件 名進(jìn)行查詢。 Gopher空間檢索工具Veronica & Jughead是受Archie啟發(fā)而開 發(fā)的，與Archie相比，Veronica出來能夠檢索文件外，也能夠檢索網(wǎng)頁(yè)。 網(wǎng)絡(luò)上的第一只蜘蛛World Wide Web Wanderer是美國(guó)麻省理 工大學(xué)開發(fā)的，最初是用來統(tǒng)計(jì)互聯(lián)網(wǎng)上的服務(wù)器數(shù)量，后繼發(fā)展，它可以同步 抓取網(wǎng)絡(luò)地址，抓取的URL形成第一個(gè)Web數(shù)據(jù)庫(kù)，其成為了搜索引擎的先鋒， 優(yōu)點(diǎn)是能夠自動(dòng)處理并積

3、累數(shù)據(jù)庫(kù)，缺點(diǎn)是耗費(fèi)網(wǎng)絡(luò)帶寬。 HTTP 版本的“Archie”ALIWEB 是由美國(guó) Martijin Koster 創(chuàng)造 的類似“蜘蛛”的自動(dòng)搜索引擎。通過人工采集信息，很好的解決了網(wǎng)絡(luò)帶寬濫 用的問題，不過數(shù)據(jù)庫(kù)的規(guī)模較小。2、基于網(wǎng)絡(luò)機(jī)器人的標(biāo)題搜索引擎基于該思想的搜索引擎有代表性的有：英國(guó)施特靈大學(xué)的JumpStation、美 國(guó)科羅拉多大學(xué)的 WWWW 以及 NASA 的 Responsitory-Based Softenwarehouse Engineering Spider。它們通過自動(dòng)抓取網(wǎng)頁(yè)的 標(biāo)題信息組成數(shù)據(jù)庫(kù)，然后通 過檢索提問和應(yīng)答而找到結(jié)果。3、可搜索的網(wǎng)絡(luò)目錄Ga

4、laxy和Yahoo是可檢索目錄的代表，使用它們進(jìn)行信息檢索比用搜索引 擎更好，因?yàn)樗鼈冊(cè)谛畔⒉杉图庸み^程中集成了人的智力勞動(dòng)。4、全文搜索引擎全文搜索引擎是名副其實(shí)的搜索引擎，國(guó)外代表有Google，國(guó)內(nèi)則有著名 的百度搜索。它們從互聯(lián)網(wǎng)提取各個(gè)網(wǎng)站的信息(以網(wǎng)頁(yè)文字為主)，建立起數(shù) 據(jù)庫(kù)，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結(jié)果。在搜索引擎分類部分提到過全文搜索引擎從網(wǎng)站提取信息建立網(wǎng)頁(yè)數(shù)據(jù)庫(kù) 的概念。搜索引擎的自動(dòng)信息搜集功能分兩種。一種是定期搜索，即每隔一段時(shí) 間，蜘蛛搜索引擎搜索引擎主動(dòng)派出“蜘蛛”程序，對(duì)一定IP地址范圍內(nèi)的互 聯(lián)網(wǎng)站進(jìn)行檢索，一旦發(fā)現(xiàn)新的網(wǎng)站

5、，它會(huì)自動(dòng)提取網(wǎng)站的信息和網(wǎng)址加入自己 的數(shù)據(jù)庫(kù)。另一種是提交網(wǎng)站搜索，即網(wǎng)站擁有者主動(dòng)向搜索引擎提交網(wǎng)址，它在一定 時(shí)間內(nèi)定向向你的網(wǎng)站派出“蜘蛛”程序，掃描你的網(wǎng)站并將有關(guān)信息存入數(shù)據(jù) 庫(kù)，以備用戶查詢。5、元搜索引擎垂直搜索引擎為2006年后逐步興起的一類搜索引擎。不同于通用的網(wǎng)頁(yè)搜索 引擎，垂直搜索專注于特定的搜索領(lǐng)域和搜索需求（例如：機(jī)票搜索、旅游搜索、 生活搜索、小說搜索、視頻搜索等等），在其特定的搜索領(lǐng)域有更好的用戶體驗(yàn)。 相比通用搜索動(dòng)輒數(shù)千臺(tái)檢索服務(wù)器，垂直搜索需要的硬件成本低、用戶需求特 定、查詢的方式多樣。三、搜索引擎的組成搜索引擎一般由搜索器、索引器、檢索器和用戶接口四

6、個(gè)部分組成：搜索器其功能是在互聯(lián)網(wǎng)中漫游，發(fā)現(xiàn)和搜集信息；索引器其功能是理解搜索器所搜索到的信息，從中抽取出索引項(xiàng)，用于表示文檔以 及生成文檔庫(kù)的索引表；檢索器其功能是根據(jù)用戶的查詢?cè)谒饕龓?kù)中快速檢索文檔，進(jìn)行相關(guān)度評(píng)價(jià)，對(duì)將 要輸出的結(jié)果排序，并能按用戶的查詢需求合理反饋信息；用戶接口其作用是接納用戶查詢、顯示查詢結(jié)果、提供個(gè)性化查詢項(xiàng)四、基于Web的搜索引擎的工作原理搜索引擎的工作過程，一般分為五個(gè)步驟：（1）抓取網(wǎng)頁(yè)從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)，利用能夠從互聯(lián)網(wǎng)上自動(dòng)收集網(wǎng)頁(yè)的網(wǎng)絡(luò)蜘蛛程序， 自動(dòng)訪問互聯(lián)網(wǎng)，并沿著任何網(wǎng)頁(yè)中的所有URL爬到其它網(wǎng)頁(yè)，重復(fù)這過程，并 把爬過的所有網(wǎng)頁(yè)收集回來。（2）

7、處理網(wǎng)頁(yè)由網(wǎng)頁(yè)分析程序?qū)κ占貋淼木W(wǎng)頁(yè)進(jìn)行分析，提取相關(guān)網(wǎng)頁(yè)信息，根據(jù)一定 的相關(guān)度算法進(jìn)行大量復(fù)雜計(jì)算，得到每一個(gè)網(wǎng)頁(yè)針對(duì)頁(yè)面內(nèi)容中及超鏈中每一 個(gè)關(guān)鍵詞的相關(guān)度。然后用這些相關(guān)信息建立網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)。（3）提供檢索服務(wù)用戶通過查詢接口輸入查詢條件，檢索程序在索引數(shù)據(jù)庫(kù)中檢索，從網(wǎng)頁(yè) 索引數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)。頁(yè)面生成系統(tǒng)將搜索結(jié)果 的鏈接地址和摘要等內(nèi)容組織起來返回給用戶。五、例：Yahoo搜索引擎的工作原理（1）Yahoo!的類目體系Yahoo ！包括14個(gè)基本類目體系：藝術(shù)與人文、商業(yè)與經(jīng)濟(jì)、電腦與因特網(wǎng)、教育、娛樂、政府與政治、健康 與醫(yī)藥、新聞與媒體、休閑與生活、

8、參考資料、區(qū)域、科學(xué)、社會(huì)科學(xué)、社會(huì)與 文化等（2）Yahoo!的分類原理1采用寬泛的分類原則進(jìn)行分類2類目間靈活組配3利用“ ”符號(hào)標(biāo)記分類結(jié)果4提供不同的分類途徑六、第二代搜索引擎的技術(shù)原理（1）超鏈接分析技術(shù)超鏈分析技術(shù)可以提供多種功能，其中的主要功能就是解決結(jié)果網(wǎng)頁(yè)的相關(guān) 度排序問題。它主要是利用網(wǎng)頁(yè)間存在的各種超鏈指向，對(duì)網(wǎng)頁(yè)之間的引用關(guān)系 進(jìn)行分析，依據(jù)網(wǎng)頁(yè)鏈人數(shù)的多少計(jì)算該網(wǎng)頁(yè)的重要度權(quán)值。對(duì)于超鏈分析技術(shù)， 有代表性的算法主要是Page等設(shè)計(jì)的PageRank算法和Kleinberg創(chuàng)造的HITS 算法。其中，PageRank算法在實(shí)際使用中的效果要好于HITS算法。（2）智能

9、化中文語(yǔ)言處理技術(shù)文字信息處理的實(shí)質(zhì)，是先把文字信息數(shù)字化，即用一個(gè)固定的數(shù)碼代表一 個(gè)字母或文字。在漢字的情況下，一般是以一個(gè)整字作為文字信息處理的單位， 因此要對(duì)每一個(gè)整字惟一地確定代表它的數(shù)碼。這一數(shù)碼統(tǒng)稱為代碼（code）。利 用計(jì)算機(jī)能夠調(diào)整處理數(shù)據(jù)的性能，使文字信息處理也能夠分享計(jì)算機(jī)技術(shù)的這 一獨(dú)特優(yōu)點(diǎn)，從而實(shí)現(xiàn)文字信息處理的高效化。七、搜索引擎的運(yùn)營(yíng)模式在搜索引擎發(fā)展早期，多是作為技術(shù)提供商為其他網(wǎng)站提供搜索服務(wù)，網(wǎng)站 付錢給搜索引擎。后來，隨著2001年互聯(lián)網(wǎng)泡沫的破滅，大多轉(zhuǎn)向?yàn)楦?jìng)價(jià)排名 方式?，F(xiàn)在搜索引擎的主流商務(wù)模式是在搜索結(jié)果頁(yè)面放置廣告，通過用戶的點(diǎn) 擊向廣告主收費(fèi)。這種模式最早是比爾格羅斯（Bill Gross）提出的并取得了 很大的成功，并且申請(qǐng)了專利。百度也推出了主題推廣服務(wù)。八、未來的搜索引擎隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上可以搜尋的網(wǎng)頁(yè)變得愈來愈多，而網(wǎng)頁(yè)內(nèi)容的 質(zhì)素亦變得良莠不齊，沒有保證。個(gè)性化趨勢(shì)是搜索引擎的一