(完整版)信息檢索第十一講搜索引擎

第十一講

搜索引擎及其使用技巧

我們被信息淹沒,但卻渴求知識。

——《大趨勢》約翰·奈斯比特

必須找？

哪里找？

如何找？主要內(nèi)容搜索引擎的發(fā)展歷程、定義、原理、分類Google及其使用技巧其它搜索引擎搜索引擎的發(fā)展歷程

因特網(wǎng)是世界上最大的信息寶庫，它已成為全球范圍內(nèi)傳播和交流科研信息、教育信息、商業(yè)信息和社會信息的最主要的渠道，要想在這一浩瀚無邊、變化多端而又魚龍混雜的信息海洋中發(fā)現(xiàn)并查找出有利用價(jià)值的信息并不是一件易事，猶如大海撈針。為了有效的利用這些資源，大量的搜索引擎便出現(xiàn)了。

搜索引擎的概念

所謂搜索引擎，是指WWW環(huán)境中能夠進(jìn)行網(wǎng)絡(luò)信息的搜集、組織并能提供查詢服務(wù)的一種信息服務(wù)系統(tǒng)。它們主要通過網(wǎng)絡(luò)搜索軟件（又稱網(wǎng)絡(luò)搜索機(jī)器人）或多種人工方式，將WWW上大量網(wǎng)站的頁面信息收集、傳輸?shù)奖镜兀?jīng)過加工處理建成索引數(shù)據(jù)庫或目錄指南，從而能夠?qū)τ脩籼岢龅母鞣N查詢請求做出響應(yīng)，并提供用戶所需要的信息。搜索引擎的發(fā)展歷程搜索引擎的發(fā)展歷程搜索引擎的雛形

蒙特利爾大學(xué)學(xué)生艾倫.伊米杰在1990年發(fā)明的Archie算是現(xiàn)代搜索引擎的雛形。雖然當(dāng)時萬維網(wǎng)還未得到全面的推廣，但還是經(jīng)常需要在網(wǎng)絡(luò)中傳輸大量的文件，由于這些文件大多散布在分散的FTP主機(jī)中，查詢起來非常不便，因此艾倫.伊米杰想到了開發(fā)一個可以通過文件名來查找文件的程序，于是便有了Archie。Archie工作原理與現(xiàn)在的搜索引擎很相似，它依靠腳本程序自動搜索網(wǎng)上共享的文件，然后對相關(guān)信息進(jìn)行索引，以供使用者查詢。不過此時的搜索工具還只限于文件索引功能，隨后出現(xiàn)的一些類似于Archie的搜索工具中就加入了檢索網(wǎng)頁的功能。搜索引擎發(fā)展歷程蜘蛛程序的由來當(dāng)時，電腦“機(jī)器人”一詞可是非常流行，它指的是某個能夠以人類無法達(dá)到的速度不間斷地執(zhí)行某種任務(wù)的軟件程序。由于專門用于檢索網(wǎng)絡(luò)信息的“機(jī)器人”程序像蜘蛛一樣在網(wǎng)絡(luò)間爬來爬去，因此，搜索引擎中的“機(jī)器人”程序就被稱為“蜘蛛”程序。世界上第一個用于監(jiān)測互聯(lián)網(wǎng)發(fā)展規(guī)模的“機(jī)器人”程序是馬太.杰瑞開發(fā)的WorldWideWebWanderer（四W）。剛開始它只用來統(tǒng)計(jì)互聯(lián)網(wǎng)上的服務(wù)器數(shù)量，后來則發(fā)展為能夠檢索網(wǎng)站域名。與杰瑞的Wanderer程序相對應(yīng)，馬丁.科斯特于1993年10月創(chuàng)建了ALIWEB，它是Archie的HTTP版本。ALIWEB不使用“機(jī)器人”程序，而是依靠網(wǎng)站主動提交信息來建立自己的鏈接索引，類似于現(xiàn)在我們熟知的Yahoo等網(wǎng)站。第一個搜索引擎

第一個真正意義上的現(xiàn)代搜索引擎出現(xiàn)在1994年7月。當(dāng)年4月，美國斯坦福大學(xué)的兩名博士生，大衛(wèi).菲勒和美籍華人楊致遠(yuǎn)（/guiren/info.asp?newsid=16651）共同創(chuàng)辦了大家熟知的超級目錄索引Yahoo，從此搜索引擎進(jìn)入了高速發(fā)展的時期。目前，互聯(lián)網(wǎng)上大大小小的搜索引擎已達(dá)千余家，其檢索的信息量也與從前不可同日而語。隨著互聯(lián)網(wǎng)規(guī)模和信息量的急劇膨脹，一家搜索引擎光靠自己單打獨(dú)斗已無法適應(yīng)目前的市場狀況，因此現(xiàn)在搜索引擎之間開始出現(xiàn)了分工協(xié)作，并有了專業(yè)的搜索引擎技術(shù)和搜索數(shù)據(jù)庫服務(wù)提供商。它本身可能并不是直接面向用戶的搜索引擎，但向其他搜索引擎提供全文網(wǎng)頁搜索服務(wù)。從這個意義上來說，它們是搜索引擎的搜索引擎。搜索引擎工作流程網(wǎng)頁作者呈送查詢請求1.1搜索引擎的定義搜索引擎是一個提供信息“檢索”服務(wù)的網(wǎng)站，它使用某些程序把因特網(wǎng)上的所有信息歸類以幫助人們在茫茫網(wǎng)海中搜尋到所需要的信息。搜索引擎常常是用戶利用網(wǎng)上資源的第一途徑。1.2搜索引擎原理從互聯(lián)網(wǎng)上抓取網(wǎng)頁→建立索引數(shù)據(jù)庫→在索引數(shù)據(jù)庫中搜索排序。大多數(shù)搜索引擎并不真正搜索互聯(lián)網(wǎng)，它搜索的實(shí)際上是預(yù)先整理好的網(wǎng)頁索引數(shù)據(jù)庫。搜索引擎也不能真正理解網(wǎng)頁上的內(nèi)容，它只能機(jī)械的匹配網(wǎng)頁上的文字。1.3搜索引擎的分類

按檢索機(jī)制劃分

按檢索內(nèi)容劃分（1）按檢索機(jī)制劃分

全文搜索引擎

目錄式搜索引擎

元搜索引擎

全文搜索引擎從互聯(lián)網(wǎng)上提取的各個網(wǎng)站的信息而建立的數(shù)據(jù)庫中，檢索與用戶查詢條件匹配的相關(guān)記錄，然后按一定的排列順序?qū)⒔Y(jié)果返回給用戶。從搜索結(jié)果來源的角度，全文搜索引擎又可細(xì)分為兩種，一種是擁有自己的檢索程序，并自建網(wǎng)頁數(shù)據(jù)庫，搜索結(jié)果直接從自身的數(shù)據(jù)庫中調(diào)用；另一種則是租用其他引擎的數(shù)據(jù)庫，并按自定的格式排列搜索結(jié)果，如Lycos引擎。優(yōu)點(diǎn)：是查詢?nèi)?、充分，用戶能夠?qū)Ω骶W(wǎng)站的每篇文章中的每個詞進(jìn)行搜索，檢索直接、方便，而且可使用布爾邏輯檢索、短語檢索等高級功能。缺點(diǎn)：繁多而雜亂的感覺。代表性的全文搜索引擎是Google、百度。目錄式搜索引擎通過用戶瀏覽層次類型目錄來尋找所需信息。分類一般按主題分類，并輔之以年代、地區(qū)等分類。網(wǎng)站多以此方式組織。例如：新浪>分類目錄>計(jì)算機(jī)與互聯(lián)網(wǎng)>硬件>行情報(bào)價(jià)。優(yōu)點(diǎn)：使用戶清晰方便地查找到某一大類信息，尤其適合那些希望了解某一范圍內(nèi)信息，并不嚴(yán)格限于查詢關(guān)鍵字的用戶。缺點(diǎn)：搜索范圍較全文搜索引擎要小許多，尤其是當(dāng)用戶選擇類型不當(dāng)時，可能遺漏某些重要的信息源。代表性的目錄式搜索引擎是Yahoo、搜狐、新浪網(wǎng)站元搜索引擎同時在其他多個引擎上進(jìn)行搜索，并將結(jié)果返回給用戶。沒有自己的數(shù)據(jù)庫，利用一個統(tǒng)一的界面，查詢其他獨(dú)立的搜索引擎。優(yōu)點(diǎn)：快捷，信息覆蓋面更加廣泛缺點(diǎn)：高級檢索功能不完善，檢索結(jié)果沒有經(jīng)過處理

著名的元搜索引擎有InfoSpace、Dogpile（）、Vivisimo（）等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎（/），優(yōu)客搜索（）圖Dogpile界面MetaCrawler1995年由華盛頓大學(xué)推出，1997年被InfoSpace購買。支持調(diào)用12個獨(dú)立搜索引擎，提供涵蓋近20個主題的目錄檢索服務(wù)。檢索特性非常豐富，包括常規(guī)檢索、高級檢索、定制檢索、國家或地區(qū)的資源檢索等檢索服務(wù)模式。高級檢索模式可實(shí)現(xiàn)：搜索引擎的選擇調(diào)用，基于域名、地區(qū)或國家的檢索結(jié)果過濾，最長檢索時間設(shè)置，每頁可顯示的和允許每個搜索引擎返回的檢索結(jié)果數(shù)量的設(shè)定，設(shè)定檢索結(jié)果排序依據(jù)（包括相關(guān)度、域名、源搜索引擎）等。以上內(nèi)容均可作為定制檢索的個性化選項(xiàng)并予以保存。檢索結(jié)果中包括一個以1000為最大值的相關(guān)度指標(biāo)。

一款理想的元搜索引擎應(yīng)具備的特點(diǎn)和功能含蓋較多的搜索資源，可隨意選擇和調(diào)用源搜索引擎；具備盡可能多的可選擇功能，如資源類型（網(wǎng)站、網(wǎng)頁、新聞、軟件、FTP、MP3、圖像等）選擇、返回結(jié)果數(shù)量控制、結(jié)果時段選擇、過濾功能選擇等強(qiáng)大的檢索請求處理功能（如支持邏輯匹配檢索、短語檢索、自然語言檢索等）和不同搜索引擎間檢索語法規(guī)則、字符的轉(zhuǎn)換功能（如對不支持“NEAR”算符的搜索引擎，可自動實(shí)現(xiàn)由“NEAR”向“AND”算符的轉(zhuǎn)換等詳盡全面的檢索結(jié)果信息描述（如網(wǎng)頁名稱、URL、文摘、源搜索引擎、結(jié)果與用戶檢索需求的相關(guān)度等）支持多種語言檢索。

（2）按檢索內(nèi)容劃分通用型專題型

通用型搜索引擎

通用型搜索引擎在采集標(biāo)引信息資源時不限制資源的主題范圍和數(shù)據(jù)類型，又稱為綜合型檢索工具。如：Google、百度、AltaVista、Excite、Yahoo等也有這種混合功能。右圖是Yahoo的檢索界面，既有檢索窗口，也有分類瀏覽目錄。專題型檢索工具

專題型檢索工具指那些專門用來檢索某一類型信息和數(shù)據(jù)的檢索工具，如查詢地圖的檢索工具“MapBlast”、查詢圖像的檢索工具“WebSEEK”等。圖G的界面/2Google及其使用技巧由兩個斯坦福大學(xué)博士生LarryPage與SergeyBrin于1998年9月發(fā)明。約搜索30億張網(wǎng)頁，包括35個國家和地區(qū)的語言的資源。已占有全球搜索市場的80%。Google在中國的搜索市場的市場份額也已突破30%，并且增長速度迅猛，在中文搜索市場有舉足輕重的作用。2.1Google檢索步驟

確定檢索需求

構(gòu)建檢索策略

點(diǎn)擊檢索

評估檢索結(jié)果

點(diǎn)擊瀏覽

保存所需信息

2.2Google檢索技巧

正確選擇搜索字詞大小寫、自動使用“AND”合理利用“與/或”的搜索：OR

搜索中包括或不包括的詞：+、-

搜索近似詞：~

搜索特定詞組：“”

網(wǎng)頁快照、類似網(wǎng)頁

利用高級檢索使用“更多”功能自動"and"查詢

默認(rèn)情況下，Google只返回包含所有搜索字詞的網(wǎng)頁。在字詞之間無需添加"and"。請記住，字詞鍵入的順序會影響搜索結(jié)果。要進(jìn)一步限制搜索，只需加入更多字詞。大小寫

Google搜索不區(qū)分大小寫。不論您如何鍵入，所有字母都會視為是小寫的。例如，搜索georgewashington、GeorgeWashington

和gEoRgEwAsHiNgToN所返回的結(jié)果是一樣的。注意：“+”為英文字符“+”與前面一個檢索詞之間要有空格“-”與后面一個檢索詞之間不能有空格注意：“-”為英文字符“-”與前面一個檢索詞之間要有空格“-”與后面一個檢索詞之間不能有空格注意：“~”為英文字符“~”與檢索詞之間不能有空格Google高級檢索查找其他類型文件Google可以支持13種非HTML文件的搜索。除了PDF文檔，Google現(xiàn)在還可以搜索MicrosoftOffice(doc,ppt,xls,rtf）、ShockwaveFlash(swf)、PostScript(ps)和其它類型文檔。新的文檔類型只要與用戶的搜索相關(guān)，就會自動顯示在搜索結(jié)果中。

例如，如果您只想查找PDF或Flash文件，而不要一般網(wǎng)頁，只需搜索：

關(guān)鍵詞filetype:pdf

關(guān)鍵詞filetype:swf”貨幣轉(zhuǎn)換

要使用我們的內(nèi)置貨幣轉(zhuǎn)換器，只需在Google搜索框中鍵入您需要完成的貨幣轉(zhuǎn)換，并單擊“回車”鍵或GoogleSearch按鈕即可。

【實(shí)例】3.5USD=?RMB10新加坡元等于多少印度盧比8人民幣換成泰國的貨幣30人民幣每公升=?美元每加侖計(jì)算器

Google為用戶提供了一個內(nèi)置計(jì)算器。只需要在搜索字段中輸入算式，按一下回車鍵或者搜索就可以了。這個計(jì)算器可以用來做所有簡單的計(jì)算，一些復(fù)雜的科學(xué)計(jì)算，單位換算，以及提供各種物理常數(shù)。

【實(shí)例】5+2*22^20sqrt(-4)

一磅=？克

光速乘以二秒等于多少公里符號

功能示例+

加

3+44-減13-5*乘7*8/除以12/3^的…次方8^2%模(除之后的余數(shù))8%7選組合運(yùn)算X選Y表示在X個單位中選Y個有多少種選法

18選4開…次方

計(jì)算一個數(shù)的n次方根

32開5次方sqrt平方根

sqrt(9)sin,cos,etc.三角函數(shù)（括號中的數(shù)字單位為弧度）tan(45)ln以e為底的對數(shù)ln(17)log以10為底的對數(shù)log(1,000)

!階乘5!%百分之20%按鏈接搜索

有一些詞后面加上冒號對Google具有特殊的含義。其中的一個詞是“l(fā)ink:”。查詢link:顯示所有指向該網(wǎng)址的網(wǎng)頁。例如，“l(fā)ink:”將找出所有指向Google主頁的網(wǎng)頁。不能將link:搜索與普通關(guān)鍵詞搜索結(jié)合使用。指定網(wǎng)域

有一些詞后面加上冒號對Google有特殊的含義。其中的一個詞是“site:”。要在某個特定的域或站點(diǎn)中進(jìn)行搜索，可以在Google搜索框中輸入“site:”。

如何辨別網(wǎng)站的性質(zhì)

.edu教育學(xué)術(shù).gov官方政府單位.net網(wǎng)絡(luò)管理或服務(wù)機(jī)構(gòu).org財(cái)團(tuán)法人或基金會等非官方的一般機(jī)構(gòu).int國際性組織.com代表商業(yè)企業(yè)團(tuán)體與組織.中國科學(xué)研究機(jī)構(gòu)天氣查詢用Google查詢中國城市地區(qū)的天氣和天氣預(yù)報(bào)，只需輸入您要查詢的城市地區(qū)名稱和一個關(guān)鍵詞（“天氣”、“氣象”、“tq”、“tianqi”、“tianqi”等，任選其一）就能在搜索結(jié)果頁面的最上方看到當(dāng)日及未來二至三天的天氣情況。當(dāng)鼠標(biāo)移動到天氣圖標(biāo)上時，還可以顯示對應(yīng)的天氣情況細(xì)節(jié)?！疤鞖狻薄ⅰ皻庀蟆薄ⅰ皌ianqi”、“tianqi”金融信息

在搜索框中輸入股票和基金的名稱或代碼,可查詢最新的股票和基金信息。郵編區(qū)號

用Google查詢郵政編碼或長途電話區(qū)號，您只需輸入關(guān)鍵詞（“郵編”,“yb”和“YB”任選其一；“區(qū)號”，“qh”和“QH”任選其一）和要查的城市地名或郵政編碼或電話區(qū)號即可。Google會為您提供相關(guān)的所有信息，包括所在地的省市名稱，郵政編碼及長途電話區(qū)號。“郵編”、“YB”、“區(qū)號”、“qh”、“QH”手機(jī)號碼用Google查詢手機(jī)電話號碼歸屬地，您只需直接輸入要查的號碼即可（不需要任何關(guān)鍵詞）。Google能自動識別以13開頭的11位數(shù)字為手機(jī)號碼而返回相關(guān)的網(wǎng)站鏈接，讓您即刻便知道答案。定義要查看字詞或詞組的定義，只需鍵入“define”，接著鍵入一個空格，然后鍵入您需要其定義的詞。如果Google在網(wǎng)絡(luò)上找到了該字詞或詞組的定義，則會檢索該信息并在搜索結(jié)果的頂部顯示它們。

通過包含特殊操作符“define:”，并使該操作符與您需要其定義的字詞之間不留空格，還可獲得定義的列表。Google更多功能

人在旅“圖”：/

“學(xué)”海無涯：/schhp?hl=zh-CN“書”林漫步：/

新聞“快訊”：/alerts?hl=zh-CN

熱門“榜”單：/rebang/home

關(guān)注“趨勢”：/trends?hl=zh-CN

人在旅“圖”“學(xué)”海無涯“書”林漫步新聞“快訊”熱門“榜”單關(guān)注“趨勢”3國外搜索引擎

AltaVistaAskJeevesExciteMetaCrawler……AltaVista（www.altavista.com）

DEC公司1995年12月推出AskJeeves(http:///)Excite（/

）

斯坦福大學(xué)1993年8月創(chuàng)建MetaCrawler(http://www.MetaC/)4常用的學(xué)術(shù)搜索引擎專注于科學(xué)搜索引擎與目錄，還包括一些科學(xué)雜志以及其他的工具等提供了一種通過引文鏈接檢索文獻(xiàn)的網(wǎng)絡(luò)學(xué)術(shù)信息搜索工具Google學(xué)術(shù)搜索提供可廣泛搜索學(xué)術(shù)文獻(xiàn)的簡便方法專為搜索高度相關(guān)的科學(xué)信息而設(shè)計(jì)的搜索引擎

Scirus由Elsevier開發(fā)，是目前互聯(lián)網(wǎng)上最全面、綜合性最強(qiáng)的科技文獻(xiàn)門戶網(wǎng)站之一，Scirus引擎的信息源主要是兩部分：網(wǎng)頁和期刊。為科學(xué)家們在網(wǎng)絡(luò)上和專有數(shù)據(jù)庫中快速查找所需的信息打開了一道便捷之門，此外，還可以對網(wǎng)絡(luò)中所搜索到的結(jié)果進(jìn)行過濾，然后只列出包含有科學(xué)信息的成分。

目前Scirus可搜索4.5億個與科學(xué)相關(guān)的網(wǎng)頁，信息來源包括同行評審期刊論文、預(yù)印本、報(bào)告、科學(xué)數(shù)據(jù)、發(fā)明專利及有關(guān)網(wǎng)頁，大多是網(wǎng)上開放獲取資源（如電子打印稿件ArX、RePEc、MIT開放課程資料等），也含部分商業(yè)收費(fèi)資源（如LexisNexis、ScienceDirect等）。

學(xué)科領(lǐng)域以自然科學(xué)為主，也有部分社科資源，如經(jīng)濟(jì)學(xué)、商業(yè)、管理、語言文字學(xué)、法學(xué)、社會與行為科學(xué)、心理學(xué)、社會學(xué)等。SCIRUS簡介SCIRUS的特色過濾非科學(xué)方面的信息。收錄同行評審(peer-reviewed)的文章，這在一般搜索引擎中大部份是被忽略掉的。可以搜索特定作者、期刊、出版年等縮小查詢范圍。可同時查詢學(xué)科相關(guān)的會議、摘要、及專利資料。收錄年代、排序及收費(fèi)Scirus索引的更新頻率與收錄年限是每月更新，可檢索1973-2011年間發(fā)表的文獻(xiàn)。Scirus檢索結(jié)果的排序：缺省情況下，Scirus將檢索結(jié)果按照相關(guān)度進(jìn)行排序。也可以將檢索結(jié)果按照日期排序。用戶可免費(fèi)瀏覽所有檢索到的互聯(lián)網(wǎng)主頁的信息。Scirus提供的期刊資源可以免費(fèi)查看題錄和文摘。但是，獲取全文需要預(yù)先注冊并支付費(fèi)用。

SCIRUS檢索方法“基本檢索（BasicSearch）”界面和高級檢索（AdvancedSearch）。

（1）基本檢索：BasicSearchAllofthewords：檢索結(jié)果中必須包括輸入的每一個檢索詞，邏輯關(guān)系相當(dāng)于“AND”；Anyofthewords：檢索結(jié)果中可包括一個或多個檢索詞，相當(dāng)“OR”；Exactphrase：檢索結(jié)果與輸入短語嚴(yán)格匹配，相當(dāng)于引號“”的應(yīng)用。

（2）高級檢索：AdvancedSearch

Scirus高級檢索支持邏輯檢索符：邏輯與、邏輯或、邏輯非

5國內(nèi)搜索引擎

百度

北大天網(wǎng)

搜狐

新浪

網(wǎng)易

……

百度

全球最大的中文搜索引擎，2000年1月由李彥宏、徐勇兩人創(chuàng)立于北京中關(guān)村，致力于向人們提供“簡單，可依賴”的信息獲取方式。

“百度”二字源于中國宋朝詞人辛棄疾的《青玉案·元夕》詞句“眾里尋他千百度”，象征著百度對中文信息檢索技術(shù)的執(zhí)著追求。百度

董事長：李彥宏搜索市場份額：83.6%世界排名：世界第三大搜索引擎員工數(shù)：約10000人(2010年)年?duì)I業(yè)額：79.15億人民幣（約合11.99億美元）（2010年)外文名：Robin國籍：中國民族：漢出生地：山西省陽泉市出生日期：1968年11月17日職業(yè)：百度公司董事長兼首席執(zhí)行官

李彥宏畢業(yè)院校：1991年畢業(yè)于北京大學(xué)信息管理專業(yè)，隨后赴美國布法羅紐約州立大學(xué)完成計(jì)算機(jī)科學(xué)碩士學(xué)位。

主要成就：發(fā)明超鏈分析技術(shù)并獲美國專利CCTV2005中國經(jīng)濟(jì)年度人物商業(yè)周刊2006年全球最佳商業(yè)領(lǐng)袖2008北京奧運(yùn)會火炬手2008年中國改革開放30年30人資產(chǎn)：約617億人民幣/a/201109/5633.html李彥宏