元搜索引擎原理與利用

1、現(xiàn)代圖書情報技術(shù)1998年第6期收稿日期:1998-06-03元搜索引擎:原理與利用王芳張曉林(四川聯(lián)合大學(xué)信息管理系成都610064【摘要】對元搜索引擎的基本結(jié)構(gòu)和運行過程進(jìn)行了分析,并結(jié)合實例介紹了元搜索引擎的類別與特點?！娟P(guān)鍵詞】元搜索引擎搜索引擎桌面搜索引擎信息檢索M eta-search Eng i nes:Pr i nc iples and Appl ica tion sW ang FangZhang X i aol i n(D ep a rt m en t of L ibra ry and Inf or m a tion S cience,S ichuan U n ion U n

2、 iversity,Cheng d u【Abstract】T he paper givers an analysis of the basic structu re and functi onal p rocess of m eta search engines,and describes w ith examp les the catego ries and characteristics of these new search too ls.1前言In ternet WWW的迅速發(fā)展帶來豐富的和動態(tài)變化的網(wǎng)絡(luò)化信息資源,同時也呼喚新的檢索機(jī)制與能力。搜索引擎技術(shù)應(yīng)運而生,通過采集標(biāo)引眾多網(wǎng)

3、絡(luò)站點來提供全局性網(wǎng)絡(luò)資源控制與檢索機(jī)制,從而幫助用戶方便地在網(wǎng)絡(luò)中準(zhǔn)確檢索所需信息1-3,著名的Yahoo!、Info seek、A ltaV ista、悠游(GoYoYo等就是典型代表。然而,當(dāng)搜索引擎數(shù)量迅速增加、各自使用的檢索方式日益復(fù)雜時,如何準(zhǔn)確選擇搜索引擎、如何減輕學(xué)習(xí)與操作負(fù)擔(dān)、如何有效利用多個搜索引擎的“集成”資源與檢索能力等就成為制約網(wǎng)絡(luò)信息檢索技術(shù)進(jìn)一步優(yōu)化和發(fā)展的重要問題。正是面對這個挑戰(zhàn),檢索工具開發(fā)者設(shè)計了元搜索引擎(M eta2Search Engines,能夠利用多個搜索引擎進(jìn)行網(wǎng)絡(luò)信息查詢。2元搜索引擎的基本結(jié)構(gòu)與運行原理211元搜索引擎的基本性質(zhì)與結(jié)構(gòu)所謂元

4、搜索引擎,是對分布于網(wǎng)絡(luò)的多種檢索工具的全局控制機(jī)制,它通過一個統(tǒng)一用戶界面幫助用戶在多個搜索引擎中選擇和利用合適的(甚至是同時利用若干個搜索引擎來實現(xiàn)檢索操作(Search the search engines4-5,其基本結(jié)構(gòu)如圖1所示。圖1元搜索引擎搜索引擎搜索引擎搜索引擎用戶我們可將元搜索引擎看成具有雙層C S 結(jié)構(gòu)的系統(tǒng),用戶向元搜索引擎發(fā)出檢索請求,元搜索引擎再根據(jù)該請求向多個搜索引擎發(fā)出實際檢索請求;搜索引擎執(zhí)行元搜索引擎檢索請求后將檢查結(jié)果以應(yīng)答形式傳送給元搜索引擎,元搜索引擎將從多個搜索引擎獲得的檢索81結(jié)果經(jīng)過整理再以應(yīng)答形式傳送給實際用戶。當(dāng)然,某些元搜索引擎具有略微不同

5、的機(jī)制,我們將在下面討論元搜索引擎實例時具體介紹。212搜索引擎和元搜索引擎的區(qū)別搜索引擎與元搜索引擎的主要區(qū)別在于搜索引擎擁有獨立的網(wǎng)絡(luò)資源采集標(biāo)引機(jī)制和相應(yīng)的數(shù)據(jù)庫,而元搜索引擎一般沒有自己獨立的數(shù)據(jù)庫,卻更多地是提供統(tǒng)一聯(lián)結(jié)界面(或進(jìn)一步地提供統(tǒng)一檢索方式和結(jié)果整理,形成一個由多個分布的、具有獨立功能的搜索引擎構(gòu)成的虛擬邏輯整體,用戶通過元搜索引擎的功能實現(xiàn)對這個虛擬整體中各獨立搜索引擎數(shù)據(jù)庫的查詢顯示等一切操作。元搜索引擎中各獨立搜索引擎被稱為“成員搜索引擎”,它們各自保持其原來的局部數(shù)據(jù)模式和自己的檢索指令;元搜索引擎給出一個全局外部模式,用以接受用戶檢索輸入和結(jié)果輸出。不過,有些元

6、搜索引擎給出的全局外部模式不夠完善。213元搜索引擎的基本運行過程根據(jù)分布式數(shù)據(jù)庫系統(tǒng)的原理,我們可以用圖2初步描述元搜索引擎基本運行過程的概念模型6:用戶元搜索引擎搜索引擎目錄全局 局部指令字典圖2全局 局部格式字典全局結(jié)果組織局部結(jié)果轉(zhuǎn)換局部接收結(jié)果局部指令發(fā)送全局指令解析選擇搜索引擎根據(jù)該模型,元搜索引擎的主要功能有: (1搜索引擎的選擇:元搜索引擎一般允許用戶選擇合適的搜索引擎集合具體進(jìn)行檢索,選擇方式包括選擇一個搜索引擎、選擇全部搜索引擎、選擇滿足一定條件的若干個搜索引擎(例如最快的或最好的三個。有些元搜索引擎只能使用固定的搜索引擎集合。(2檢索指令的轉(zhuǎn)換:由于每個搜索引擎都有自己的

7、查詢語言,因此元搜索引擎需要將用戶通過統(tǒng)一界面以統(tǒng)一形式輸入的全局檢索指令轉(zhuǎn)換為各個成員搜索引擎的局部指令語言,這可利用“全局 局部指令字典”來實現(xiàn)。但指令語言轉(zhuǎn)換并不是異形指令的簡單、機(jī)械互換,應(yīng)做到:對應(yīng)指令的功能性質(zhì)一致性;對應(yīng)指令的功能作用范圍一致;對應(yīng)指令的邏輯結(jié)構(gòu)和構(gòu)成一致;對應(yīng)指令的邏輯結(jié)果一致。全局指令既要準(zhǔn)確地表達(dá)所有成員搜索引擎指令語言的共同特點和指令形式,又要能夠以一定方式執(zhí)行有關(guān)成員搜索引擎指令的特殊功能。目前,指令轉(zhuǎn)換尚有較多不足之處。(3局部結(jié)果轉(zhuǎn)換和全局結(jié)果組織:從各搜索引擎返回的結(jié)果具有自己的數(shù)據(jù)格式,元搜索引擎需要依照用戶要求或系統(tǒng)設(shè)置值將各個局部結(jié)果轉(zhuǎn)換為全

8、局結(jié)果要求的形式,并構(gòu)成邏輯上統(tǒng)一的整體結(jié)果集合和格式呈交用戶。全局格式轉(zhuǎn)換與檢索指令轉(zhuǎn)換一樣,要在數(shù)據(jù)項數(shù)量、邏輯內(nèi)容、名稱、長度、位置等方面準(zhǔn)確地表達(dá)所有成員搜索引擎局部格式的共同特點和要求,又要能根據(jù)全局模式的要求對數(shù)據(jù)進(jìn)行處理,還要協(xié)調(diào)不同的局部格式可能存在的差異,對某些搜索引擎特有的信息段要適當(dāng)處理,保證對每一個命中記錄具有盡可能詳細(xì)的描述資料。元搜索引擎還應(yīng)對全局結(jié)果進(jìn)行剔重、排序等處理。214自動選擇的實現(xiàn)方式前面提到,用戶可選擇滿足一定條件的若干搜索引擎同時進(jìn)行檢索。一般地,元搜索引擎將根據(jù)一定條件自動實施這種選擇7。(1“選擇最好”模式:元搜索引擎可能采取以下方式來選擇“最好

9、”的搜索引擎,例如它可跟蹤一定時期各類檢索式檢索成員搜索引擎的命中記錄數(shù)的統(tǒng)計分布,根據(jù)該分布來確定相對于一定主題的“最好”搜索引擎?；蛘?元搜索引擎可對成員搜索引擎的索引數(shù)據(jù)庫進(jìn)行某種方式的分類統(tǒng)計,建立類目與U RL數(shù)量的對應(yīng)關(guān)系,并據(jù)此確立“最好”的搜索引擎。例如, P rofu si on和SavvySearch就提供了類似的功能。(2“選擇最快”模式:元搜索引擎系統(tǒng)可能采取下列兩種方式來選擇“最快”的搜索引擎:A1隨機(jī)產(chǎn)生方式:元搜索引擎以并行方式將檢索指令傳送給若干搜索引擎,選擇最先返回的幾個(比如前三個結(jié)果集并組織成全局結(jié)果集,忽略后面的其它結(jié)果集。B1先驗式:檢索工具研制者在大

10、量測試數(shù)據(jù)基礎(chǔ)上,制定相應(yīng)的控制字典,明確標(biāo)明某一類信息與搜索引擎檢索速度的映射關(guān)系。用戶提交檢索式后,元搜索引擎首先進(jìn)91行概念分析,確認(rèn)它隸屬的類別范疇,然后對照控制字典通過一定的算法選擇最快的前幾個搜索引擎。該方式涉及的技術(shù)細(xì)節(jié)較多,包括詞表的建立、維護(hù),詞表中用于速度測試的詞匯的選定,對成員搜索引擎的定期速度測試等,都將對測試結(jié)果的可靠性產(chǎn)生較大影響。3元搜索引擎的分類按功能劃分,元搜索引擎包括多線索式搜索引擎和A ll-in-one式搜索引擎;按運行方式的差異可分為在線搜索引擎和桌面搜索引擎。311多線索式元搜索引擎所謂多線索式元搜索引擎指利用唯一的、確定的檢索界面,實現(xiàn)對多個獨立搜

11、索引擎索引數(shù)據(jù)庫進(jìn)行檢索,并將檢索結(jié)果以統(tǒng)一格式顯示的網(wǎng)絡(luò)檢索工具。如M etacraw ler、Savvysearch、P rofu si on等都是屬于多線索式元搜索引擎。在理想狀態(tài)下,這類元搜索引擎應(yīng)具有以下特征:(1統(tǒng)一檢索界面:元搜索引擎提供統(tǒng)一界面,提供對各搜索引擎特點介紹和選擇機(jī)制,但所有成員搜索引擎構(gòu)成一個邏輯整體,元搜索引擎檢索界面構(gòu)成唯一的全局外部檢索模式,用戶通過這個全局界面實現(xiàn)對多個或任意一個搜索引擎的檢索。(2檢索指令轉(zhuǎn)換:在具有唯一全局外部檢索模式情況下,系統(tǒng)可提供統(tǒng)一的全局指令語言,并自動地實現(xiàn)元搜索引擎指令與其成員搜索引擎指令的轉(zhuǎn)換,用戶使用同一指令語言檢索不同

12、的搜索引擎的索引數(shù)據(jù)庫。(3統(tǒng)一結(jié)果集的組織與顯示:元搜索引擎提供全局組織器,對各搜索引擎返回的結(jié)果進(jìn)行處理以形成全局結(jié)果集,并以統(tǒng)一格式顯示,主要涉及數(shù)據(jù)格式轉(zhuǎn)換、剔重、統(tǒng)一排序等。312A ll-in-one方式h tm l。這種A ll-in-one方式的元搜索引擎確切地說只是搜索引擎的羅列,它們具有以下特點:(1僅僅提供一個簡單的界面來幫助用戶選擇和使用各搜索引擎。(2只能選擇一個搜索引擎進(jìn)行檢索。(3對各獨立搜索引擎檢索界面的復(fù)制可能是部分的或全部的。(4直接利用所選搜索引擎的顯示格式呈送給用戶。313桌面元搜索引擎4實際元搜索引擎分析下面我們通過對三個著名的元搜索引擎的介紹來進(jìn)一步

13、分析元搜索引擎的特點。411M etaCrawlerM etaC raw ler9由華盛頓大學(xué)的E rik2Selberg等共同研制,1997年初被Go2net收購,目前已發(fā)展成為一個優(yōu)秀的多線索式搜索引擎。它可同時調(diào)用6個搜索引擎并行檢索,包括L yco s、Info seek、W ebC raw ler、Excite、A ltaV ista和Yahoo!。它可使用簡單檢索和高級檢索。檢索式中關(guān)鍵詞間用空格分開,允許包括一個或多個短語(短語用“”標(biāo)志;詞前加“+”號或“-”號表示結(jié)果中必須包括的詞或禁止出現(xiàn)的詞;圓括號中的詞當(dāng)作一個整體處理。圖形界面提供了相當(dāng)于布爾操作AND、O R的選項和

14、短語檢索,檢索范疇可限制在W eb、新聞組、計算機(jī)產(chǎn)品或文件中。M etaC raw ler高級檢索界面中還能定義等待檢索的最大時間(5秒-2分鐘和從每個搜索引擎返回的最大結(jié)果數(shù)(10,20,30。它能整體地集成查詢結(jié)果,刪除重復(fù)的U RL,將結(jié)果排序以統(tǒng)一的格式顯示給用戶。而且,M etaC raw ler具有自動核實功能,它將存儲各個搜索引擎返回的結(jié)果并確認(rèn)和刪除死鏈。412SavvySearchSavvySearch10是一個并行檢索的元搜索引擎,它可調(diào)用21個獨立的搜索引擎,檢索包括W eb、U senet新聞組、軟件、參考工具、人、技術(shù)報告等信息。每次最多可同時檢索5個搜索引擎的數(shù)據(jù)

15、庫。它根據(jù)歷次檢索獲取有關(guān)統(tǒng)計數(shù)據(jù),從而可依據(jù)搜索引擎對提問式的可能有用程度,將21個搜索引擎進(jìn)行分組排序,以確定每次選擇的5個搜索引擎。SavvySearch提供布爾邏輯算法和詞組檢索:all query term (AND,any query term(O R和all query term as a p h rase但不是所有的成員搜索引擎都能正確處理布爾操作符,結(jié)果可能不精確。檢索可在一定的資源類型中進(jìn)行,如W eb資源、人、或?qū)W術(shù)資料等。在SavvySearch中用戶可指定每個搜索引擎返回結(jié)果的數(shù)目,而且如果選擇了“in tegrate resu lt”選項,系統(tǒng)將對結(jié)果集作刪重處理。

16、檢索結(jié)果包括發(fā)現(xiàn)資源的搜索引擎的名稱、可鏈接的網(wǎng)頁標(biāo)題、U RL、文件大小、相關(guān)程度和頁面開始的十幾個單詞。413ProFusionP roFu si on11也是一個并行檢索的搜索引擎,最多可同時調(diào)用9個獨立的搜索引擎。搜索引擎的調(diào)用方式分為:a.系統(tǒng)自動選擇最好的3個;b.系統(tǒng)自動選擇最快的3個;c.全部調(diào)用;d.用戶從中選取任意個搜索引擎。P rofu si on會按每個搜索引擎的語法分析查詢,對于真正的布爾查詢可以從下拉菜單中選擇“Boo lean”,短語檢索選擇“p h rase”,檢索范疇可選則W eb或U senet。在檢索式中可直接用圓括號(、AND(或&、O R(或丨、NO T(!和N EA R(,操作符必須大寫,且操作符前后都要有空格。P rofu si on能夠綜合搜索結(jié)果并為結(jié)果排序,但它不能顯示每個結(jié)果來自哪個搜索引擎。另外,它還提供個性化的結(jié)果頁面。在免費注冊后,P