網(wǎng)絡(luò)門戶搜索引擎網(wǎng)站的技術(shù)和存在問題及發(fā)展趨勢

網(wǎng)絡(luò)門戶搜索引擎網(wǎng)站的技術(shù)和存在問題及發(fā)展趨勢網(wǎng)絡(luò)搜索引擎在網(wǎng)絡(luò)信息資源查找中起到了重要作

用，它可以幫助人們從數(shù)以億計的網(wǎng)絡(luò)信息中找自己想要

的信息。搜索引擎以一定的策略在互聯(lián)網(wǎng)中搜集。發(fā)現(xiàn)信息，

對信息進行理解、提取、組織和處理，并為用戶提供檢索服

務(wù)，從而起到信息導(dǎo)航的目的。搜索引擎提供的導(dǎo)航服務(wù)已

經(jīng)成為互聯(lián)網(wǎng)上非常重要的網(wǎng)絡(luò)服務(wù)，搜索引擎點也被美

譽為“網(wǎng)絡(luò)門戶”。搜索引擎技術(shù)因而成為計算機工

業(yè)界和學(xué)術(shù)界爭相研究開發(fā)的對象搜索引擎的基本構(gòu)成和工作原理1.搜索器。搜索器的功能是在互聯(lián)網(wǎng)中漫游，發(fā)現(xiàn)和搜集信息。它常常是一個計算機程序，日夜不停地運行。它要盡可能多、盡可能快地搜集各種類型的新信息，同時因為互聯(lián)網(wǎng)上的信息更新很快，所以還要定期更新已經(jīng)搜集過的舊信息，以避免死連接和無效連接。目前有兩種搜集信息的策略：從一個起始URL集合開始，順著這些URL中的超鏈（Hyperlink），以寬度優(yōu)先、深度優(yōu)先或啟發(fā)式方式循環(huán)地在互聯(lián)網(wǎng)中發(fā)現(xiàn)信息。這些起始URL可以是任意的URL，但常常是一些非常流行、包含很多鏈接的站點（如Yahoo?。?。將Web空間按照域名、IP地址或國家域名劃分，每個搜索器負責(zé)一個子空間的窮盡搜索。搜索器搜集的信息類型多種多樣，包括HTML、XML、Newsgroup文章、FTP文件、字處理文檔、多媒體信息。搜索器的實現(xiàn)常常用分布式、并行計算技術(shù)，以提高信息發(fā)現(xiàn)和更新的速度。商業(yè)搜索引擎的信息發(fā)現(xiàn)可以達到每天幾百萬網(wǎng)頁。2.索引器。索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表。在搜索引擎中，一般要給單索引項賦與一個權(quán)值，以表示該索引項對文檔的區(qū)分度，同時用來計算查詢結(jié)果的相關(guān)度。使用的方法一般有統(tǒng)計法、信息論法和概率法。短語索引項的提取方法有統(tǒng)計法、概率法和語言學(xué)法。索引表一般使用某種形式的倒排表（InversionList），即由索引項查找相應(yīng)的文檔。索引表也可能要記錄索引項在文檔中出現(xiàn)的位置，以便檢索器計算索引項之間的相鄰或接近關(guān)系（proximity）。索引器可以使用集中式索引算法或分布式索引算法。當數(shù)據(jù)量很大時，必須實現(xiàn)即時索引（InstantIndexing），否則不能夠跟上信息量急劇增加的速度。索引算法對索引器的性能（如大規(guī)模峰值查詢時的響應(yīng)速度）有很大的影響。一個搜索引擎的有效性在很大程度上取決于索引的質(zhì)量。3.檢索器。檢索器的功能是根據(jù)用戶的查詢在索引庫中快速檢出文檔，進行文檔與查詢的相關(guān)度評價，對將要輸出的結(jié)果進行排序，并實現(xiàn)某種用戶相關(guān)性反饋機制。4.用戶接口。用戶接口的作用是輸入用戶查詢、顯示查詢結(jié)果、提供用戶相關(guān)性反饋機制。主要的目的是方便用戶使用搜索引擎，高效率、多方式地從搜索引擎中得到有效、及時的信息。用戶接口的設(shè)計和實現(xiàn)使用人機交互的理論和方法，以充分適應(yīng)人類的思維習(xí)慣。（二）搜索引擎的分類1.基于目錄的搜索引擎?；谀夸浀乃阉饕鎸⑹占降男畔⒎值侥骋粋€類中，典型的基于目錄的搜索引擎有Yahoo和Magellan。目錄式搜索引擎提供由網(wǎng)頁作者呈送的因特網(wǎng)資源的鏈接集合，同時對這些資源做出評價并組織成主題目錄。它使用一定的選擇標準用于挑選所錄用的鏈接資源，不同的目錄式搜索引擎使用不同的選擇標準。它有兩種基本類型：一種是由主題專家日常建立和維護的學(xué)術(shù)性專業(yè)目錄以滿足科研人員的需要；另一方面是為普通大眾和商業(yè)服務(wù)的商業(yè)目錄。2.基于機器人的搜索引擎?；跈C器人的搜索引擎從一組已知的文檔出發(fā)，通過這些文檔的超文本鏈接確定新的檢索點，然后用索引機器人周游這些新的檢索點，標引這些檢索點上的新文檔，將這些新文檔加入到索引數(shù)據(jù)庫。以后搜索引擎可以用這個索引數(shù)據(jù)庫去回答用戶的提問。機器人搜索引擎不是靠人工發(fā)現(xiàn)和甄別信息，而是由一個被稱作“蜘蛛”的計算機程序在網(wǎng)中爬行，依據(jù)一定的網(wǎng)絡(luò)協(xié)議在因特網(wǎng)中發(fā)現(xiàn)、加工、整理信息，并為用戶提供檢索服務(wù)。3.基于客戶的搜索引擎?；诳蛻舻乃阉饕嬗肳eb客戶器中的周游軟件，它們從一組已知的文檔出發(fā)，檢索WWW上的文檔并傳送這些文檔，然后用文檔中的超文本鏈接找到更多的文檔，直到滿足要求。基于客戶的搜索引擎不需要第三方檢索接口，因此可改善用戶界面，因為基于客戶的搜索是實時的，它可以搜索到最新的資料，但搜索速度慢，網(wǎng)絡(luò)負載和服務(wù)器負載都太大。4.元搜索引擎。元搜索引擎將用戶查找要求遞交給其它搜索引擎。它的注意力放在改進用戶界面及用不同的方法過濾它從其它搜索引擎接收到的相關(guān)文檔，包括消除重復(fù)信息，元搜索引擎設(shè)計簡單，但網(wǎng)絡(luò)的負載太大，典型的元搜索引擎有METACRAWLER等。5.分布式搜索引擎。分布式搜索引擎按區(qū)域、主題或其它標準創(chuàng)建分布式索引服務(wù)器，索引服務(wù)器之間相互可以交換中間信息，且查詢可以被重新定向。如果一個檢索服務(wù)器沒有滿足查詢請求的信息，它可以將查詢請求發(fā)送到具有相應(yīng)信息的檢索服務(wù)器。（三）搜索引擎的研究重點1.能充分表達用戶查詢要求的查詢語言：現(xiàn)有的搜索引擎的查詢語言甚至比較成熟的商業(yè)性的情報檢索系統(tǒng)的查詢語言還要簡單。一套能充分表達用戶要求但又不增加網(wǎng)絡(luò)負載的查詢語言是搜索引擎的發(fā)展趨勢。2.索引數(shù)據(jù)庫的組織和管理：搜索引擎的索引數(shù)據(jù)庫是網(wǎng)絡(luò)信息的一個軌跡，它要隨網(wǎng)絡(luò)信息的變化而變化，因此它除了數(shù)據(jù)增加以外還需要有數(shù)據(jù)的刪除和修改功能，如何對大容量的、非結(jié)構(gòu)化的信息進行增加、刪除、改變操作也是一個研究重點。3.信息的自動加工：在傳統(tǒng)的情報檢索中，數(shù)據(jù)源基本上是人工加工。如，（NSPECCOM-PENDEX）等，且有標準的用詞，查全率和查準率都比較高，而搜索引擎對網(wǎng)上收集到的信息一般是采用自動加工，因此如何對信息進行準確的分析和標引是搜索引擎要研究的主要問題。4.提高檢索的查準率：網(wǎng)上的信息已經(jīng)相當豐富，現(xiàn)有的搜索引擎的問題不再是能找到多少文獻，而是找到的文獻太多，且很多文獻不一定與用戶要求非常相關(guān)，因此提高查準率是搜索引擎查找效率的主要體現(xiàn)。5.Web信息的發(fā)掘：如何迅速發(fā)現(xiàn)和收集網(wǎng)上新加入的信息和被刪除的信息。（四）未來搜索引擎技術(shù)發(fā)展趨勢1.搜索的模糊化趨勢2.搜索的博客化趨勢。3.搜索的重疊化趨勢。4.搜索的個人評價趨勢。5.與S