基于Ajax構建搜索引擎的設計和實現(xiàn)

基于Ajax構建搜索引擎的設計和實現(xiàn)

主要完成的功能有：用爬蟲抓取網(wǎng)頁；獲取有效信息放入數(shù)據(jù)庫；通過Lucene建立引；對簡單關鍵字進行搜索；使用Ajax的局部刷新頁面展示結果。論文詳細說明了系統(tǒng)開發(fā)的背景，開發(fā)環(huán)境，系統(tǒng)的需求分析，以及功能的設計與實現(xiàn)。同時講述了搜索引擎的原理，系統(tǒng)功能，并探討使用Ajax與服務器進行數(shù)據(jù)異步交互，從而改善現(xiàn)有的Web應用模式。關鍵詞：L；異步更新；Ajax；搜索引擎引言1.1課題背景Lucene是一個基于Java的全文信息檢索工具包，它為應用程序提供索引和搜索功能。Lucene目前是ApacheJakarta家族中的一個開源項目。也是目前最為流行的基于Java開源全文檢索工具包。Lucene是Java世界中常用的索引API，使用它提供的方法可以為文本資料創(chuàng)建索引，并提供檢索。L它只在命名方面采納了.Net的建議，主要目標傾向于和JavaLucene兼容：一個是索引格式兼容，達到可以共同工作的目的；一個是命名接近(只相差很少，比如大小寫等)，目的是可以方便開發(fā)者使用JavaLucene相關的代碼和資料。1.2國內(nèi)外研究現(xiàn)狀國內(nèi)外對搜索引擎研究比較著名的便是Google了。無論搜索技術本身還是搜索范圍與深度，Google搜索總是所有搜索引擎的目標。Google專業(yè)領域搜索方面做的成效是有目共睹的。Google在低層次的智能搜索方面已經(jīng)開始研究很多年了，實際的成果就是翻譯方面。利用搜索技術，加上經(jīng)驗主義發(fā)展出來的Google翻譯機器人，在外語翻譯方面已經(jīng)比傳統(tǒng)的翻譯好很多了。但是翻譯僅僅是學術方面的應用，更重要的是Google建立起來的海量搜索歷史記錄。如果把這些海量搜索歷史記錄當作是詞典的話，那么如果與搜索技術的結合發(fā)展成為低層次的只能搜索，那么應用就將大大加強與廣泛。國內(nèi)，對搜索引擎的專注和對中文的理解能力也是中國本土搜索引擎行業(yè)獨特的競爭力。國內(nèi)比較著名的比如百度，更專注對中文的處理。中文的意思多種多樣，是很難用程序處理的。目前國內(nèi)外都在做中文引擎，門戶網(wǎng)站、非門戶網(wǎng)站也都在進軍搜索業(yè)，成立搜索門戶。為了滿足用戶更深層次的需求，國內(nèi)的搜索引擎也在不斷的完善自己。如何將人類的知識和智能加入到檢索中，如何使搜索引擎的質(zhì)量產(chǎn)生一個質(zhì)的飛躍，也是國內(nèi)搜索引擎努力的方向。中國網(wǎng)民對智能化搜索需求也是顯而易見的。這也意味著搜索不再是簡單的技術或者是網(wǎng)絡導航而已，而是會成為普通人生活中必備的工具之一。1.3本課題研究的意義隨著計算機技術和互聯(lián)網(wǎng)技術的飛速發(fā)展，網(wǎng)絡上的信息量急劇增長，要在浩如煙海的網(wǎng)絡世界中尋找需要的信息，作為現(xiàn)代信息獲取技術的主要應用，那么搜索引擎是必不可少的。通過L，可以很方便的構建起搜索引擎，本畢業(yè)設計除了考查使學生綜合運用以前所學知識的能力，同時也使學生了解當今搜索及編程的一些新技術，并模擬簡單的搜索引擎開發(fā)。1.4本課題的研究方法在本系統(tǒng)的開發(fā)過程中，首先分析了搜索引擎的相關功能，寫出需求分析；其次，綜合運用以前所學的相關知識(數(shù)據(jù)庫，C＃等)，選擇所熟悉的開發(fā)工具進行開發(fā)(本系統(tǒng)選擇了MicrosoftVisualStudio.NET2003作為開發(fā)平臺，開發(fā)語言選擇了C#；數(shù)據(jù)庫采用MicrosoftSQLServer2000)。由于Lucene不是完整的搜索引擎程序，只為搜索引擎應用提供了工具包，在A平臺中，可使用L這個對Lucene兼容的庫。使用L協(xié)助完成搜索引擎相關的網(wǎng)頁爬蟲與抓取，為文檔建立索引，關鍵詞搜索的功能，通過Ajax優(yōu)化系統(tǒng)，完成頁面的局部刷新功能，給用戶好的體驗。2.1全文搜索引擎2.1.1搜索引擎的分類獲得網(wǎng)站網(wǎng)頁資料，能夠建立數(shù)據(jù)庫并提供查詢的系統(tǒng)，我們都可以把它叫做搜索引擎。真正意義上的搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬到幾十億個網(wǎng)頁并對網(wǎng)頁中的每一個詞(即關鍵詞)進行索引，建立索引數(shù)據(jù)庫的全文搜索引擎。當用戶查找某個關鍵詞的時候，所有在頁面內(nèi)容中包含了該關鍵詞的網(wǎng)頁都將作為搜索結果被搜出來。在經(jīng)過復雜的算法進行排序后，這些結果將按照與搜索關鍵詞的相關度排列。按照工作原理的不同，可以把它們分為兩個基本類別：全文搜索和分類目錄。全文搜索引擎通過從互聯(lián)網(wǎng)上提取的各個網(wǎng)站的信息(以網(wǎng)頁文字為主)而建立的數(shù)據(jù)庫中，檢索與用戶查詢條件匹配的相關記錄，然后按一定的排列順序?qū)⒔Y果返回給用戶。從搜索來源的角度，全文搜索引擎又可細分為兩種，一種是擁有自己的檢索程序(Indexer)，俗稱“蜘蛛”(Spider)程序或“機器人”(Robot)程序，并自建網(wǎng)頁數(shù)據(jù)庫，搜索結果直接從自身的數(shù)據(jù)庫中調(diào)用；另一種則是租用其他引擎的數(shù)據(jù)庫，并按自定的格式排列搜索結果。分類目錄則是通過人工的方式收集整理網(wǎng)站資料形成數(shù)據(jù)庫的，比如雅虎中國以及國內(nèi)的搜狐、新浪、網(wǎng)易分類目錄。另外，在網(wǎng)上的一些導航站點，也可以歸屬為原始的分類目錄。2.1.2搜索引擎的工作原理搜索引擎的原理，可以看作三步：從互聯(lián)網(wǎng)上抓取網(wǎng)頁，建立索引數(shù)據(jù)庫，在索引數(shù)據(jù)庫中搜索。全文搜索引擎的“網(wǎng)絡蜘蛛”能夠掃描一定地址范圍內(nèi)的網(wǎng)站，并沿著網(wǎng)絡上的鏈接從一個網(wǎng)頁到另一個網(wǎng)頁，從一個網(wǎng)站到另一個網(wǎng)站采集網(wǎng)頁資料。它為保證采集的資料最新，還會回訪已抓取過的網(wǎng)頁。網(wǎng)絡機器人或網(wǎng)絡蜘蛛采集的網(wǎng)頁，還要有其它程序進行分析，根據(jù)一定的相關度算法進行大量的計算建立網(wǎng)頁索引，才能添加到索引數(shù)據(jù)庫中。我們平時看到的全文搜索引擎，實際上只是一個搜索引擎系統(tǒng)的檢索界面，當你輸入關鍵詞進行查詢時，搜索引擎會從龐大的數(shù)據(jù)庫中找到符合該關鍵詞的所有相關網(wǎng)頁的索引，并按一定規(guī)則呈現(xiàn)給我們。不同的搜索引擎，網(wǎng)頁索引數(shù)據(jù)庫不同，搜索結果也就不盡相同。利用能夠從互聯(lián)網(wǎng)上自動收集網(wǎng)頁的Spider程序，自動訪問互聯(lián)網(wǎng)，并沿著網(wǎng)頁中的所有URL爬到其它網(wǎng)頁，重復這過程，并把爬過的所有網(wǎng)頁收集回來。然后建立索引數(shù)據(jù)庫，由分析索引程序?qū)κ占貋淼木W(wǎng)頁進行分析，提取相關網(wǎng)頁信息(包括網(wǎng)頁所在URL、編碼類型、頁面內(nèi)容包含的關鍵詞、關鍵詞位置、生成時間、大小、與其它網(wǎng)頁的鏈接關系等)，然后用這些相關信息建立網(wǎng)頁索引數(shù)據(jù)庫。