python搜索殷勤.doc

Python：開發(fā)簡易搜索引擎(2012-06-29 11:45:06) 轉(zhuǎn)載標(biāo)簽： python開發(fā)搜索引擎雜談分類： python Python：開發(fā)簡易搜索引擎對(duì)于內(nèi)容性的站點(diǎn)來說，搜索引擎真是一個(gè)不錯(cuò)的東東。不需要再為了找自己要看的東西翻遍整個(gè)網(wǎng)站，而只是輸入關(guān)鍵字，讓腳本來幫你找。這里，我寫了個(gè)簡單的站內(nèi)搜索引擎，并且要講解一下它是如何實(shí)現(xiàn)的。這個(gè)搜索引擎非常簡單，但是很容易擴(kuò)展。比如，如果你用 urllib 包來抓取網(wǎng)頁，而不是僅僅索引本地的文件，你就可以用它來搜索 internet 上的其他站點(diǎn)了。你所要做的是 建立一個(gè)數(shù)據(jù)庫用來儲(chǔ)存所有的單詞和這些單詞的出現(xiàn)位置 (在示例中我使用的是 MySQL ) 一個(gè)查找單詞和單詞出現(xiàn)位置的腳本，并將其存入數(shù)據(jù)庫中 一個(gè) HTML 的搜索表單 一個(gè)用來從數(shù)據(jù)庫中搜索用戶提交的關(guān)鍵字的腳本 一個(gè)返回搜索結(jié)果的頁面，搜索結(jié)果要鏈向搜索到的相關(guān)頁面 創(chuàng)建數(shù)據(jù)庫在你的MySQL數(shù)據(jù)庫中創(chuàng)建一個(gè)表 (table)，命名為 search。我們需要以下5列： search_id, INTEGER, NOT NULL, AUTO_INCREMENT, UNSIGNED word, VARCHAR(50), NOT NULL occurrence, INTEGER, NOT NULL, UNSIGNED url, VARCHAR(200), NOT NULL link, VARCHAR(200), NOT NULL 然后，把 search_id 設(shè)定為主鍵 (PRIMARY KEY)。如果你覺得創(chuàng)建一個(gè) MySQL 數(shù)據(jù)庫有困難的話，不要怕，在互聯(lián)網(wǎng)上相關(guān)的資源非常多。或者你可以看看這個(gè)。確定已經(jīng)把數(shù)據(jù)表放到你的服務(wù)器上，另外還要注意一下安全問題。稍后再繼續(xù)這個(gè)話題 Python 索引器Python 索引器會(huì)遍歷整個(gè)頁面的正文，并記錄每個(gè)單詞及出現(xiàn)的位置。代碼如下：import string import sys import re import MySQLdb # open database and make cursor conn = MySQLdb.connect(host = localhost, user = root, passwd = *, db = *) cursor = conn.cursor() # first empty the database cursor.execute(TRUNCATE TABLE words) def makeIndex(myurl, link): # open local html file href = link page = myurl f = open(page, rb) f.close # initialize stuff here wordcount = 0 words = for line in f.readlines() : line = string.strip( line ) for word in re.split( + string.whitespace + string.punctuation + + , line ) : word = string.lower( word ) if re.match( + string.lowercase + +$ , word ) : wordcount += 1 if words.has_key( word ) : words word += 1 else : words word = 1 sorted_word_list = words.keys() sorted_word_list.sort() # now populate the database for word in sorted_word_list : cursor.execute(INSERT INTO words (word, occurrence, url, link) VALUES (%s,%s,%s,%s),(word,wordsword,page,href) # index every page of your website makeIndex(yourpage1.html, a href=yourpage1My page 1) makeIndex(yourpage2.html, a href=yourpage2My page 2) # etcetera. cursor.close() 在運(yùn)行這個(gè)腳本以后 (別忘了把代碼中的 yourpage 換成真正的頁面)，剛剛你創(chuàng)建的數(shù)據(jù)表中已經(jīng)填充了每個(gè)單詞和它在頁面上的出現(xiàn)位置。(譯者注：由于這個(gè) parser 太過于簡單，所以 html tag 也會(huì)被當(dāng)作“單詞”被記錄下來，換個(gè) parser 就可以解決這個(gè)問題) 如果你的網(wǎng)站內(nèi)容變化了，你就需要再運(yùn)行一次這個(gè)腳本。也許一天一次，或者一天兩次，這個(gè)還是取決于你自己的個(gè)人情況。HTML 搜索表單你可能經(jīng)?？吹皆谝粋€(gè)頁面的上邊或者側(cè)邊欄上有個(gè)搜索框。把這個(gè) HTML 代碼放到你頁面的某個(gè)地方： 這里有關(guān)于創(chuàng)建 HTML 表單的詳細(xì)信息。這個(gè)表單中最核心的就是 cgi-bin/search.py 這個(gè)腳本，我們下一節(jié)就會(huì)開始探究這個(gè)腳本。搜索腳本下面的腳本通過給定的單詞來從數(shù)據(jù)庫中查找結(jié)果，為了省事我們就叫它 search.py 了：conn = MySQLdb.connect(host = localhost, user = searcher, passwd = *, db = *) cursor = conn.cursor() # get results cursor.execute(SELECT occurrence,url,link FROM words WHERE word=%s ORDER BY occurrence DESC,(word) result = cursor.fet