租房信息專業(yè)搜索引擎項(xiàng)目計(jì)劃書

1、租房信息專業(yè)搜索引擎項(xiàng)目計(jì)劃書Group Name: alpacaGroup Member:駱雄武 陳長城 楊治國 陸騰飛一、項(xiàng)目開發(fā)背景衣食住行一直是社會(huì)人賴以生存和生活的幾大要素。 隨著當(dāng)今社會(huì)快速的現(xiàn)代化和城市 化，衣、食、行等方面的問題已經(jīng)變得十分的容易和便捷， 但是，住的問題卻猶如一座大山， 壓在我們的肩頭，讓我們感覺越來越沉重。在一個(gè)現(xiàn)代化的城市中，除去原住民，除去富裕得足以買得起一座房子的和能夠幸運(yùn)的 得到公司或者單位分房的人，其余的相當(dāng)大的一部分人基本上要靠租房來解決住的問題。但是，實(shí)際中關(guān)于住房出租的信息，稀少而且混亂，對(duì)于一個(gè)急切想要租到一套適合自己需求 的住房的人來說，這

2、顯然是十分困難和不便的。有租房需求的主要是這樣一些群體：剛剛開始工作的尚無多少積蓄的工薪階層；已工作多年但是仍無力購買任何形式住房的低收入階層；準(zhǔn)備考研或其它各種考試的部分大學(xué)生群體；相當(dāng)一部分的研究生群體。這些人占據(jù)了城市生活的相當(dāng)重要的一角。另一方面，隨著信息技術(shù)的飛速發(fā)展， 人們?cè)缫蚜?xí)慣于在網(wǎng)上找尋自己需要的信息，尤其是通過搜索引擎來從海量的信息中提取自己關(guān)注的部分。結(jié)合上面兩部分因素， 我們便自然的產(chǎn)生了開發(fā)這樣一個(gè)租房信息的專業(yè)搜索引擎的想法，主要是為了服務(wù)于相當(dāng)一部分的有租房需求的人群。二、項(xiàng)目需求分析1. 系統(tǒng)目標(biāo)本系統(tǒng)的目標(biāo)就是：為所有需要獲取租房信息的人， 提供最全面的信息，

3、最便捷的方式， 使得網(wǎng)絡(luò)搜索引擎真正成為最值得信賴的信息來源。這里的租房信息可以包括網(wǎng)絡(luò)上現(xiàn)有的所有比較可靠的網(wǎng)站和論壇上發(fā)布的信息，也包括和本搜索引擎具有合作關(guān)系的房產(chǎn)中介所提供的信息。這些信息原本散布于各個(gè)網(wǎng)站的邊角或者張貼于大街小巷的隱蔽位置，本系統(tǒng)正是需要有效的整合這些渠道的各種信息，最大可能的提供最有價(jià)值的租房信息。本系統(tǒng)的提出主要針對(duì)傳統(tǒng)租房信息獲取渠道的不便捷性，即：需要耗費(fèi)大量的精力和物力來獲取信息，以及現(xiàn)有網(wǎng)絡(luò)租房信息獲取渠道的不完備性，即:信息的非有效性整合和信息的分布不一致性。同時(shí)，本系統(tǒng)又吸收先有信息渠道的長處，做以擴(kuò)展。2. 系統(tǒng)功能1) 信息的抓取從我們關(guān)注的可能會(huì)

4、發(fā)布租房信息的網(wǎng)站和論壇抓取它們的網(wǎng)頁，并以一定格式提取抓下來的網(wǎng)頁中的有效信息。2) 信息的處理和存放對(duì)于提取來的文本信息，進(jìn)行切分分詞、添加標(biāo)簽、詞頻統(tǒng)計(jì)，并據(jù)此建立全文索引。3) 信息的檢索接收用戶輸入的搜索條件，對(duì)其進(jìn)行分析處理，然后在索引中進(jìn)行查詢匹配，從本地?cái)?shù)據(jù)庫中提取所有符合條件的信息。4) 返回結(jié)果給用戶將提取的信息排序后，以結(jié)果頁面的形式呈現(xiàn)給用戶。3. 系統(tǒng)結(jié)構(gòu)模塊系統(tǒng)總體框架如下圖所示：相關(guān)網(wǎng)站；相關(guān)論壇We檢 索模塊分詞 建立 索引元數(shù)據(jù)提取 模塊OWebCrawle本地?cái)?shù)據(jù)庫本地檢索模塊用戶 界面匸圖14. 系統(tǒng)用例圖木地?cái)?shù)訊庫圖25. 系統(tǒng)性能要求1) 響應(yīng)時(shí)間系統(tǒng)

5、的響應(yīng)速度應(yīng)該在用戶可接受的范圍之內(nèi)，至少與現(xiàn)有各種搜索引擎相當(dāng)。這點(diǎn)要求我們必須建立結(jié)構(gòu)合理的索引以及設(shè)計(jì)高效準(zhǔn)確的查詢、搜索算法。2) 結(jié)果的準(zhǔn)確性和合理性對(duì)于用戶輸入的搜索條件，返回的結(jié)果應(yīng)該盡可能的和他期望的保持一致，并且越接近的余越應(yīng)先被用戶看到。這涉及到網(wǎng)頁信息提取、索引建立、條件匹配、結(jié)果排序等問題。3) 時(shí)效性用戶希望看到的是越新的信息越好，過時(shí)的租房信息對(duì)于用戶來說沒有價(jià)值或者只有很 小的參考價(jià)值。這要求我們盡可能頻繁的對(duì)網(wǎng)站進(jìn)行抓取，然后分析，另一方面，在將結(jié)果呈現(xiàn)給用戶的時(shí)候，排序也要考慮到時(shí)間因素，即越新的信息要越排在前面。4) 靈活性系統(tǒng)要有良好的接口， 便于后面的擴(kuò)

6、充，以適應(yīng)信息源的增加或者減少；要留有服務(wù)器接口，以實(shí)現(xiàn)后面服務(wù)器功能的需要；要具有跨平臺(tái)功能。5) 其它要求用戶界面友好，運(yùn)行穩(wěn)定。三、項(xiàng)目開發(fā)計(jì)劃1. 開發(fā)規(guī)模計(jì)劃由于本項(xiàng)目是作為課程作業(yè)來做的，受到時(shí)間和人力等方面的約束，我們?cè)趯?shí)際開發(fā)中只能減小問題的規(guī)模，開發(fā)一個(gè)demo程序的原型系統(tǒng)。初步計(jì)劃是，抓取網(wǎng)頁只在北大未名和水木清華兩大 bbs的相關(guān)版面進(jìn)行。在此基礎(chǔ)上進(jìn)行網(wǎng)頁信息的提取，分詞，建立索引，然后實(shí)現(xiàn)對(duì)輸入關(guān)鍵詞的解析，匹配查詢，結(jié)果排序，返回到頁面顯示等工作，從而完成概念上的實(shí)現(xiàn)，給出初步的系統(tǒng)原型。2. 初步開發(fā)計(jì)劃1) 界面類似于baidu和google的界面，用戶可以輸

7、入搜索條件，點(diǎn)擊搜索按鈕后，下面排列 出符合條件的結(jié)果。稍微不同的是，由于租房信息跟地域(城市、地區(qū))緊密相關(guān)，所以在 用戶輸入搜索條件前，要先讓用戶選定一個(gè)地區(qū)，然后再進(jìn)行搜索。這里我們僅考慮北京市 城區(qū)。2) 后臺(tái)初步考慮分為以下幾個(gè)模塊：A. 網(wǎng)頁抓取模塊：對(duì)北大未名和水木清華兩大 bbs相關(guān)版面，利用crawler進(jìn)行抓取。B. 網(wǎng)頁分析模塊：提取網(wǎng)頁中有用的信息，保存為文本格式。C. 網(wǎng)頁分段模塊：采用合適的分段技術(shù)，將每個(gè)文本分成多段。D. 索引建立模塊：對(duì)分好的段進(jìn)行分詞、標(biāo)注、詞頻統(tǒng)計(jì)等工作，建立全文索引。E. 查詢匹配：將用戶輸入的關(guān)鍵詞， 采用合適的查找算法與索引進(jìn)行逐一匹配，將符合的內(nèi)容提取出來，返回到界面。F. 排序：考慮相似度和時(shí)間等因素，將結(jié)果越接近，時(shí)間越新的內(nèi)容排到前面。3. 開發(fā)進(jìn)度計(jì)劃項(xiàng)目開發(fā)周期40天，具體安排如下：時(shí)間工作11月11日-11月16日各人搜集idea11月16日-11月17日小組討論，確定idea11月18日-11月20日完成項(xiàng)目計(jì)劃書11月21日-11月27日小組成員分工，并根據(jù)分工自己去學(xué)習(xí)、查閱相關(guān)的資料，了解實(shí)現(xiàn)機(jī) 制11月28日-11月30日討論，給出系統(tǒng)總體框架和模塊劃分，設(shè)