垂直搜索引擎在房產(chǎn)信息領(lǐng)域的開發(fā)和應(yīng)用

1、垂直搜索引擎在房產(chǎn)信息領(lǐng)域的開發(fā)和應(yīng)用 賴祥芳E-mail:elxf99hotmail QQ:19595700版權(quán)聲明：本文為賴祥芳原創(chuàng)，如要引用本文，需保存作者姓名、MAIL、QQ。摘要：垂直搜索就是將網(wǎng)頁信息進(jìn)行結(jié)構(gòu)化抽取，把非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成統(tǒng)一格式的信息數(shù)據(jù)庫并提供應(yīng)用戶使用。本文從數(shù)據(jù)采集、數(shù)據(jù)抽取、數(shù)據(jù)加工和驗(yàn)證三個(gè)方面討論垂直搜索引擎在房產(chǎn)信息領(lǐng)域的開發(fā)和應(yīng)用。垂直搜索引擎是我們公司切入互聯(lián)網(wǎng)領(lǐng)域的一個(gè)很好切入點(diǎn)，建議公司考慮這方面的方案。關(guān)鍵字：垂直搜索；垂直搜索引擎；結(jié)構(gòu)化抽取；搜索；負(fù)載均衡；關(guān)聯(lián)信息；排重；數(shù)據(jù)加工；分詞1. 垂直搜索的定義要理解垂直搜索，下面的兩個(gè)概念需

2、要分清楚：垂直搜索：垂直搜索是針對(duì)某一行業(yè)或某一領(lǐng)域范圍內(nèi)的數(shù)據(jù)檢索。垂直搜索的主要工作就是將網(wǎng)頁信息進(jìn)行結(jié)構(gòu)化抽取，把非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成統(tǒng)一格式的信息數(shù)據(jù)庫。垂直搜索是相對(duì)百度、谷歌這類通用搜索引擎提出的概念。百度、谷歌的講究的是搜索的廣度，具體的來說就是搜索引擎搜索到的頁面數(shù)量，搜索到的內(nèi)容涵蓋互聯(lián)網(wǎng)的范圍，要求的是廣和全。垂直搜索也要求廣和全，但是這個(gè)廣和全是在行業(yè)范圍內(nèi)的，它更關(guān)注的是專和精，要求行業(yè)深度。從這個(gè)角度出發(fā)，其實(shí)垂直搜索也可以叫做行業(yè)搜索。垂直搜索引擎：垂直搜索引擎是垂直搜索一個(gè)具體實(shí)現(xiàn)實(shí)例。垂直搜索引擎對(duì)網(wǎng)絡(luò)數(shù)據(jù)采集具有明確的目的性，它只搜索并采集行業(yè)內(nèi)數(shù)據(jù)。垂直搜索引

3、擎對(duì)采集到的數(shù)據(jù)要進(jìn)行分析、整理，最后通過一定表現(xiàn)形式把數(shù)據(jù)提供應(yīng)用戶使用。最常見的表現(xiàn)形式是通過WEB頁面提供一個(gè)查詢的界面，后臺(tái)應(yīng)用根據(jù)用戶輸入的關(guān)鍵字進(jìn)行檢索，并把檢索結(jié)果通過WEB頁面展現(xiàn)給用戶。垂直搜索包含三個(gè)搜索的概念在里面。用戶對(duì)數(shù)據(jù)的檢索這是一個(gè)搜索概念；搜索引擎搜索行業(yè)網(wǎng)站是一個(gè)搜索概念；搜索引擎對(duì)行業(yè)網(wǎng)站內(nèi)的行業(yè)數(shù)據(jù)搜索又是一個(gè)搜索的概念。要做好一個(gè)垂直搜索引擎，需要對(duì)這三個(gè)搜索的概念以及它們之間的關(guān)系進(jìn)行深入的理解。在整個(gè)垂直搜索系統(tǒng)中，它們分別占據(jù)了不同環(huán)節(jié)的關(guān)鍵位置，側(cè)重點(diǎn)各不相同，需要區(qū)別對(duì)待，但是從系統(tǒng)的角度看，又是需要它們相互協(xié)作才能完成整體的工作，這又要求把這

4、三個(gè)搜索有機(jī)的結(jié)合起來。用戶搜索，用戶搜索直接關(guān)系到用戶體驗(yàn)。用戶體驗(yàn)是改良搜索引擎重要參考指標(biāo)，同時(shí)也是檢驗(yàn)搜索引擎成功失敗的標(biāo)志。用戶搜索的重點(diǎn)在于考慮提供應(yīng)用戶的搜索的方式是否簡單快捷，搜索引擎對(duì)用戶搜索的內(nèi)容響應(yīng)速度快慢，返回的搜索結(jié)果是否精確。但是，這些的前提需要搜索引擎對(duì)行業(yè)網(wǎng)站的行業(yè)數(shù)據(jù)抓取全面來支撐。搜索行業(yè)網(wǎng)站。行業(yè)網(wǎng)站是垂直搜索引擎數(shù)據(jù)來源的主要對(duì)象，只有盡量多的搜索行業(yè)范圍內(nèi)的網(wǎng)站，才能獲得更多的行業(yè)數(shù)據(jù)支撐用戶搜索，讓用戶有更好的體驗(yàn)。行業(yè)數(shù)據(jù)搜索。只有充分、全面的行業(yè)數(shù)據(jù)，垂直搜索引擎才能表達(dá)出它的價(jià)值，才能更好的提供效勞。2. 垂直搜索引擎在房產(chǎn)信息領(lǐng)域的開發(fā)應(yīng)用2

5、.1. 系統(tǒng)目標(biāo)快速構(gòu)建一個(gè)房產(chǎn)行業(yè)的垂直搜索引擎，能夠以較強(qiáng)的時(shí)效性對(duì)房產(chǎn)類的信息進(jìn)行提取、分類，需要對(duì)采集到的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換。用戶可以在WEB前臺(tái)通過文字或者在地圖上指定一定范圍搜索房源信息，房源信息查詢結(jié)果可以通過文字、地圖的形式展現(xiàn)。2.2. 垂直搜索引擎的選型考慮研發(fā)本錢和軟件研發(fā)進(jìn)度，采用模板方式實(shí)現(xiàn)網(wǎng)頁數(shù)據(jù)抽取。使用VS.NET 2005作為軟件開發(fā)工具。MS SQLSERVER 2000作為數(shù)據(jù)庫效勞器。Lucene.Net.作為檢索的索引工具。使用51ditu 的地圖接口實(shí)現(xiàn)地圖功能。2.3. 系統(tǒng)架構(gòu)搜索引擎工作的時(shí)候IO吞吐量大，處理數(shù)據(jù)的時(shí)候有大量的字符串操作，對(duì)CP

6、U和內(nèi)存的要求高。如果索引數(shù)據(jù)庫和搜索引擎采集系統(tǒng)都在一個(gè)效勞器上，搜索引擎采集、抽取數(shù)據(jù)時(shí)，勢必會(huì)影響索引數(shù)據(jù)庫的工作效率，特別是會(huì)影響終端用戶檢索房源的效率，帶來不好的用戶體驗(yàn)。用分布式的結(jié)構(gòu)能夠較好的解決這個(gè)問題，把系統(tǒng)的各個(gè)模塊按照功能的不同分別發(fā)布在不同的應(yīng)用效勞器上，均衡系統(tǒng)負(fù)載。系統(tǒng)結(jié)構(gòu)如圖：圖1. 系統(tǒng)結(jié)構(gòu)圖其中WEB前臺(tái)和索引模塊發(fā)布在同一臺(tái)效勞器，采集模塊和數(shù)據(jù)庫系統(tǒng)發(fā)布在同一臺(tái)效勞器。采集模塊和索引模塊通過數(shù)據(jù)庫系統(tǒng)完成數(shù)據(jù)交互，采集系統(tǒng)把抽取完成的數(shù)據(jù)保存到數(shù)據(jù)庫中，索引模塊從數(shù)據(jù)庫中提取關(guān)鍵字段建立索引數(shù)據(jù)庫。用戶通過WEB前臺(tái)進(jìn)行數(shù)據(jù)檢索的時(shí)候首先通過索引模塊在索引

7、數(shù)據(jù)庫中搜索，當(dāng)用戶需要詳細(xì)信息的時(shí)候再從數(shù)據(jù)庫提取具體數(shù)據(jù)。2.4. 數(shù)據(jù)采集使用C# 的 WebRequest、 WebResponse類，可以方便的實(shí)現(xiàn)WEB頁面的采集，同時(shí)可以使用多線程技術(shù)提高采集效率。數(shù)據(jù)采集需要注意以下問題：2.4.1. 公共數(shù)據(jù)的訪問控制數(shù)據(jù)采集需要注意多線程之間公共數(shù)據(jù)互斥訪問，特別是對(duì)于要進(jìn)行數(shù)據(jù)采集的URL，如果沒有控制好線程間的URL列表讀取，造成多個(gè)線程處理相同URL的情況，即增加了對(duì)方網(wǎng)站系統(tǒng)的負(fù)擔(dān)，又增加自身的系統(tǒng)開銷。對(duì)于公共代碼段的訪問，可以使用Mutex類進(jìn)行互斥控制。2.4.2. 采集網(wǎng)站的負(fù)載均衡采集不同網(wǎng)站的訪問速度是不一樣的，目標(biāo)網(wǎng)站

8、的網(wǎng)站系統(tǒng)、網(wǎng)絡(luò)質(zhì)量、網(wǎng)絡(luò)效勞提供商以及我們自身的網(wǎng)絡(luò)質(zhì)量、網(wǎng)絡(luò)效勞提供商等等都有可能影響到采集的速度。為防止因?yàn)槟硞€(gè)網(wǎng)站的訪問速度慢而影響到系統(tǒng)的運(yùn)行效率，可以根據(jù)采集日志記錄或者人工測試的方式確定訪問速度慢的網(wǎng)站，并且給這些頁面設(shè)置較低的采集權(quán)重，只有在系統(tǒng)空閑的時(shí)候才對(duì)這些頁面進(jìn)行采集，也可以專門設(shè)置一個(gè)采集線程處理這類訪問效率低下的網(wǎng)站。如果有采集多個(gè)城市的房源信息，需要對(duì)采集線程池里面的線程進(jìn)行調(diào)控，保證在正常情況下，采集線程不會(huì)集中采集某個(gè)地市的房源信息，而是均勻的分布在不同的地市房源網(wǎng)站上進(jìn)行采集工作，采集不同地市的數(shù)據(jù)，到達(dá)每個(gè)地市的數(shù)據(jù)都能得到及時(shí)的更新的目的。解決這個(gè)問題的

9、一個(gè)比擬簡單的方法就是按照城市為單位對(duì)采集任務(wù)進(jìn)行分組。首先從整體上根據(jù)采集效勞器的軟硬件配置情況設(shè)置線程池的大小，然后根據(jù)城市的重要性比方一線城市、二線 城市等等，每個(gè)城市需要采集的網(wǎng)站的多寡，把線程池里面的線程分配到每個(gè)采集組的配置文件中，采集系統(tǒng)根據(jù)配置文件中的線程個(gè)數(shù)控制每個(gè)城市的采集線程數(shù)目。2.4.3. 控制采集的范圍對(duì)于一個(gè)網(wǎng)站，每天更新的房源數(shù)量是有限的。一般來說，當(dāng)我們對(duì)網(wǎng)站對(duì)一個(gè)網(wǎng)站進(jìn)行全量采集后，每天只需要對(duì)網(wǎng)站更新的房源進(jìn)行增量采集。大局部網(wǎng)站，要實(shí)現(xiàn)增量采集，只需要采集其房源列表的前N頁N的取值根據(jù)不同網(wǎng)站的更新頻率設(shè)定就可以。2.4.4. URL編碼如果被采集頁面的

10、URL包含中文字符，或者是RFC1738里面規(guī)定的不平安字符，很可能對(duì)方網(wǎng)站的Web效勞器不能解析，所以需要對(duì)URL進(jìn)行編碼，把中文字或特殊字符編碼成%XXX的格式，在C#中可以使用System.Web. Utility.UrlPathEncode這個(gè)方法完成URL編碼工作。2.4.5. 保存快照頁面的如果系統(tǒng)存儲(chǔ)空間允許的話，可以把采集到的網(wǎng)頁保存成文件存儲(chǔ)在硬盤中，作為網(wǎng)頁快照使用。2.5. 數(shù)據(jù)抽取2.5.1. 網(wǎng)頁內(nèi)容解碼每個(gè)HTML頁面的編碼格式可能會(huì)有所不同，中文網(wǎng)頁通常使用的編碼格式有GB3212、GBK、UTF-8這3種。每種編碼對(duì)應(yīng)的解碼方式是不一樣的，用不正確的編碼格式解析

11、HTML數(shù)據(jù)流，結(jié)果就是返回亂碼，不能對(duì)其進(jìn)行數(shù)據(jù)抽取。很多網(wǎng)站效勞器在返回 頭的時(shí)候會(huì)包含Content-Type屬性，在里面指定網(wǎng)頁編碼信息?？上Р⒉皇敲總€(gè)效勞器都是如此，有些效勞器不返回Content-Type屬性，或者是返回這個(gè)屬性但里面沒有指定網(wǎng)頁編碼。這個(gè)時(shí)候就需要對(duì)一個(gè)HTML頁面訪問兩次，第一次訪問的目的是為了從HTML源文件里面的META標(biāo)記的charset屬性讀取網(wǎng)頁的編碼方式，第二次訪問HTML頁面的時(shí)候根據(jù)第一次獲取到的網(wǎng)頁編碼進(jìn)行解碼。之所以要訪問兩次，是因?yàn)榈谝淮涡枰褂孟到y(tǒng)默認(rèn)的編碼方式對(duì)源文件進(jìn)行解碼，GB2312/GBK/UTF-8/ISO8859-1這幾種編

12、碼的方式都向下兼容ASCII可見字符，但是對(duì)于中文，如果沒有使用正確的解碼方式，結(jié)果就會(huì)出現(xiàn)亂碼了。這種方法也不是都適用的，因?yàn)橛械膆tml頁面里面可能沒有包含META標(biāo)記，或者是包含了META標(biāo)記卻沒有設(shè)置charset屬性，甚至有可能charset屬性里面指定的編碼格式和網(wǎng)頁的實(shí)際編碼格式并不相符合，所以還需要結(jié)合在配置文件中指定HTML頁面編碼的方式處理。2.5.2. 網(wǎng)頁內(nèi)容的邏輯劃分網(wǎng)頁內(nèi)容的提取是整個(gè)系統(tǒng)的關(guān)鍵局部。特別是對(duì)于模板方式的垂直搜索引擎，網(wǎng)頁內(nèi)容的邏輯劃分方式，直接影響系統(tǒng)的靈活性。對(duì)于一個(gè)HTML頁面，我們可以把它理解成一張數(shù)據(jù)庫表，里面包含假設(shè)干條記錄，記錄里面還有

13、不同的字段描述不同的屬性。這個(gè)概念建立起來以后，在配置網(wǎng)頁模板的時(shí)候就知道怎么處理了。首先需要從HTML源文件找出唯一的字符串標(biāo)記 “數(shù)據(jù)庫表的范圍，然后在“數(shù)據(jù)庫表的范圍內(nèi)標(biāo)記出每條“記錄的范圍，最后在“記錄中標(biāo)記出“字段的范圍。這幾個(gè)關(guān)鍵的因素配置完了以后，就可以進(jìn)行HTML頁面的數(shù)據(jù)抽取工作。2.5.3. 關(guān)聯(lián)信息抽取網(wǎng)站展示數(shù)據(jù)通常的方式是在一個(gè)頁面中列出一些索引的信息，同時(shí)給每條索引信息設(shè)置一個(gè)超級(jí)鏈接，通過點(diǎn)擊超級(jí)鏈接，跳轉(zhuǎn)到詳細(xì)頁面，顯示具體的內(nèi)容。我們稱這種頁面為索引頁面。對(duì)于房源采集來說，一那么具體的房源，可能需要把索引頁面的信息和詳細(xì)頁面的信息組合起來才能得到一條完整的記錄

14、。這就要求把索引頁面抽取到的內(nèi)容傳遞到詳細(xì)頁面中，以便組合成完整的房源記錄。2.5.4. 格式化數(shù)據(jù)互聯(lián)網(wǎng)是一個(gè)開放的環(huán)境，每個(gè)網(wǎng)站都有自己風(fēng)格習(xí)慣，因此，采集到的數(shù)據(jù)格式也是多種多樣。這種情況表達(dá)最明顯的就是數(shù)字和字母，比擬正常的方式是使用ASCII碼表里面的字符0-9，另外還會(huì)有中文的-，文字的零-九，中文的-，中文的標(biāo)點(diǎn)符號(hào)等等。作為行業(yè)的垂直搜索引擎，需要把這些不同表示方式的字符和標(biāo)點(diǎn)符合轉(zhuǎn)換成統(tǒng)一的格式進(jìn)行處理。2.5.5. 重復(fù)記錄排重排重是行業(yè)搜索引擎必須考慮的問題之一。可以選擇幾個(gè)屬性構(gòu)成唯一性的索引，利用它們進(jìn)行排重。排重工作可以放到數(shù)據(jù)庫中利用SQL語句進(jìn)行，也可以把唯一性

15、索引載入內(nèi)存，在內(nèi)存中進(jìn)行排重。這二者各有優(yōu)劣，數(shù)據(jù)庫排重的方式相對(duì)靈活，但是效率較低，內(nèi)存排重的方式效率高，但是靈活程度會(huì)稍低?？梢愿鶕?jù)具體情況選擇相應(yīng)的排重方案。2.6. 數(shù)據(jù)加工和驗(yàn)證2.6.1. 房源地址分詞房源地址分詞的有兩個(gè)目的，一個(gè)是對(duì)房源地址的描述標(biāo)準(zhǔn)化，盡量使用統(tǒng)一的名稱描述相同的地點(diǎn)；另外一個(gè)就是通過房源分詞標(biāo)準(zhǔn)出來的名稱獲取系統(tǒng)中相應(yīng)的樓盤配置信息，特別是樓盤所在地地圖位置信息，這樣可以在地圖上顯示出樓盤位置。有地圖位置信息的房源也可以通過地圖搜索查找到房源。房源分詞可以利用樹的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)。首先需要把樓盤名稱按照樹形結(jié)構(gòu)載入內(nèi)存，數(shù)據(jù)存放規(guī)那么如下：a. 把樓盤名稱按照

16、字為單位進(jìn)行拆分b. 樓盤名稱里面第一個(gè)字在樹第一層，第二個(gè)字在第二層，依次類推，第N個(gè)字在第N層c. 樓盤名稱第一個(gè)字相同的都放到相同的子樹下，前二個(gè)字都?xì)w到次一級(jí)的子樹下，依次類推前N個(gè)字相同的情況d. 樓盤名稱最后一個(gè)字所在的節(jié)點(diǎn)需要做特殊標(biāo)記，表示一個(gè)樓盤名稱表示完畢。如下列圖標(biāo)黃色的節(jié)點(diǎn)圖2. 分詞數(shù)據(jù)結(jié)構(gòu)分詞的偽代碼：1. 如果已經(jīng)到了當(dāng)前需要分詞的符號(hào)序列結(jié)尾，返回2. 獲取并檢查子結(jié)點(diǎn) if 子結(jié)點(diǎn)包含當(dāng)前位置的符號(hào) then a. 如果有單詞結(jié)束標(biāo)志，添加到分詞結(jié)果 b. 繼續(xù)匹配子結(jié)點(diǎn)內(nèi)容以找到最長匹配 else a. 總的掃描位置后移一位 b. 從根結(jié)點(diǎn)繼續(xù)匹配 end

17、if2.6.2. 索引數(shù)據(jù)使用Lucene.Net.對(duì)房源數(shù)據(jù)建立索引可以提高用戶在前臺(tái)的搜索速度，在速度方面給用戶帶來更好的體驗(yàn)。房產(chǎn)行業(yè)的垂直搜索引擎，可以考慮按照數(shù)據(jù)的類別如出租房、二手房、商業(yè)地產(chǎn)、新房等，分城市建立索引。另外，因?yàn)榉慨a(chǎn)行業(yè)的特殊性，比方出租房的有效期較短、數(shù)據(jù)量大，分類別建立索引的時(shí)候還可以把時(shí)間的因素加進(jìn)去，可以設(shè)置成一個(gè)類別一個(gè)城市一個(gè)月一套索引。作為一個(gè)搜索引擎，對(duì)所有搜索到的信息都進(jìn)行審核校驗(yàn)后在提供應(yīng)用戶進(jìn)行檢索難度很大。這就要求對(duì)索引文件是可管理，要有對(duì)索引文件內(nèi)容的增刪改接口，對(duì)有問題的數(shù)據(jù)進(jìn)行管理。2.6.3. 數(shù)據(jù)驗(yàn)證數(shù)據(jù)驗(yàn)證是指對(duì)搜索到的數(shù)據(jù)進(jìn)行檢

18、查。檢查根本可分為時(shí)效性檢查和數(shù)據(jù)量檢查以及正確性檢查三局部。時(shí)效性檢查是檢查系統(tǒng)搜索到的信息是否及時(shí)。系統(tǒng)搜索到數(shù)據(jù)的時(shí)候和相應(yīng)網(wǎng)站發(fā)布數(shù)據(jù)的時(shí)間差應(yīng)該控制在一定的時(shí)間范圍內(nèi)。比擬正常的情況是對(duì)方網(wǎng)站發(fā)布新信息的一個(gè)小時(shí)內(nèi)，系統(tǒng)就應(yīng)該采集到這那么新的信息。數(shù)據(jù)量檢查是檢查系統(tǒng)搜索到的信息是否完全。對(duì)方網(wǎng)站共有一萬條信息，系統(tǒng)是不是把這一萬條信息都采集過來了。對(duì)方網(wǎng)站每天更新的數(shù)據(jù)量有三百條，系統(tǒng)是不是每天把這三百條數(shù)據(jù)都采集過來。正確性檢查是核對(duì)采集到的數(shù)據(jù)是否正確。系統(tǒng)采集到的信息和對(duì)方網(wǎng)站發(fā)布的信息是否一致。數(shù)據(jù)驗(yàn)證是一個(gè)很重要的環(huán)節(jié)，在系統(tǒng)初期，數(shù)據(jù)驗(yàn)證對(duì)發(fā)現(xiàn)系統(tǒng)BUG，改善系統(tǒng)功能和效率有很大的幫助。系統(tǒng)上線運(yùn)行后，數(shù)據(jù)驗(yàn)證對(duì)于在用戶中建立權(quán)威的搜索引擎印象，提升用戶對(duì)系統(tǒng)體驗(yàn)的滿意度都有很大的幫助。3. 垂直搜索引擎的應(yīng)用前景二十一世紀(jì)是一個(gè)網(wǎng)絡(luò)時(shí)代?；ヂ?lián)網(wǎng)早已不是高高在上遠(yuǎn)不可及的尖端科技，