幾種網(wǎng)絡(luò)爬蟲(chóng)的優(yōu)缺點(diǎn)

幾種網(wǎng)絡(luò)爬蟲(chóng)的優(yōu)缺點(diǎn)搜索引擎的實(shí)現(xiàn)過(guò)程，可以看作三步：1.從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)2.對(duì)網(wǎng)頁(yè)進(jìn)行處理，建立索引數(shù)據(jù)庫(kù)3.進(jìn)行查詢(xún)。因此無(wú)論什么樣的搜索引擎，都必須要有一個(gè)設(shè)計(jì)良好的爬蟲(chóng)來(lái)支持。Heritrix優(yōu)點(diǎn)：Heritrix是SourceForge上基于Java的開(kāi)源爬蟲(chóng)，它可以通過(guò)Web用戶(hù)界面來(lái)啟動(dòng)、設(shè)置爬行參數(shù)并監(jiān)控爬行，同時(shí)開(kāi)發(fā)者可以隨意地?cái)U(kuò)展它的各個(gè)組件，來(lái)實(shí)現(xiàn)自己的抓取邏輯，因其方便的可擴(kuò)展性而深受廣大搜索引擎愛(ài)好者的喜愛(ài)。缺點(diǎn)：雖然Heritrix功能強(qiáng)大，但其配置復(fù)雜，而且官方只在Linux系統(tǒng)上測(cè)試通過(guò)，用戶(hù)難以上手。根據(jù)網(wǎng)上來(lái)看這個(gè)軟件還沒(méi)有完善。2.WebSPHINX優(yōu)點(diǎn)：比較簡(jiǎn)單缺點(diǎn)：只能找一個(gè)字段鎖。

MetaSeeker中的網(wǎng)絡(luò)爬蟲(chóng)就屬于后者。

如果從怎樣提取數(shù)據(jù)上分，還可以分成兩類(lèi)，我們只說(shuō)定題爬蟲(chóng)，普通爬蟲(chóng)要簡(jiǎn)單的多，網(wǎng)上大把。這兩類(lèi)是：

1，通過(guò)正則表達(dá)式提取內(nèi)容，HTML文件就是一個(gè)文本文件，直接使用正則表達(dá)式在指定地方提取內(nèi)容即可，指定地方不一定是絕對(duì)定位，例如，可以參照HTML的標(biāo)簽定位，更準(zhǔn)確

2，利用DOM提取內(nèi)容，HTML文件先轉(zhuǎn)成DOM數(shù)據(jù)結(jié)構(gòu)，在遍歷這個(gè)結(jié)構(gòu)提取內(nèi)容。

MetaSeeker中的網(wǎng)絡(luò)爬蟲(chóng)還屬于后者。

有人會(huì)問(wèn)，為什么還要用DOM方式，轉(zhuǎn)了一道？有很多原因決定DOM方式的存在理由：

首先，DOM結(jié)構(gòu)的分析都不用自己做，有現(xiàn)成的庫(kù)，編程并沒(méi)有變復(fù)雜；

第二，可以實(shí)現(xiàn)很復(fù)雜但是很靈活的定位規(guī)則，而正則表達(dá)式很難寫(xiě)；

第三，如果定位是要考慮HTML文件結(jié)構(gòu)，用正則表達(dá)式不容易解析，HTML文件經(jīng)常有錯(cuò)，如果將這個(gè)任務(wù)交給現(xiàn)成的庫(kù)，要容易很多。

第四，假設(shè)還要解析Javascript的內(nèi)容，正則表達(dá)式無(wú)能為力了，當(dāng)然DOM方式自己也無(wú)能為力，但是可以利用某個(gè)平臺(tái)的能力，就有可能提取AJAX網(wǎng)站內(nèi)容。

還有很多原因。MetaSeeker工具包利用Mozilla平臺(tái)的能力，只要是Firefox看到的東西，它都能提取。

爬蟲(chóng)的變種很多，僅講這兩個(gè)方面。

MetaSeeker工具包是免費(fèi)使用的，下載地址：/cn/node/download/front下載和安裝下載和安裝方式有兩種：下載的同時(shí)進(jìn)行安裝：在下載彈出窗口中選擇“運(yùn)行”，并指定運(yùn)行程序Firefox下載保存后安裝：在下載彈出窗口中選擇“保存”，以后安裝下面將講解使用第二種方式下載后怎樣安裝。運(yùn)行Firefox后，只要將兩者的程序包文件（分別是metastudio_xxx.xpi和datascraper.xpi）拖到Firefox上即可啟動(dòng)安裝過(guò)程。安裝完成后，如果在Firefox狀態(tài)欄的右下角顯示“MetaStudioInstalled”和“DataScraperInstalled”，表示兩者安裝成功。如果安裝成功，在Firefox的“工具”菜單上會(huì)出現(xiàn)“MetaStudio”和“DataScraper”兩個(gè)菜單項(xiàng)。初始運(yùn)行安裝完成后，第一次運(yùn)行MetaStudio和DataScraper時(shí)，會(huì)提示輸入MetaSeeker在線(xiàn)用戶(hù)帳號(hào)和口令信息，用戶(hù)可以選擇將輸入的信息存儲(chǔ)在本地，這樣以后