201809網(wǎng)絡(luò)爬蟲系統(tǒng)-項目建設(shè)方案

---py^pi^erdashboardUAMdV抓取過程抓取是一個循環(huán)的過程，抓取工具從WebDB中生成了一個Fetchlist集合；抽取工具根據(jù)Fetchlist從網(wǎng)絡(luò)上下載網(wǎng)頁內(nèi)容；工具程序根據(jù)抽取工具發(fā)現(xiàn)的新鏈接更新WebDB,然后再生成新的Fetchlist，周而復(fù)始。這個抓取循環(huán)在Nutch中經(jīng)常指：generate/fetch/update循環(huán)。一般來說同一域名下的URL鏈接會被合成到同一個Fetchlist。這樣做的考慮是：當(dāng)同時使用多個工具抓取的時候，不會產(chǎn)生重復(fù)抓取的現(xiàn)象。Nutch遵循RobotsExclusionProtocol,可以用robots.txt定義保護(hù)私有網(wǎng)頁數(shù)據(jù)不被抓去。上面這個抓取工具的組合是Nutch的最外層的，也可以直接使用更底層的工具，自己組合這些底層工具的執(zhí)行順序達(dá)到同樣的結(jié)果。這是Nutch的優(yōu)勢。具體工作過程如下：?創(chuàng)建一個新的WebDB(admindb-create)；把開始抓取的跟URL放入WebDb(inject)；從WebDb的新segment中生成Fetchlist(generate)；根據(jù)Fetchlist列表抓取網(wǎng)頁的內(nèi)容(fetch)；根據(jù)抓取回來的網(wǎng)頁鏈接URL更新WebDB(updatedb)；重復(fù)上面c-e步驟直到到達(dá)指定的抓取層數(shù)；硬件配置方案主機(jī)、存儲資源本項目硬件配置包括數(shù)據(jù)庫服務(wù)器2臺、應(yīng)用服務(wù)器2臺，具體配置如下；主機(jī)名稱CPU（個）內(nèi)存⑹存儲⑹操作系統(tǒng)描述HR-APP-A4850RedHat6.5應(yīng)用主機(jī)，需要安裝Tomcat7.0.73和JDK1.7HR-APP-B4850RedHat6.5應(yīng)用主機(jī)，需要安裝Tomcat7.0.73和JDK1.7HR-DB-A16323515oracle數(shù)據(jù)庫主機(jī)，利舊HR-DB-B1632oracle數(shù)據(jù)庫主機(jī)，利舊軟件資源1)數(shù)據(jù)庫：Oracle11g2)操作系統(tǒng):RedHat6.53)應(yīng)用服務(wù)器:Tomcat7.0.73、JDK1.74)WEB服務(wù)器：Nginx1.10.3(公用)資源估算存儲主機(jī)存儲(G)估算依據(jù)HR-APP-A32門戶與應(yīng)用腳本1G

系統(tǒng)緩存：2GTomcat日志：4G臨時數(shù)據(jù)接口存儲：8G數(shù)據(jù)集成平臺與啟動緩存：4G系統(tǒng)冗余比例：40%總存儲要求：(1+2+4+8+4)/(1-40%)=1.66GHR-APP-B32同上HR-DB-AHR-DB-B3515Oracle11g安裝空間：60G系統(tǒng)表空間：200G應(yīng)用表空間：2200G系統(tǒng)冗余比例：30%總存儲要求：(60+200+1600)/(1-30%)=3514.29GCPU與內(nèi)存滿足日常運行要求即可。建議配置如下：應(yīng)用服務(wù)器：4Cpu