網(wǎng)絡(luò)爬蟲系統(tǒng)項目建設(shè)方案

精選文檔精選文檔PAGEPAGE16精選文檔PAGE

目錄

1.對項目的理解-6-1.1背景-6-

1.2業(yè)務(wù)目標(biāo)錯誤!不決義書簽。

1.3應(yīng)用感知目標(biāo)-6-

2.系統(tǒng)整體架構(gòu)-7-

2.1技術(shù)框架-7-

2.2數(shù)據(jù)架構(gòu)-7-

2.3功能模塊-8-

2.4功能模塊-9-

2.5應(yīng)用部署架構(gòu)-10-

3.詳盡建設(shè)方案-11-

3.1一站式大數(shù)據(jù)采集、儲存、沖洗、訓(xùn)練、導(dǎo)出-11-

3.2多租戶管理-11-

功能說明-11-

平臺截圖-11-

3.3豐富的數(shù)據(jù)接口-11-

3.4平臺高可用性-11-

3.5抓取高效性-12-

3.6高可擴(kuò)展性-12-

3.7可視化爬蟲界面-12-

3.8抓取過程-12-

3.9硬件配置方案-13-

主機(jī)、儲存資源-13-

軟件資源-14-

3.10資源估量-14-

儲存-14-

CPU與內(nèi)存-15-

4.系統(tǒng)安全與系統(tǒng)測試錯誤!不決義書簽。

4.1系統(tǒng)管理以及系統(tǒng)安全舉措錯誤!不決義書簽。

4.2系統(tǒng)測試的方法和環(huán)境 錯誤!不決義書簽。

5.工程進(jìn)度安排及項目實行人員資質(zhì) 錯誤!不決義書簽。

5.1工程進(jìn)度安排錯誤!不決義書簽。

5.2項目支撐人員構(gòu)成表錯誤!不決義書簽。

5.3支撐人員有關(guān)證明資料錯誤!不決義書簽。

楊繼營（項目負(fù)責(zé)人） 錯誤!不決義書簽。

李筠錯誤!不決義書簽。

鄒娟錯誤!不決義書簽。

邱文川錯誤!不決義書簽。

唐亮錯誤!不決義書簽。

趙柏杰錯誤不決義書簽。!

劉子悅錯誤!不決義書簽。

曹平錯誤!不決義書簽。

陳漢雄錯誤!不決義書簽。

陳一錯誤!不決義書簽。

付敏健錯誤!不決義書簽。

張福元!不決義書簽。錯誤

何州鵬錯誤!不決義書簽。

黃華金錯誤!不決義書簽。

黃習(xí)文錯誤!不決義書簽。

李佳錯誤不決義書簽。!

李威虎錯誤!不決義書簽。

劉起云錯誤!不決義書簽。

冼錫勇錯誤!不決義書簽。

楊鋒錯誤!不決義書簽。

鄒興錯誤不決義書簽。!

6.售后服務(wù)及質(zhì)量保證舉措、技術(shù)支持和保修等 錯誤!不決義書簽。

6.1培訓(xùn)錯誤!不決義書簽。

6.2保護(hù)與升級錯誤!不決義書簽。

6.3質(zhì)量保證期內(nèi)的服務(wù)錯誤!不決義書簽。

6.4壽命期內(nèi)維修服務(wù) 錯誤!不決義書簽。

7.人員培訓(xùn)計劃、安排錯誤!不決義書簽。8.分工界面及工作內(nèi)容錯誤!不決義書簽。

8.1技術(shù)支持錯誤!不決義書簽。

8.2培訓(xùn)推行錯誤!不決義書簽。

8.3售前階段的配合服務(wù)錯誤!不決義書簽。

8.4售中階段的配合服務(wù) 錯誤!不決義書簽。

8.5售后階段的配合服務(wù) 錯誤!不決義書簽。

9.技術(shù)承諾錯誤!不決義書簽。

9.1知識產(chǎn)權(quán)錯誤!不決義書簽。

9.2安全方案錯誤!不決義書簽。

9.3電話技術(shù)支持服務(wù)錯誤!不決義書簽。

9.4版本管理和軟件補(bǔ)丁服務(wù)錯誤!不決義書簽。

9.5技術(shù)資料服務(wù)錯誤!不決義書簽。

9.6重要通信保障服務(wù)錯誤!不決義書簽。

9.7應(yīng)急方案設(shè)計與預(yù)演服務(wù)錯誤!不決義書簽。

9.8協(xié)助故障定位服務(wù) 錯誤!不決義書簽。

10.有關(guān)事例錯誤!不決義書簽。

對項目的理解

1.1背景

連續(xù)推動公司信息化的全面深入改革，深入公司管理層、分公司及一線采集問題和需

求，環(huán)繞“快、準(zhǔn)、簡、穩(wěn)、智”五個標(biāo)準(zhǔn)，貫徹“零不爽” IT營運(yùn)服務(wù)理念，提出了大

數(shù)據(jù)應(yīng)用建設(shè)內(nèi)容，承接公司全網(wǎng)集約營銷活動，提高當(dāng)?shù)鼐_營銷服務(wù)，展開大數(shù)據(jù)合

作營運(yùn)剖析，提高財務(wù)、業(yè)務(wù)價值、人力和光網(wǎng)的精確管理能力，優(yōu)化領(lǐng)導(dǎo)視窗，成立網(wǎng)

運(yùn)綜合議論系統(tǒng)，建設(shè)爬蟲能力，實現(xiàn)智慧化營運(yùn)

應(yīng)用感知目標(biāo)

爬蟲頁面響應(yīng)及內(nèi)容加載在 5秒內(nèi)，內(nèi)容展現(xiàn)響應(yīng)速度時間小于 5秒。

爬蟲配置，系統(tǒng)保護(hù)功能簡單易用， 80%用戶能夠在經(jīng)過簡單培訓(xùn)后聯(lián)合使用手冊，完

成爬蟲的開發(fā)和平臺的保護(hù)。

爬蟲均勻宕機(jī)運(yùn)轉(zhuǎn)時間≤ 10小時/月。均勻故障恢復(fù)時間≤ 180分鐘/次。

爬蟲能夠自動依據(jù)爬蟲節(jié)點的負(fù)載進(jìn)行負(fù)載平衡辦理，同時當(dāng)爬蟲出現(xiàn)不行恢復(fù)的錯

誤時，能夠智能的選擇其余節(jié)點進(jìn)行從頭運(yùn)轉(zhuǎn)，保證爬蟲任務(wù)能夠正確達(dá)成。

系統(tǒng)整體架構(gòu)

2.1技術(shù)框架

散布式爬蟲框架采納Nutch。Nutch是一個開源Java實現(xiàn)的搜尋引擎,它供應(yīng)了我們運(yùn)轉(zhuǎn)

自己的搜尋引擎所需的所有工具 ,包含全文搜尋和Web爬蟲。

Nutch鑒于Lucene，近似Google的完好網(wǎng)絡(luò)搜尋引擎解決方案，鑒于 Hadoop的散布式處

理模型保證了系統(tǒng)的性能，插件體制保證了系統(tǒng)的可客戶化，并且很簡單集成到自己的應(yīng)

用之中。

整體上Nutch能夠分為兩部分：抓取部分和搜尋部分。抓取程序抓取頁面并把抓取回來

的數(shù)據(jù)做成反向索引，搜尋程序則對反向索引搜尋回答用戶的懇求。抓取程序和搜尋程序

的接口是索引，二者都使用索引中的字段。抓取程序和搜尋程序能夠分別位于不一樣的機(jī)器

上。

2.2數(shù)據(jù)架構(gòu)

抓取程序是被Nutch的抓取工具驅(qū)動的。這是一組工具，用來成立和保護(hù)幾個不一樣的數(shù)

據(jù)構(gòu)造：webdatabase、segments、theindex三種不一樣的數(shù)據(jù)構(gòu)造：

Thewebdatabase（簡稱WebDB）：這是一個特別儲存數(shù)據(jù)構(gòu)造，用來映像被抓

取網(wǎng)站數(shù)據(jù)的構(gòu)造和屬性的會合。 WebDB用來儲存從抓取開始（包含從頭抓?。?/p>

的所有網(wǎng)站構(gòu)造數(shù)據(jù)和屬性。 WebDB不過被抓取程序使用，搜尋程序其實不使用它。

WebDB儲存兩種實體：頁面和鏈接。頁面表示網(wǎng)絡(luò)上的一個網(wǎng)頁， 這個網(wǎng)頁的URL

作為標(biāo)示被索引，同時成立一個對網(wǎng)頁內(nèi)容的 MD5哈希署名。跟網(wǎng)頁有關(guān)的其余

內(nèi)容也被儲存，包含：頁面中的鏈接數(shù)目（外鏈接），頁面抓守信息（在頁面被重

復(fù)抓取的狀況下），還有表示頁面級其余分?jǐn)?shù)。鏈接表示從一個網(wǎng)頁的鏈接到其余

網(wǎng)頁的鏈接。所以WebDB能夠說是一個網(wǎng)絡(luò)圖，節(jié)點是頁面，鏈接是邊；

Segment：這是網(wǎng)頁的會合，并且它被索引。 Segment的Fetchlist是抓取程序

使用的URL列表，它是從WebDB中生成的。Fetcher的輸出數(shù)據(jù)是從 Fetchlist中抓

取的網(wǎng)頁。Fetcher的輸出數(shù)據(jù)先被反向索引，而后索引后的結(jié)果被儲存在 segment

中。Segment的生命周期是有限制的，當(dāng)下一輪抓取開始后它就沒實用了。所以刪

除超出指準(zhǔn)時間限期的segment是能夠的。并且也能夠節(jié)儉許多磁盤空間。 Segment

的命名是日期加時間，反響出相應(yīng)的存活周期；

Theindex：索引庫是反向索引所有系統(tǒng)中被抓取的頁面，它其實不直接從頁面反向索引

產(chǎn)生，而是歸并好多小的 segment的索引產(chǎn)生的。Nutch使用Lucene來成立索引，所以所有

Lucene有關(guān)的工具API都用來成立索引庫。需要說明的是 Lucene的segment的觀點和Nutch的

segment觀點是完好不一樣的。Lucene的segment是Lucene索引庫的一部分，而Nutch的Segment

是WebDB中被抓取和索引的一部分。

2.3功能模塊

爬蟲平臺分精爬與通爬兩大功能模塊，以知足不一樣租戶的數(shù)據(jù)采集需求，多租戶的系

統(tǒng)功能邏輯以下：

1、精爬

租戶登岸云爬蟲管理平臺，在線編寫爬蟲腳本，云爬蟲系統(tǒng)按計劃編寫的腳本規(guī)則爬

取相應(yīng)頁面的指定部分（比方詳細(xì)議論列表），并存入大數(shù)據(jù)平臺、成立全文索引。

2、通爬

調(diào)用方調(diào)用由云爬蟲系統(tǒng)供應(yīng)的通爬接口，云爬蟲系統(tǒng)及時依據(jù)策略（代理 IP等）爬

取結(jié)果返回調(diào)用方，并存入 Hadoop平臺、成立全文索引。

2.4功能模塊

爬蟲平臺的物理架構(gòu)以下，按層次區(qū)分，主要分為接入層、采集層和長久層，以下列圖

所示：

1、接入層

接入層包含Web與接口。Web主機(jī)負(fù)責(zé)負(fù)載平衡分派任務(wù)，以及展現(xiàn)任務(wù)列表。在 Web

頁面上，租戶能夠依據(jù)需要創(chuàng)立新的爬取任務(wù)。關(guān)于創(chuàng)立成功的爬取任務(wù)，能夠經(jīng)過 Web

頁面查察其基本信息。RESTAPI則負(fù)責(zé)對外供應(yīng)爬蟲能力接口。

2、采集層

采集層包含爬蟲主機(jī)與信息行列主機(jī)。爬蟲主機(jī)負(fù)責(zé)接收 Web主機(jī)分派的任務(wù)，包含

抓取網(wǎng)頁并返回內(nèi)容、對抓取的內(nèi)容進(jìn)行分析和構(gòu)造化， 以及將構(gòu)造化的結(jié)果進(jìn)行長久化。

Redis作為信息行列，負(fù)責(zé)進(jìn)行任務(wù)的散發(fā)。

3、長久層

往常網(wǎng)絡(luò)爬蟲抓取的數(shù)據(jù)量特別大，而儲存大批的數(shù)據(jù)需要較大的儲存空間，所以持

久層采納了中國挪動蘇州研發(fā)中心自研的 Hadoop平臺產(chǎn)品。

2.5應(yīng)用部署架構(gòu)

爬蟲平臺的應(yīng)用部署架構(gòu)以下，主要分為 Web服務(wù)域和采集服務(wù)域。

1、Web服務(wù)域

供應(yīng)給租戶用來編寫調(diào)試爬蟲腳本，安裝了 WebUI、Scheduler等組件。

2、采集服務(wù)域

用來進(jìn)行數(shù)據(jù)采集和結(jié)果返回，各 Spider節(jié)點安裝了Fetcher、Processor、Result_Worker、

RestAPI、Selenium、PhantomJS等組件。

詳盡建設(shè)方案

3.1一站式大數(shù)據(jù)采集、儲存、沖洗、訓(xùn)練、導(dǎo)出

從數(shù)據(jù)獲得到辦理、輸出全站打通的，以一鍵自動公布到數(shù)據(jù)庫

郵箱等 、導(dǎo)出到當(dāng)?shù)匚募?、或經(jīng)過 Webhook/GraphQL獲得數(shù)據(jù)。

/網(wǎng)站/微信民眾號

/

3.2多租戶管理

功能說明

云爬蟲和互聯(lián)網(wǎng)數(shù)據(jù)儲存剖析平臺 PaaS化，實現(xiàn)了多租戶和租戶間的資源隔絕能力。

平臺截圖

3.3豐富的數(shù)據(jù)接口

擴(kuò)展了多種數(shù)據(jù)接口的讀寫能力，如關(guān)系型數(shù)據(jù)庫 Oracle、非關(guān)系型HBase、HDFS文

件、ES以及流式信息接口 Kafka，以此來支持如精爬、通爬等不一樣的業(yè)務(wù)需求。

3.4平臺高可用性

云爬蟲平臺的所有爬取節(jié)點和數(shù)據(jù)儲存剖析節(jié)點均勻的散布在多臺物理節(jié)點上，單臺

機(jī)器的宕機(jī)不會惹起整個爬取進(jìn)度的中止，這類散布式架構(gòu)提高了系統(tǒng)整體的強(qiáng)健性。

3.5抓取高效性

單機(jī)模式下的網(wǎng)絡(luò)爬蟲效率不高，不可以知足大規(guī)模的抓取任務(wù)需求，云爬蟲平臺為爬蟲租

戶分派多個爬取節(jié)點，經(jīng)過讀取共享任務(wù)池來共同履行抓取任務(wù)，每個爬取節(jié)點都能夠看

成是一個單機(jī)的網(wǎng)絡(luò)爬蟲，能大幅度的提高頁面的抓取效率。

3.6高可擴(kuò)展性

支持靜態(tài)爬取和動向襯著的主流網(wǎng)站數(shù)據(jù)爬取，如天貓、京東、大眾議論、豆瓣等，能夠

依據(jù)目前爬蟲任務(wù)量動向地調(diào)理爬蟲節(jié)點數(shù)目，比起傳統(tǒng)爬蟲方式靈巧性更強(qiáng)。同時，租

戶在編寫腳本時自定義程度高，同意租戶依據(jù)不一樣的爬取需求自定義爬取范圍。

3.7可視化爬蟲界面

云爬蟲平臺為爬蟲租戶供應(yīng)了一個可視化頁面來編寫調(diào)試爬蟲腳本，平臺支持靜態(tài)和

動向襯著的主流網(wǎng)站爬取，同時能依據(jù)業(yè)務(wù)緊迫程度動向調(diào)整各爬蟲任務(wù)的優(yōu)先級，并提

供了一個爬取數(shù)據(jù)結(jié)果的頁面導(dǎo)出功能，方便樣例數(shù)據(jù)查察，系統(tǒng)頁面以下列圖所示：

3.8抓取過程

抓取是一個循環(huán)的過程，抓取工具從WebDB中生成了一個Fetchlist會合；抽取工具根

據(jù)Fetchlist從網(wǎng)絡(luò)上下載網(wǎng)頁內(nèi)容；工具程序依據(jù)抽取工具發(fā)現(xiàn)的新鏈接更新WebDB，而后重生成新的Fetchlist，循環(huán)往復(fù)。這個抓取循環(huán)在Nutch中常常指：generate/fetch/update

循環(huán)。

一般來說同一域名下的 URL鏈接會被合成到同一個 Fetchlist。這樣做的考慮是：當(dāng)同

時使用多個工具抓取的時候，不會產(chǎn)生重復(fù)抓取的現(xiàn)象。 Nutch按照RobotsExclusion

Protocol,能夠用robots.txt定義保護(hù)私有網(wǎng)頁數(shù)據(jù)不被抓去。

上邊這個抓取工具的組合是 Nutch的最外層的，也能夠直接使用更基層的工具， 自己組

合這些基層工具的履行次序達(dá)到相同的結(jié)果。這是 Nutch的優(yōu)勢。詳細(xì)工作過程以下：

創(chuàng)立一個新的 WebDB(admindb-create)；

把開始抓取的跟 URL放入WebDb(inject)；

從WebDb的新segment中生成Fetchlist(generate)；

依據(jù)Fetchlist列表抓取網(wǎng)頁的內(nèi)容(fetch)；

依據(jù)抓取回來的網(wǎng)頁鏈接URL更新WebDB(updatedb)；

重復(fù)上邊c-e步驟直到抵達(dá)指定的抓取層數(shù)；

3.9硬件配置方案

主機(jī)、儲存資源

本項目硬件配置包含數(shù)據(jù)庫服務(wù)器 2臺、應(yīng)用服務(wù)器2臺，詳細(xì)配置以下；

主機(jī)名稱 CPU(個 內(nèi)存(G) 儲存(G) 操作系 描繪

) 統(tǒng)

HR-APP-A4850RedHat應(yīng)用主機(jī)，需要安裝6.5和JDK1.7HR-APP-B4850RedHat應(yīng)用主機(jī)，需要安裝6.5和JDK1.7HR-DB-A16323515oracle數(shù)據(jù)庫主機(jī)，利舊HR-DB-B1632oracle數(shù)據(jù)庫主機(jī)，利舊

軟件資源

1）數(shù)據(jù)庫： Oracle11g

2）操作系統(tǒng)：RedHat6.5

3）應(yīng)用服務(wù)器：、JDK1.7

4）WEB服務(wù)器：Nginx（公用）

3.10資源估量

儲存

主機(jī) 儲存(G) 估量依照

HR-APP-A 32 門戶與應(yīng)用腳本 1G

系統(tǒng)緩存：2GTomcat日記：4G暫