201809網(wǎng)絡爬蟲系統(tǒng)-項目建設方案

1、目錄 TOC o 1-5 h z .對項目的理解-3 -背景-3-業(yè)務目標錯誤!未定義書簽。應用感知目標-3- HYPERLINK l bookmark3 o Current Document .系統(tǒng)整體架構(gòu)-3 - HYPERLINK l bookmark5 o Current Document 技術(shù)框架-3- HYPERLINK l bookmark7 o Current Document 數(shù)據(jù)架構(gòu)-4- HYPERLINK l bookmark9 o Current Document 功能模塊-5- HYPERLINK l bookmark11 o Current Document 功能

2、模塊-5- HYPERLINK l bookmark13 o Current Document 應用部署架構(gòu)-6- HYPERLINK l bookmark15 o Current Document 3,詳細建設方案-7 - HYPERLINK l bookmark17 o Current Document 一站式大數(shù)據(jù)采集、存儲、清洗、訓練、導出-7- HYPERLINK l bookmark19 o Current Document 多租戶管理-7-功能說明-7 -平臺截圖-8 - HYPERLINK l bookmark21 o Current Document 豐富的數(shù)據(jù)接口 -8-

3、HYPERLINK l bookmark23 o Current Document 平臺高可用性-8- HYPERLINK l bookmark25 o Current Document 抓取高效性-8- HYPERLINK l bookmark27 o Current Document 高可擴展性-9- HYPERLINK l bookmark29 o Current Document 可視化爬蟲界面-9- HYPERLINK l bookmark35 o Current Document 抓取過程-10- HYPERLINK l bookmark37 o Current Document

4、硬件配置方案-11-主機、存儲資源-11 -軟件資源-11 - HYPERLINK l bookmark39 o Current Document 資源估算-11存儲-11 -CPU 與內(nèi)存-12 -.系統(tǒng)安全與系統(tǒng)測試錯誤!未定義書簽。系統(tǒng)管理以及系統(tǒng)安全措施錯誤!未定義書簽。系統(tǒng)測試的方法和環(huán)境錯誤!未定義書簽。.工程進度安排及項目實施人員資質(zhì)錯誤！未定義書簽。工程進度安排錯誤!未定義書簽。項目支撐人員組成表錯誤!未定義書簽。支撐人員相關(guān)證明材料錯誤!未定義書簽。楊繼營（項目負責人）錯誤!未定義書簽。李筠錯誤!未定義書簽。鄒娟錯誤!未定義書簽。邱文川錯誤!未定義書簽。唐亮錯誤!未定義書簽。

5、趙柏杰錯誤!未定義書簽。53.7劉子悅錯誤!未定義書簽。曹平錯誤!未定義書簽。陳漢雄錯誤!未定義書簽。陳一錯誤!未定義書簽。付敏健錯誤!未定義書簽。張福元錯誤!未定義書簽。何州鵬錯誤!未定義書簽。黃華金錯誤!未定義書簽。黃習文錯誤!未定義書簽。李佳錯誤!未定義書簽。李威虎錯誤!未定義書簽。劉起云錯誤!未定義書簽。冼錫勇錯誤!未定義書簽。楊鋒錯誤!未定義書簽。鄒興錯誤!未定義書簽。.售后服務及質(zhì)量保證措施、技術(shù)支持和保修等錯誤!未定義書簽。培訓錯誤!未定義書簽。維護與升級錯誤!未定義書簽。質(zhì)量保證期內(nèi)的服務錯誤!未定義書簽。壽命期內(nèi)維修服務錯誤!未定義書簽。.人員培訓計劃、安排錯誤!未定義書簽。

6、.分工界面及工作內(nèi)容錯誤!未定義書簽。技術(shù)支持錯誤!未定義書簽。培訓推廣錯誤!未定義書簽。售前階段的配合服務錯誤!未定義書簽。售中階段的配合服務錯誤!未定義書簽。售后階段的配合服務錯誤!未定義書簽。.技術(shù)承諾錯誤!未定義書簽。知識產(chǎn)權(quán)錯誤!未定義書簽。安全方案錯誤!未定義書簽。電話技術(shù)支持服務錯誤!未定義書簽。版本管理和軟件補丁服務錯誤!未定義書簽。技術(shù)資料服務錯誤!未定義書簽。重要通訊保障服務錯誤!未定義書簽。應急方案設計與預演服務錯誤!未定義書簽。輔助故障定位服務錯誤!未定義書簽。.相關(guān)案例錯誤!未定義書簽。.對項目的理解背景持續(xù)推進企業(yè)信息化的全面深化改革，深入公司管理層、分公司及一線收

7、集問題和需求， 圍繞“快、準、簡、穩(wěn)、智”五個標準，貫徹“零不爽” IT運營服務理念，提出了大數(shù)據(jù)應 用建設內(nèi)容，承接集團全網(wǎng)集約營銷活動，提升本地精準營銷服務，開展大數(shù)據(jù)合作運營分 析，提升財務、業(yè)務價值、人力和光網(wǎng)的精確管理能力，優(yōu)化領導視窗，建立網(wǎng)運綜合評價 體系，建設爬蟲能力，實現(xiàn)智慧化運營應用感知目標爬蟲頁面響應及內(nèi)容加載在5秒內(nèi)，內(nèi)容展示響應速度時間小于5秒。爬蟲配置，系統(tǒng)維護功能簡單易用，80%用戶可以在經(jīng)過簡單培訓后結(jié)合使 用手冊，完成爬蟲的開發(fā)和平臺的維護。爬蟲平均宕機運行時間W10小時/月。平均故障恢復時間W180分鐘/次。爬蟲可以自動根據(jù)爬蟲節(jié)點的負載進行負載均衡處理，同

8、時當爬蟲出現(xiàn)不可 恢復的錯誤時，可以智能的選擇其他節(jié)點進行重新運行，保證爬蟲任務可以 正確完成。.系統(tǒng)整體架構(gòu)技術(shù)框架分布式爬蟲框架采用Nutch。Nutch是一個開源Java實現(xiàn)的搜索引擎,它提供 了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。Nutch基于Lucene,類似Google的完整網(wǎng)絡搜索引擎解決方案，基于Hadoop 的分布式處理模型保證了系統(tǒng)的性能，插件機制保證了系統(tǒng)的可客戶化，而且很 容易集成到自己的應用之中?？傮w上Nutch可以分為兩部分：抓取部分和搜索部分。抓取程序抓取頁面并 把抓取回來的數(shù)據(jù)做成反向索引，搜索程序則對反向索引搜索回答用戶的請求。抓取

9、程序和搜索程序的接口是索引，兩者都使用索引中的字段。抓取程序和搜索 程序可以分別位于不同的機器上。數(shù)據(jù)架構(gòu)抓取程序是被Nutch的抓取工具驅(qū)動的。這是一組工具，用來建立和維護幾 個不同的數(shù)據(jù)結(jié)構(gòu)：web database、segments、the indexm種不同的數(shù)據(jù)結(jié)構(gòu)：口 The web database （簡稱WebDB）：這是一個特殊存儲數(shù)據(jù)結(jié)構(gòu)，用 來映像被抓取網(wǎng)站數(shù)據(jù)的結(jié)構(gòu)和屬性的集合。WebDB用來存儲從抓取開 始（包括重新抓?。┑乃芯W(wǎng)站結(jié)構(gòu)數(shù)據(jù)和屬性。WebDB只是被抓取 程序使用，搜索程序并不使用它。WebDB存儲兩種實體：頁面和鏈接。 頁面表示網(wǎng)絡上的一個網(wǎng)頁，這個網(wǎng)

10、頁的URL作為標示被索引，同時建 立一個對網(wǎng)頁內(nèi)容的MD5哈希簽名。跟網(wǎng)頁相關(guān)的其它內(nèi)容也被存儲， 包括：頁面中的鏈接數(shù)量（外鏈接），頁面抓取信息（在頁面被重復抓 取的情況下），還有表示頁面級別的分數(shù)。鏈接表示從一個網(wǎng)頁的鏈接 到其它網(wǎng)頁的鏈接。因此WebDB可以說是一個網(wǎng)絡圖，節(jié)點是頁面，鏈 接是邊；口 Segment：這是網(wǎng)頁的集合，并且它被索引。Segment的Fetchlist 是抓取程序使用的URL列表，它是從WebDB中生成的。Fetcher的輸出數(shù) 據(jù)是從Fetchlist中抓取的網(wǎng)頁。Fetcher的輸出數(shù)據(jù)先被反向索引，然后 索引后的結(jié)果被存儲在segment中。Segmen

11、t的生命周期是有限制的，當 下一輪抓取開始后它就沒有用了。因此刪除超過指定時間期限的 segment是可以的。而且也可以節(jié)省不少磁盤空間。Segment的命名是日 期加時間，反應出相應的存活周期；The index：索引庫是反向索引所有系統(tǒng)中被抓取的頁面，它并不直接從頁面 反向索引產(chǎn)生，而是合并很多小的segment的索引產(chǎn)生的。Nutch使用Lucene來 建立索引，因此所有Lucene相關(guān)的工具API都用來建立索引庫。需要說明的是 Lucene的segment的概念和Nutch的segment概念是完全不同的。Lucene的segment 是Lucene索引庫的一部分，而Nutch的Seg

12、ment是WebDB中被抓取和索引的一部 分。功能模塊爬蟲平臺分精爬與通爬兩大功能模塊，以滿足不同租戶的數(shù)據(jù)采集需求，多租戶的系統(tǒng)功能邏輯如下iTrfL.ll1MtlMil99MKVMiTrfL.ll1MtlMil99MKVM1、精爬租戶登陸云爬蟲管理平臺，在線編輯爬蟲腳本，云爬蟲系統(tǒng)按計劃編寫的腳 本規(guī)則爬取相應頁面的指定部分（比如具體評論列表），并存入大數(shù)據(jù)平臺、建 立全文索引。2、通爬調(diào)用方調(diào)用由云爬蟲系統(tǒng)提供的通爬接口，云爬蟲系統(tǒng)實時根據(jù)策略（代理 IP等）爬取結(jié)果返回調(diào)用方，并存入由加邛平臺、建立全文索引。功能模塊爬蟲平臺的物理架構(gòu)如下，按層次劃分，主要分為接入層、采集層和持久層，

13、如下圖所示：1、接入層接入層包含Web與接口。Web主機負責負載均衡分配任務，以及展示任務列 表。在Web頁面上，租戶可以根據(jù)需要創(chuàng)建新的爬取任務。對于創(chuàng)建成功的爬取 任務，可以通過Web頁面查看其基本信息。REST API則負責對外提供爬蟲能力接 口。2、采集層采集層包含爬蟲主機與消息隊列主機。爬蟲主機負責接收Web主機分配的任 務，包括抓取網(wǎng)頁并返回內(nèi)容、對抓取的內(nèi)容進行解析和結(jié)構(gòu)化，以及將結(jié)構(gòu)化 的結(jié)果進行持久化。Redis作為消息隊列，負責進行任務的分發(fā)。3、持久層通常網(wǎng)絡爬蟲抓取的數(shù)據(jù)量非常大，而存儲大量的數(shù)據(jù)需要較大的存儲空 間，因此持久層采用了中國移動蘇州研發(fā)中心自研的Hadoo

14、p平臺產(chǎn)品。應用部署架構(gòu)爬蟲平臺的應用部署架構(gòu)如下，主要分為Web服務域和采集服務域。1、Web服務域提供給租戶用來編寫調(diào)試爬蟲腳本，安裝了WebUI、Scheduler等組件。2、采集服務域用來進行數(shù)據(jù)采集和結(jié)果返回，各Spider節(jié)點安裝了Fetcher、Processor、 Result_Worker、Rest API、Selenium、PhantomJS等組件。.詳細建設方案一站式大數(shù)據(jù)采集、存儲、清洗、訓練、導出從數(shù)據(jù)獲取到處理、輸出全站打通的，以一鍵自動發(fā)布到數(shù)據(jù)庫/網(wǎng)站/微信公眾號/郵箱等、導出到本地文件、或通過Webhook / GraphQL獲取數(shù)據(jù)。多租戶管理功能說明云爬蟲

15、和互聯(lián)網(wǎng)數(shù)據(jù)存儲分析平臺PaaS化，實現(xiàn)了多租戶和租戶間的資源隔離能力。平臺截圖云爬蟲統(tǒng)一監(jiān)控管理平臺mm IanwIItFpiB.tlVjiWMIfinfi：KK”1 riiHPH 豐富的數(shù)據(jù)接口擴展了多種數(shù)據(jù)接口的讀寫能力，如關(guān)系型數(shù)據(jù)庫Oracle、非關(guān)系型HBase、HDFS文 件、ES以及流式消息接口 Kafka，以此來支持如精爬、通爬等不同的業(yè)務需求。平臺高可用性云爬蟲平臺的所有爬取節(jié)點和數(shù)據(jù)存儲分析節(jié)點均勻的分布在多臺物理節(jié)點上，單臺機 器的宕機不會引起整個爬取進程的中斷，這種分布式架構(gòu)提升了系統(tǒng)整體的健壯性。抓取高效性單機模式下的網(wǎng)絡爬蟲效率不高，不能滿足大規(guī)模的抓取任務需求，

16、云爬蟲平臺為爬蟲租戶 分配多個爬取節(jié)點，通過讀取共享任務池來共同執(zhí)行抓取任務，每個爬取節(jié)點都可以看成是 一個單機的網(wǎng)絡爬蟲，能大幅度的提高頁面的抓取效率。高可擴展性支持靜態(tài)爬取和動態(tài)渲染的主流網(wǎng)站數(shù)據(jù)爬取，如天貓、京東、大眾點評、豆瓣等，能夠根 據(jù)當前爬蟲任務量動態(tài)地調(diào)節(jié)爬蟲節(jié)點數(shù)量，比起傳統(tǒng)爬蟲方式靈活性更強。同時，租戶在 編寫腳本時自定義程度高，允許租戶根據(jù)不同的爬取需求自定義爬取范圍?？梢暬老x界面云爬蟲平臺為爬蟲租戶提供了一個可視化頁面來編輯調(diào)試爬蟲腳本，平臺支持靜態(tài)和動 態(tài)渲染的主流網(wǎng)站爬取，同時能根據(jù)業(yè)務緊急程度動態(tài)調(diào)整各爬蟲任務的優(yōu)先級，并提供了 一個爬取數(shù)據(jù)結(jié)果的頁面導出功能，

17、方便樣例數(shù)據(jù)查看，系統(tǒng)頁面如下圖所示：- Reiiib TatJe Num.uilCduhtidha*工通5EliteFiRpJiVrL 國Ml 口11他)出丫向用司10毋114 gigc： q電犯srB2I4Q4FD cr1電犯劇1云ftLW訂餐：第鼻-云金上解1拿* B撞電魔窟蠱正他松:riEp isn Jqifi nwnjfcHffj.hlm時 27WQc i電賜ri電震(1云甲之上苒1車：# or*0之上藏1儺式集咤及助高力正所日iqi camglav 11101111=6221Hi刪0CJ T申亞ST.cr1中乩刷云修工上百1案；事才蜜上菖1乖聲傳電投叫落泊正桐時BiRp ,m iq

18、ly| tJmipkTn3124的mocj ssar斤/乳慘M W加WHF激可技. 循王百可SM書寫國疔 日闞堆粉i，E r明斯干王7式可SH 料史-hfp Jilm 國別 sirvgh hlml.?hHj=hj,5Ci 64 BOOcs i身弭勒ror1屯史叼比電|也知赭如匕寸* 1耳-電，典離索止唐?(3-aeilzp fiifi Mi camiay Mm曰而京2馱 tDIOTcf i用賜r.飛則附加 (r1電可即上巾妾方稱：芾巧*-腑英曰作苜3謨：嵬明星需正曲枳曲rirepjin 白刖 0HMim IMm忤樂i=18467歐）cf inML61&4674D電網(wǎng)的尋卻也如：第*果讖出:用第

19、1鼻中霞*迪跟http加m Iqrri Bimpkh Frlml71?KiBG2 j5 找BKie吸幽,Cr1電視幽三寶三世1型現(xiàn)苴：不融算r三歸世十里橫詫再&二業(yè)電社劇富事回nflp/iFP 應用 snnj礎 2$40c般現(xiàn)er也馴D kI電叫云修之上解1*1常？壓面N上希1孑*震集更ffl高Ji!法力mip J而 EM Eg目 1 EEEm書321 tsooCf西現(xiàn)E/罐1伯加 始1電懶云*之上網(wǎng)；季；第MTHZ-Wii潘坦爬臥高濡正題然lirep htn kqh*l cnmOki Frimr?Mdi=6S13 tXJ,割曲-煙總14金 (F二電靶圜國毛上壬 S5F常*片舌飛!于- 1鋁*

20、史詠園-X：#正西網(wǎng)Si .py5pder AboardE三一E三一E。|三三B=抓取過程抓取是一個循環(huán)的過程，抓取工具從WebDB中生成了一個Fetchlist集合；抽取工具根 據(jù)Fetchlist從網(wǎng)絡上下載網(wǎng)頁內(nèi)容；工具程序根據(jù)抽取工具發(fā)現(xiàn)的新鏈接更新WebDB,然 后再生成新的Fetchlist，周而復始。這個抓取循環(huán)在Nutch中經(jīng)常指：generate/fetch/update 循環(huán)。一般來說同一域名下的URL鏈接會被合成到同一個Fetchlist。這樣做的考慮是：當同 時使用多個工具抓取的時候，不會產(chǎn)生重復抓取的現(xiàn)象。Nutch遵循Robots Exclusion Protocol,可以用robots.txt定義保護私有網(wǎng)頁數(shù)據(jù)不被抓去。上面這個抓取工具的組合是Nutch的最外層的，也可以直接使用更底層的工具，自己組 合這些底層工具的執(zhí)行順序達到同樣的結(jié)果。這是Nutch的優(yōu)勢。具體工作過程如下：創(chuàng)建一個新的 WebDB (admin db -create)；把開始抓取的跟URL放入WebDb (inject)；從 WebDb 的新 segment 中生成 Fetchlist (generate)；根據(jù)Fetchlist列表抓取網(wǎng)頁的內(nèi)容(fetch)；-10 -根據(jù)抓取回來的網(wǎng)頁鏈接URL更新WebDB