網(wǎng)絡(luò)爬蟲基本原理課件

1、網(wǎng)絡(luò)爬蟲基本原理高劍飛ACM20137/29/2022第1頁，共16頁。目錄基本描述1需要理解的算法2數(shù)據(jù)分類3抓取策略4更新策略5Reference6ACM20137/29/2022第2頁，共16頁。網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人），是一種按照一定的規(guī)則，自動(dòng)的抓取萬維網(wǎng)信息的程序或者腳本，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。ACM20137/29/2022第3頁，共16頁。聚焦爬蟲傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上

2、的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁URL，并重復(fù)上述過程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。另外，所有被爬蟲抓取的網(wǎng)頁將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對(duì)于聚焦爬蟲來說，這一過程所得到的分析結(jié)果還可能對(duì)以后的抓取過程給出反饋和指導(dǎo)。ACM20137/29/2022第4頁，共16頁。簡單流程 : BFSACM20137/2

3、9/2022下載網(wǎng)頁庫種子URL已抓取URL待抓取URLDNS解析 &網(wǎng)頁數(shù)據(jù)分析下載網(wǎng)頁進(jìn)入已抓取隊(duì)列從隊(duì)列信息中抽取新的URL作為初始URL第5頁，共16頁。需要理解的算法1.關(guān)鍵字匹配 : 字符串匹配 KNUTH-MORRIS-PRATT算法（KMP算法） 有限自動(dòng)機(jī)算法 *BOYER-MOORE算法2.網(wǎng)頁內(nèi)容冗余 : 卡時(shí)3.大數(shù)量網(wǎng)頁處理 : *分布式4.防止重復(fù)遍歷 : 字符串HashACM20137/29/2022第6頁，共16頁。數(shù)據(jù)分類1.已下載未過期網(wǎng)頁2.已下載已過期網(wǎng)頁： 抓取到的網(wǎng)頁實(shí)際上是互聯(lián)網(wǎng)內(nèi)容的一個(gè)鏡像與備份，互聯(lián)網(wǎng)是動(dòng)態(tài)變化的，一部分互聯(lián)網(wǎng)上的內(nèi)容已經(jīng)發(fā)生

4、了變化，這時(shí)，這部分抓取到的網(wǎng)頁就過期了。3.待下載網(wǎng)頁： 也就是待抓取URL隊(duì)列中的那些頁面。4.可知網(wǎng)頁： 還沒有抓取下來，也沒有在待抓取URL隊(duì)列中，但是可以通過對(duì)已抓取頁面或者待抓取URL對(duì)應(yīng)頁面進(jìn)行分析獲取到的URL，認(rèn)為是可知網(wǎng)頁。5.不可知網(wǎng)頁： 還有一部分網(wǎng)頁，爬蟲是無法直接抓取下載的ACM20137/29/2022第7頁，共16頁。數(shù)據(jù)分類 : BaiduACM20137/29/2022已抓取未過期已抓取已過期已知網(wǎng)頁第8頁，共16頁。數(shù)據(jù)分類 : BaiduACM20137/29/2022不可知網(wǎng)頁第9頁，共16頁。抓取策略 : 暴力1.深度優(yōu)先搜索2.廣度優(yōu)先搜索3.大站

5、優(yōu)先策略 對(duì)于待抓取URL隊(duì)列中的所有網(wǎng)頁，根據(jù)所屬的網(wǎng)站進(jìn)行分類。對(duì)于待下載頁面數(shù)多的網(wǎng)站，優(yōu)先下載。這個(gè)策略也因此叫做大站優(yōu)先策略。ACM20137/29/2022第10頁，共16頁。抓取策略 : 技巧4.反向鏈接數(shù)策略 反向鏈接數(shù)是指一個(gè)網(wǎng)頁被其他網(wǎng)頁鏈接指向的數(shù)量。反向鏈接數(shù)表示的是一個(gè)網(wǎng)頁的內(nèi)容受到其他人的推薦的程度。因此，很多時(shí)候搜索引擎的抓取系統(tǒng)會(huì)使用這個(gè)指標(biāo)來評(píng)價(jià)網(wǎng)頁的重要程度，從而決定不同網(wǎng)頁的抓取先后順序。 在真實(shí)的網(wǎng)絡(luò)環(huán)境中，由于廣告鏈接、作弊鏈接的存在，反向鏈接數(shù)不能完全準(zhǔn)確評(píng)價(jià)網(wǎng)頁的重要程度。因此，搜索引擎往往考慮一些可靠的反向鏈接數(shù)。 ACM20137/29/202

6、2第11頁，共16頁。抓取策略 : 技巧5.Partial PageRank策略 Partial PageRank算法借鑒了PageRank算法的思想。對(duì)于已經(jīng)下載的網(wǎng)頁，連同待抓取URL隊(duì)列中的URL，形成網(wǎng)頁集合，計(jì)算每個(gè)頁面的PageRank值，計(jì)算完之后，將待抓取URL隊(duì)列中的URL按照PageRank值的大小排列，并按照該順序抓取頁面。6.OPIC策略策略 該算法實(shí)際上也是對(duì)頁面進(jìn)行一個(gè)重要性打分。在算法開始前，給所有頁面一個(gè)相同的初始現(xiàn)金（Cash）。當(dāng)下載了某個(gè)頁面P之后，將P的現(xiàn)金分?jǐn)偨o所有從P中分析出的鏈接，并且將P的現(xiàn)金清空。對(duì)于待抓取URL隊(duì)列中的所有頁面按照現(xiàn)金數(shù)進(jìn)行排

7、序。ACM20137/29/2022第12頁，共16頁。更新策略 : 可持久化數(shù)據(jù)結(jié)構(gòu) 1.歷史參考策略 顧名思義，根據(jù)頁面以往的歷史更新數(shù)據(jù)，預(yù)測(cè)該頁面未來何時(shí)會(huì)發(fā)生變化。一般來說，是通過泊松過程進(jìn)行建模進(jìn)行預(yù)測(cè)。2.用戶體驗(yàn)策略 盡管搜索引擎針對(duì)于某個(gè)查詢條件能夠返回?cái)?shù)量巨大的結(jié)果，但是用戶往往只關(guān)注前幾頁結(jié)果。因此，抓取系統(tǒng)可以優(yōu)先更新那些現(xiàn)實(shí)在查詢結(jié)果前幾頁中的網(wǎng)頁，而后再更新那些后面的網(wǎng)頁。這種更新策略也是需要用到歷史信息的。用戶體驗(yàn)策略保留網(wǎng)頁的多個(gè)歷史版本，并且根據(jù)過去每次內(nèi)容變化對(duì)搜索質(zhì)量的影響，得出一個(gè)平均值，用這個(gè)值作為決定何時(shí)重新抓取的依據(jù)。 ACM20137/29/2022第13頁，共16頁。更新策略 : 統(tǒng)計(jì)學(xué)改進(jìn) 3.聚類抽樣策略 前面提到的兩種更新策略都有一個(gè)前提：需要網(wǎng)頁的歷史信息。這樣就存在兩個(gè)問題：第一，系統(tǒng)要是為每個(gè)系統(tǒng)保存多個(gè)版本的歷史信息，無疑增加了很多的系統(tǒng)負(fù)擔(dān)；第二，要是新的網(wǎng)頁完全沒有歷史信息，就無法確定更新策略。 而聚類抽樣策略認(rèn)為，網(wǎng)頁具有很多屬性，類似屬性的網(wǎng)頁，可以認(rèn)為其更新頻率也是類似的。要計(jì)算某一個(gè)類別網(wǎng)頁的更新頻率，只需要對(duì)這一類網(wǎng)頁抽樣，以他們的更新周期作為整個(gè)類別的更新周期。 ACM20137/29/2022第14頁，共16頁。Reference wawlian的個(gè)人博客 /wawlian/arch