Web數(shù)據(jù)采集的關(guān)鍵技術(shù)（網(wǎng)頁抓取策略）

數(shù)據(jù)采集與處理教學(xué)團隊數(shù)據(jù)采集與處理Web數(shù)據(jù)采集的關(guān)鍵技術(shù)網(wǎng)頁抓取策略深度優(yōu)先遍歷策略寬度優(yōu)先遍歷策略反向鏈接數(shù)策略大戰(zhàn)優(yōu)先策略O(shè)PIC策略PartialPageRank策略網(wǎng)頁數(shù)據(jù)抓取策略（一）深度優(yōu)先遍歷策略深度優(yōu)先遍歷策略是指網(wǎng)絡(luò)爬蟲會從起始頁開始，一個鏈接接著一個鏈接跟蹤下去，處理完這條線路之后再轉(zhuǎn)入下一個起始頁，繼續(xù)跟蹤鏈接。GFABCDIHE網(wǎng)頁數(shù)據(jù)抓取策略（二）寬度優(yōu)先遍歷策略（廣度優(yōu)先）數(shù)據(jù)抓取過程是一級一級的進行抓取，比如進入新浪網(wǎng)頁時，會抓取新浪首頁的所有鏈接，然后把所有的鏈接數(shù)提取出來，然后放到待抓取的URL庫中，這是第一級，接著從這些待抓取的URL中再隨機抽取一個頁面，又把這個頁面里的所有URL鏈接提取出來，然后放到待抓取的URL庫中，這是第二級，依次類推，常見的數(shù)據(jù)采集設(shè)為三級。網(wǎng)頁數(shù)據(jù)抓取策略（二）寬度優(yōu)先遍歷策略（廣度優(yōu)先）舉個例子，我們假設(shè)爬蟲的待抓取URL列表中，只有A，爬蟲從A網(wǎng)頁開始抓取，從A中提取了B、C、D網(wǎng)頁，于是將B、C、D放入到抓取隊列，再依次獲得E、F、G、H、I網(wǎng)頁并插入到待抓取的URL列表中，以此類推，周而復(fù)始ABCDEFGHI網(wǎng)頁數(shù)據(jù)抓取策略（三）反向鏈接數(shù)策略假設(shè)把網(wǎng)頁文檔A中包含的指向B的鏈接命名為“A-B”，則對B來說這個“A-B”即為一個反向鏈接。對某個網(wǎng)頁文檔來說，所有來自其他文檔指向自己的鏈接都叫“反向鏈接”。一個網(wǎng)頁文檔的反向鏈接越多，說明這個文檔的“知名度”或“支持率”越高。網(wǎng)頁數(shù)據(jù)抓取策略（四）PartialPageRankPageRank是Google專有的算法，用于衡量特定網(wǎng)頁相對于搜索引擎中的其他網(wǎng)頁而言的重要程度。PageRank實現(xiàn)了將鏈接價值概念作為排名因素。網(wǎng)頁數(shù)據(jù)抓取策略設(shè)定每下載3個網(wǎng)頁進行新的PageRank的計算，此時已經(jīng)有{1,2,3}3個網(wǎng)頁下載到本地。這三個網(wǎng)頁包含的鏈接指向{4,5,6}，即待抓取URL隊列，如何決定下載順序？

將這6個網(wǎng)頁形成新的集合，對這個集合計算的的PageRank的的值，這樣4,5,6就獲得自己對應(yīng)的網(wǎng)頁級別值，由大到小排序，即可得出下載順序假設(shè)順序為5,4,6，當(dāng)下載5頁面后抽取出鏈接，指向頁面8，此時賦予8臨時的PageRank值，如果這個值大于4和6的PageRank的，則接下來優(yōu)先下載頁面8，如此不斷循環(huán)，即形成了非完全的網(wǎng)頁級別的策略的計算思路。123654987已下載網(wǎng)頁待下載網(wǎng)頁未知網(wǎng)頁網(wǎng)頁數(shù)據(jù)抓取策略（五）OPIC策略該算法實際上也是對頁面進行一個重要性打分，在算法開始前，給所有頁面一個相同的初始現(xiàn)金（cash）。當(dāng)下載了某個頁面P之后，將P的現(xiàn)金分?jǐn)偨o所有從P中分析出的鏈接，并且將P的現(xiàn)金清空。對于待抓取URL隊列中的所有頁面安裝現(xiàn)金數(shù)進行排序。網(wǎng)頁數(shù)據(jù)抓取策略（六）大戰(zhàn)優(yōu)先策略