Web數(shù)據(jù)采集的關(guān)鍵技術(shù)（網(wǎng)頁(yè)抓取策略）

數(shù)據(jù)采集與處理教學(xué)團(tuán)隊(duì)數(shù)據(jù)采集與處理Web數(shù)據(jù)采集的關(guān)鍵技術(shù)網(wǎng)頁(yè)抓取策略深度優(yōu)先遍歷策略寬度優(yōu)先遍歷策略反向鏈接數(shù)策略大戰(zhàn)優(yōu)先策略O(shè)PIC策略PartialPageRank策略網(wǎng)頁(yè)數(shù)據(jù)抓取策略（一）深度優(yōu)先遍歷策略深度優(yōu)先遍歷策略是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)從起始頁(yè)開(kāi)始，一個(gè)鏈接接著一個(gè)鏈接跟蹤下去，處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁(yè)，繼續(xù)跟蹤鏈接。GFABCDIHE網(wǎng)頁(yè)數(shù)據(jù)抓取策略（二）寬度優(yōu)先遍歷策略（廣度優(yōu)先）數(shù)據(jù)抓取過(guò)程是一級(jí)一級(jí)的進(jìn)行抓取，比如進(jìn)入新浪網(wǎng)頁(yè)時(shí)，會(huì)抓取新浪首頁(yè)的所有鏈接，然后把所有的鏈接數(shù)提取出來(lái)，然后放到待抓取的URL庫(kù)中，這是第一級(jí)，接著從這些待抓取的URL中再隨機(jī)抽取一個(gè)頁(yè)面，又把這個(gè)頁(yè)面里的所有URL鏈接提取出來(lái)，然后放到待抓取的URL庫(kù)中，這是第二級(jí)，依次類(lèi)推，常見(jiàn)的數(shù)據(jù)采集設(shè)為三級(jí)。網(wǎng)頁(yè)數(shù)據(jù)抓取策略（二）寬度優(yōu)先遍歷策略（廣度優(yōu)先）舉個(gè)例子，我們假設(shè)爬蟲(chóng)的待抓取URL列表中，只有A，爬蟲(chóng)從A網(wǎng)頁(yè)開(kāi)始抓取，從A中提取了B、C、D網(wǎng)頁(yè)，于是將B、C、D放入到抓取隊(duì)列，再依次獲得E、F、G、H、I網(wǎng)頁(yè)并插入到待抓取的URL列表中，以此類(lèi)推，周而復(fù)始ABCDEFGHI網(wǎng)頁(yè)數(shù)據(jù)抓取策略（三）反向鏈接數(shù)策略假設(shè)把網(wǎng)頁(yè)文檔A中包含的指向B的鏈接命名為“A-B”，則對(duì)B來(lái)說(shuō)這個(gè)“A-B”即為一個(gè)反向鏈接。對(duì)某個(gè)網(wǎng)頁(yè)文檔來(lái)說(shuō)，所有來(lái)自其他文檔指向自己的鏈接都叫“反向鏈接”。一個(gè)網(wǎng)頁(yè)文檔的反向鏈接越多，說(shuō)明這個(gè)文檔的“知名度”或“支持率”越高。網(wǎng)頁(yè)數(shù)據(jù)抓取策略（四）PartialPageRankPageRank是Google專有的算法，用于衡量特定網(wǎng)頁(yè)相對(duì)于搜索引擎中的其他網(wǎng)頁(yè)而言的重要程度。PageRank實(shí)現(xiàn)了將鏈接價(jià)值概念作為排名因素。網(wǎng)頁(yè)數(shù)據(jù)抓取策略設(shè)定每下載3個(gè)網(wǎng)頁(yè)進(jìn)行新的PageRank的計(jì)算，此時(shí)已經(jīng)有{1,2,3}3個(gè)網(wǎng)頁(yè)下載到本地。這三個(gè)網(wǎng)頁(yè)包含的鏈接指向{4,5,6}，即待抓取URL隊(duì)列，如何決定下載順序？

將這6個(gè)網(wǎng)頁(yè)形成新的集合，對(duì)這個(gè)集合計(jì)算的的PageRank的的值，這樣4,5,6就獲得自己對(duì)應(yīng)的網(wǎng)頁(yè)級(jí)別值，由大到小排序，即可得出下載順序假設(shè)順序?yàn)?,4,6，當(dāng)下載5頁(yè)面后抽取出鏈接，指向頁(yè)面8，此時(shí)賦予8臨時(shí)的PageRank值，如果這個(gè)值大于4和6的PageRank的，則接下來(lái)優(yōu)先下載頁(yè)面8，如此不斷循環(huán)，即形成了非完全的網(wǎng)頁(yè)級(jí)別的策略的計(jì)算思路。123654987已下載網(wǎng)頁(yè)待下載網(wǎng)頁(yè)未知網(wǎng)頁(yè)網(wǎng)頁(yè)數(shù)據(jù)抓取策略（五）OPIC策略該算法實(shí)際上也是對(duì)頁(yè)面進(jìn)行一個(gè)重要性打分，在算法開(kāi)始前，給所有頁(yè)面一個(gè)相同的初始現(xiàn)金（cash）。當(dāng)下載了某個(gè)頁(yè)面P之后，將P的現(xiàn)金分?jǐn)偨o所有從P中分析出的鏈接，并且將P的現(xiàn)金清空。對(duì)于待抓取URL隊(duì)列中的所有頁(yè)面安裝現(xiàn)金數(shù)進(jìn)行排序。網(wǎng)頁(yè)數(shù)據(jù)抓取策略（六）大戰(zhàn)優(yōu)先策略