網(wǎng)絡(luò)爬蟲技術(shù)

網(wǎng)絡(luò)爬蟲技術(shù)網(wǎng)絡(luò)機(jī)器人1.概念：它們是Web上獨(dú)自運(yùn)行的軟件程序，它們不斷地篩選數(shù)據(jù)，做出自己的決定，能夠使用Web獲取文本或者進(jìn)行搜索查詢，按部就班地完成各自的任務(wù)。2.分類：購物機(jī)器人、聊天機(jī)器人、搜索機(jī)器人（網(wǎng)絡(luò)爬蟲）等。搜索引擎1.概念：從網(wǎng)絡(luò)上獲得網(wǎng)站網(wǎng)頁資料，能夠建立數(shù)據(jù)庫并提供查詢的系統(tǒng)。2.分類（按工作原理）：全文搜索引擎、分類目錄。1>全文搜索引擎數(shù)據(jù)庫是依靠網(wǎng)絡(luò)爬蟲通過網(wǎng)絡(luò)上的各種鏈接自動(dòng)獲取大量網(wǎng)頁信息內(nèi)容，并按一定的規(guī)則分析整理形成的。（百度、Google）2>分類目錄：按目錄分類的網(wǎng)站鏈接列表而已，通過人工的方式收集整理網(wǎng)站資料形成的數(shù)據(jù)庫。(國(guó)內(nèi)的搜狐)網(wǎng)絡(luò)爬蟲1.概念：網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，它是一個(gè)按照一定的規(guī)則自動(dòng)提取網(wǎng)頁程序，其會(huì)自動(dòng)的通過網(wǎng)絡(luò)抓取互聯(lián)網(wǎng)上的網(wǎng)頁，這種技術(shù)一般可能用來檢查你的站點(diǎn)上所有的鏈接是否是都是有效的。當(dāng)然，更為高級(jí)的技術(shù)是把網(wǎng)頁中的相關(guān)數(shù)據(jù)保存下來，可以成為搜索引擎。搜索引擎使用網(wǎng)絡(luò)爬蟲尋找網(wǎng)絡(luò)內(nèi)容，網(wǎng)絡(luò)上的HTML文檔使用超鏈接連接了起來，就像織成了一張網(wǎng)，網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，順著這張網(wǎng)爬行，每到一個(gè)網(wǎng)頁就用抓取程序?qū)⑦@個(gè)網(wǎng)頁抓下來，將內(nèi)容抽取出來，同時(shí)抽取超鏈接，作為進(jìn)一步爬行的線索。網(wǎng)絡(luò)爬蟲總是要從某個(gè)起點(diǎn)開始爬，這個(gè)起點(diǎn)叫做種子，你可以告訴它，也可以到一些網(wǎng)址列表網(wǎng)站上獲取。2.區(qū)別：網(wǎng)絡(luò)爬蟲分類通用爬蟲聚集爬蟲工作原理從一個(gè)或多個(gè)初始網(wǎng)頁的URL開始，獲取初始網(wǎng)頁的URL，抓取網(wǎng)頁的同時(shí)，從當(dāng)前網(wǎng)頁提取相關(guān)的URL放入隊(duì)列中，直到滿足程序的停止條件。根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接(爬行的范圍是受控的)放到待抓取的隊(duì)列中，通過一定的搜索策略從隊(duì)列中選擇下一步要抓取的URL，重復(fù)以上步驟，直到滿足程序的停止條件。不同點(diǎn)增加了一些網(wǎng)頁分析算法和網(wǎng)頁搜索策略對(duì)被爬蟲抓取的網(wǎng)頁將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢索，這一過程所得到的分析結(jié)果還可能對(duì)以后的抓取過程給出反饋和指導(dǎo)。缺點(diǎn)不同領(lǐng)域、不同背景的用戶有不同的檢索目的和需求，通用搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁。通用引擎的目標(biāo)是大的網(wǎng)絡(luò)覆蓋率。只支持關(guān)鍵字搜索，不支持根據(jù)語義的搜索。通用搜索引擎對(duì)一些像圖片、音頻等信息含量密集且具有一定結(jié)構(gòu)的數(shù)據(jù)無法獲取。對(duì)抓取目標(biāo)的描述或定義。對(duì)網(wǎng)頁和數(shù)據(jù)的分析和過濾。對(duì)URL的搜索策略。以上三個(gè)是需要解決的問題。算法廣度優(yōu)先算法現(xiàn)有聚焦爬蟲對(duì)抓取目標(biāo)的描述可分為基于目標(biāo)網(wǎng)頁特征、基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念3種?；谀繕?biāo)網(wǎng)頁特征的爬蟲所抓取、存儲(chǔ)并索引的對(duì)象一般為網(wǎng)站或網(wǎng)頁。根據(jù)種子樣本獲取方式可分為：（1）預(yù)先給定的初始抓取種子樣本；（2）預(yù)先給定的網(wǎng)頁分類目錄和與分類目錄對(duì)應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等； （3）通過用戶行為確定的抓取目標(biāo)樣例，分為：a)用戶瀏覽過程中顯示標(biāo)注的抓取樣本；b)通過用戶日志挖掘得到訪問模式及相關(guān)樣本。其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征，也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征，等等。3.算法/策略名稱網(wǎng)頁分析算法網(wǎng)頁搜索策略分類1．基于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)1>網(wǎng)頁粒度分析算法2>網(wǎng)站粒度分析算法3>網(wǎng)頁塊粒度分析算法2．基于網(wǎng)頁內(nèi)容1>針對(duì)以文本和超鏈接為主的網(wǎng)頁2>針對(duì)從結(jié)構(gòu)化的數(shù)據(jù)源動(dòng)態(tài)生成的網(wǎng)頁。3>針對(duì)數(shù)據(jù)介于第一類和第二類之間3．基于用戶訪問行為1．深度優(yōu)先策略2．廣度優(yōu)先策略3．最佳優(yōu)先策略一些算法的介紹1>網(wǎng)頁分析算法的網(wǎng)站，這樣的網(wǎng)站已經(jīng)涵蓋了大部分高質(zhì)量的站點(diǎn)，爬蟲程序就沿著這些鏈接爬行。在爬行過程中，最重要的就是判斷一個(gè)網(wǎng)頁是否已經(jīng)被爬行過。

在爬蟲開始的時(shí)候，需要給爬蟲輸送一個(gè)URL列表，這個(gè)列表中的URL地址便是爬蟲的起始位置，爬蟲從這些URL出發(fā)，開始了爬行