財經(jīng)大數(shù)據(jù)技術(shù)應用基礎(chǔ) 課件 網(wǎng)絡爬蟲概述

網(wǎng)絡爬蟲概述爬蟲的概念網(wǎng)絡爬蟲（又稱網(wǎng)頁蜘蛛、網(wǎng)絡機器人等），是一種按照一定的規(guī)則、自動抓取網(wǎng)絡數(shù)據(jù)的程序或者腳本。爬蟲技術(shù)曾經(jīng)被廣泛的應用于互聯(lián)網(wǎng)搜索引擎。使用過互聯(lián)網(wǎng)和瀏覽器的人都知道，網(wǎng)頁中除了供用戶閱讀的文字信息之外，還包含一些超鏈接。網(wǎng)絡爬蟲系統(tǒng)正是通過網(wǎng)頁中的超鏈接信息不斷獲得網(wǎng)絡上的其它頁面。網(wǎng)絡數(shù)據(jù)采集的過程就像一個爬蟲或者蜘蛛在網(wǎng)絡上漫游，所以才被形象的稱為網(wǎng)絡爬蟲或者網(wǎng)絡蜘蛛。爬蟲的應用網(wǎng)絡爬蟲的應用領(lǐng)域十分廣泛，經(jīng)常應用于以下方面：ABCDE搜索引擎輿情監(jiān)控新聞聚合行業(yè)數(shù)據(jù)社交應用爬蟲的原理網(wǎng)絡爬蟲的基本原理是用戶（客戶端）向服務器發(fā)送訪問請求，服務器接收到客戶端請求后，驗證請求的有效性，然后向客戶端發(fā)送響應內(nèi)容，客戶端接收并將內(nèi)容展示出來。簡單來說，爬蟲就是模擬用戶瀏覽網(wǎng)頁的操作，通過模擬瀏覽器向網(wǎng)站發(fā)送請求，獲取資源后提取有用的數(shù)據(jù)并保存。原則上只要瀏覽器能夠做到的事情，爬蟲都能做到。網(wǎng)絡爬蟲可以爬取的數(shù)據(jù)類型主要有以下幾種類型：HTML文檔01JSON格式化文本02二進制文件等03爬蟲的基本流程爬蟲的基本工作流程如下所示：通過URL向服務器發(fā)送HTTP請求。保存的方式可以是把數(shù)據(jù)存為文本，也可以把數(shù)據(jù)保存到數(shù)據(jù)庫，或者保存為特定的jpg、MP4等格式的文件。對返回的響應內(nèi)容進行解析，提取所需要的數(shù)據(jù)。若服務器正常響應，會返回一個Response，Response的內(nèi)容便是所要獲取的內(nèi)容，類型可能有HTML、JSON、二進制數(shù)據(jù)（圖片、視頻等）等類型。HTTP協(xié)議在訪問網(wǎng)頁時，服務器把網(wǎng)頁傳給瀏覽器，實際上就是把網(wǎng)頁的HTML代碼發(fā)送給瀏覽器，讓瀏覽器顯示出來，而瀏覽器和服務器之間的傳輸協(xié)議即是HTTP。HTTP協(xié)議即超文本傳輸協(xié)議，是互聯(lián)網(wǎng)上應用最為廣泛的一種網(wǎng)絡協(xié)議，所有網(wǎng)頁文件都必須遵守這一標準，設計HTTP最初的目的就是提供一種發(fā)布和接收HTML頁面的方法。HTTP協(xié)議是一種基于“請求與響應”模式的、無狀態(tài)的應用層協(xié)議，采用URL作為定位網(wǎng)絡資源的標識符。URLURL是統(tǒng)一資源定位符，也就是網(wǎng)址。URL是對互聯(lián)網(wǎng)上資源位置和訪問方法的一種簡潔表示，是互聯(lián)網(wǎng)上標準資源的地址。