python-網(wǎng)絡(luò)爬蟲

1、 HYPERLINK ”http：/wxg694175346/article/details/8922826 抓取網(wǎng)頁(yè)的含義和URL基本構(gòu)成1、網(wǎng)絡(luò)爬蟲的定義網(wǎng)絡(luò)爬蟲，即Web Spider，是一個(gè)很形象的名字。把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來(lái)爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)的。從網(wǎng)站某一個(gè)頁(yè)面（通常是首頁(yè)）開始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址,然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止.如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來(lái)。這樣看來(lái)，網(wǎng)絡(luò)爬

2、蟲就是一個(gè)爬行程序，一個(gè)抓取網(wǎng)頁(yè)的程序。網(wǎng)絡(luò)爬蟲的基本操作是抓取網(wǎng)頁(yè)。那么如何才能隨心所欲地獲得自己想要的頁(yè)面？我們先從URL開始。2、瀏覽網(wǎng)頁(yè)的過程抓取網(wǎng)頁(yè)的過程其實(shí)和讀者平時(shí)使用IE瀏覽器瀏覽網(wǎng)頁(yè)的道理是一樣的.比如說(shuō)你在瀏覽器的地址欄中輸入 這個(gè)地址.打開網(wǎng)頁(yè)的過程其實(shí)就是瀏覽器作為一個(gè)瀏覽的“客戶端”，向服務(wù)器端發(fā)送了 一次請(qǐng)求,把服務(wù)器端的文件“抓”到本地,再進(jìn)行解釋、展現(xiàn)。HTML是一種標(biāo)記語(yǔ)言，用標(biāo)簽標(biāo)記內(nèi)容并加以解析和區(qū)分。瀏覽器的功能是將獲取到的HTML代碼進(jìn)行解析，然后將原始的代碼轉(zhuǎn)變成我們直接看到的網(wǎng)站頁(yè)面。3、URI的概念和舉例簡(jiǎn)單的來(lái)講，URL就是在瀏覽器端輸入的 這

3、個(gè)字符串。在理解URL之前，首先要理解URI的概念。什么是URI？Web上每種可用的資源,如 HTML文檔、圖像、視頻片段、程序等都由一個(gè)通用資源標(biāo)志符(Universal Resource Identifier， URI）進(jìn)行定位.URI通常由三部分組成：訪問資源的命名機(jī)制；存放資源的主機(jī)名；資源自身 的名稱，由路徑表示。如下面的URI：http：/myhtml/html1223/我們可以這樣解釋它：這是一個(gè)可以通過HTTP協(xié)議訪問的資源,位于主機(jī) 上，通過路徑“/html/html40”訪問。4、URL的理解和舉例URL是URI的一個(gè)子集。它是Uniform Resource Locato

4、r的縮寫，譯為“統(tǒng)一資源定位 符”.通俗地說(shuō)，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務(wù)器程序上。采用URL可以用一種統(tǒng)一的格式來(lái)描述各種信息資源，包括文件、服務(wù)器的地址和目錄等。URL的格式由三部分組成：第一部分是協(xié)議（或稱為服務(wù)方式）。第二部分是存有該資源的主機(jī)IP地址（有時(shí)也包括端口號(hào))。第三部分是主機(jī)資源的具體地址,如目錄和文件名等。第一部分和第二部分用“:/”符號(hào)隔開，第二部分和第三部分用“/”符號(hào)隔開。第一部分和第二部分是不可缺少的,第三部分有時(shí)可以省略。下面來(lái)看看兩個(gè)URL的小例子。1。HTTP協(xié)議的URL示例：使用超級(jí)文本傳輸協(xié)議HTTP，

5、提供超級(jí)文本信息服務(wù)的資源。例：http：/channel/welcome。htm其計(jì)算機(jī)域名為。超級(jí)文本文件(文件類型為.html)是在目錄 /channel下的welcome.htm。這是中國(guó)人民日?qǐng)?bào)的一臺(tái)計(jì)算機(jī)。例：/talk/talk1。htm其計(jì)算機(jī)域名為。超級(jí)文本文件(文件類型為.html)是在目錄/talk下的talk1.htm.這是瑞得聊天室的地址,可由此進(jìn)入瑞得聊天室的第1室。2文件的URL用URL表示文件時(shí)，服務(wù)器方式用file表示，后面要有主機(jī)IP地址、文件的存取路 徑(即目錄）和文件名等信息。有時(shí)可以省略目錄和文件名，但“/”符號(hào)不能省略。例：file:/pub/fil

6、es/foobar.txt上面這個(gè)URL代表存放在主機(jī)上的pub/files/目錄下的一個(gè)文件，文件名是foobar.txt。例：file:/pub代表主機(jī)上的目錄/pub.例：file:/代表主機(jī)的根目錄.爬蟲最主要的處理對(duì)象就是URL，它根據(jù)URL地址取得所需要的文件內(nèi)容，然后對(duì)它 進(jìn)行進(jìn)一步的處理。因此，準(zhǔn)確地理解URL對(duì)理解網(wǎng)絡(luò)爬蟲至關(guān)重要。 HYPERLINK http：/wxg694175346/article/details/8923067 利用urllib2通過指定的URL抓取網(wǎng)頁(yè)內(nèi)容所謂網(wǎng)頁(yè)抓取，就是把URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中讀取出來(lái),保存到本地。類似于使用程序模

7、擬IE瀏覽器的功能,把URL作為HTTP請(qǐng)求的內(nèi)容發(fā)送到服務(wù)器端， 然后讀取服務(wù)器端的響應(yīng)資源。在Python中,我們使用urllib2這個(gè)組件來(lái)抓取網(wǎng)頁(yè)。urllib2是Python的一個(gè)獲取URLs(Uniform Resource Locators)的組件。它以u(píng)rlopen函數(shù)的形式提供了一個(gè)非常簡(jiǎn)單的接口。最簡(jiǎn)單的urllib2的應(yīng)用代碼只需要四行。我們新建一個(gè)文件urllib2_test01.py來(lái)感受一下urllib2的作用：python HYPERLINK ”/wxg694175346/article/details/8923067 o ”view plain view pla

8、in HYPERLINK http：/wxg694175346/article/details/8923067 o copy” copyimporturllib2response=urllib2.urlopen（/)html=response.read()printhtml按下F5可以看到運(yùn)行的結(jié)果：我們可以打開百度主頁(yè)，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器均可），會(huì)發(fā)現(xiàn)也是完全一樣的內(nèi)容.也就是說(shuō)，上面這四行代碼將我們?cè)L問百度時(shí)瀏覽器收到的代碼們?nèi)看蛴×顺鰜?lái).這就是一個(gè)最簡(jiǎn)單的urllib2的例子。除了http:”，URL同樣可以使用”ftp:”，”file:”等等來(lái)替代.HTTP是基

9、于請(qǐng)求和應(yīng)答機(jī)制的：客戶端提出請(qǐng)求，服務(wù)端提供應(yīng)答。urllib2用一個(gè)Request對(duì)象來(lái)映射你提出的HTTP請(qǐng)求.在它最簡(jiǎn)單的使用形式中你將用你要請(qǐng)求的地址創(chuàng)建一個(gè)Request對(duì)象，通過調(diào)用urlopen并傳入Request對(duì)象,將返回一個(gè)相關(guān)請(qǐng)求response對(duì)象，這個(gè)應(yīng)答對(duì)象如同一個(gè)文件對(duì)象,所以你可以在Response中調(diào)用。read（）。我們新建一個(gè)文件urllib2_test02.py來(lái)感受一下：python HYPERLINK /wxg694175346/article/details/8923067 o view plain” view plain HYPERLINK ”

10、/wxg694175346/article/details/8923067” o copy copyimporturllib2req=urllib2。Request(http：/）response=urllib2。urlopen(req）the_page=response.read（)printthe_page可以看到輸出的內(nèi)容和test01是一樣的.urllib2使用相同的接口處理所有的URL頭。例如你可以像下面那樣創(chuàng)建一個(gè)ftp請(qǐng)求。python HYPERLINK ”http：/wxg694175346/article/details/8923067” o ”view plain” vi

11、ew plain HYPERLINK ”http：/wxg694175346/article/details/8923067 o ”copy copyreq=urllib2。Request（ftp：/)在HTTP請(qǐng)求時(shí),允許你做額外的兩件事。1.發(fā)送data表單數(shù)據(jù)這個(gè)內(nèi)容相信做過Web端的都不會(huì)陌生，有時(shí)候你希望發(fā)送一些數(shù)據(jù)到URL(通常URL與CGI通用網(wǎng)關(guān)接口腳本,或其他WEB應(yīng)用程序掛接)。在HTTP中，這個(gè)經(jīng)常使用熟知的POST請(qǐng)求發(fā)送。這個(gè)通常在你提交一個(gè)HTML表單時(shí)由你的瀏覽器來(lái)做。并不是所有的POSTs都來(lái)源于表單，你能夠使用POST提交任意的數(shù)據(jù)到你自己的程序.一般的HTM

12、L表單，data需要編碼成標(biāo)準(zhǔn)形式.然后做為data參數(shù)傳到Request對(duì)象.編碼工作使用urllib的函數(shù)而非urllib2。我們新建一個(gè)文件urllib2_test03。py來(lái)感受一下：python HYPERLINK /wxg694175346/article/details/8923067 o view plain view plain HYPERLINK ”http：/wxg694175346/article/details/8923067 o copy copyimporturllibimporturllib2url=http：/register。cgivalues=name：W

13、HY，location:SDU,language：Pythondata=urllib.urlencode（values)編碼工作req=urllib2.Request(url，data）#發(fā)送請(qǐng)求同時(shí)傳data表單response=urllib2.urlopen（req）接受反饋的信息the_page=response.read(）#讀取反饋的內(nèi)容如果沒有傳送data參數(shù),urllib2使用GET方式的請(qǐng)求。GET和POST請(qǐng)求的不同之處是POST請(qǐng)求通常有”副作用,它們會(huì)由于某種途徑改變系統(tǒng)狀態(tài)(例如提交成堆垃圾到你的門口)。Data同樣可以通過在Get請(qǐng)求的URL本身上面編碼來(lái)傳送。pyt

14、hon HYPERLINK http：/wxg694175346/article/details/8923067 o view plain” view plain HYPERLINK ”http：/wxg694175346/article/details/8923067 o copy copyimporturllib2importurllibdata=dataname=WHYdatalocation=SDUdatalanguage=Pythonurl_values=urllib.urlencode(data)printurl_valuesname=Somebody+Herelanguage=P

15、ythonlocation=Northamptonurl=http：/example.cgifull_url=url+?+url_valuesdata=urllib2.open(full_url)這樣就實(shí)現(xiàn)了Data數(shù)據(jù)的Get傳送。2。設(shè)置Headers到http請(qǐng)求有一些站點(diǎn)不喜歡被程序（非人為訪問）訪問,或者發(fā)送不同版本的內(nèi)容到不同的瀏覽器。默認(rèn)的urllib2把自己作為“Pythonurllib/x.y(x和y是Python主版本和次版本號(hào)，例如Pythonurllib/2。7)，這個(gè)身份可能會(huì)讓站點(diǎn)迷惑，或者干脆不工作。瀏覽器確認(rèn)自己身份是通過UserAgent頭,當(dāng)你創(chuàng)建了一個(gè)請(qǐng)求

16、對(duì)象，你可以給他一個(gè)包含頭數(shù)據(jù)的字典。下面的例子發(fā)送跟上面一樣的內(nèi)容，但把自身模擬成Internet Explorer。python HYPERLINK /wxg694175346/article/details/8923067 o view plain view plain HYPERLINK http：/wxg694175346/article/details/8923067” o ”copy copyimporturllibimporturllib2url=http：/cgi-bin/register.cgiuser_agent=Mozilla/4.0(compatible；MSIE5。

17、5；WindowsNT)values=name:WHY，location：SDU,language：Pythonheaders=User-Agent：user_agentdata=urllib。urlencode(values）req=urllib2.Request（url,data，headers)response=urllib2.urlopen(req)the_page=response.read（) HYPERLINK ”http：/wxg694175346/article/details/8923725” 異常的處理和HTTP狀態(tài)碼的分類先來(lái)說(shuō)一說(shuō)HTTP的異常處理問題.當(dāng)urlope

18、n不能夠處理一個(gè)response時(shí)，產(chǎn)生urlError。不過通常的Python APIs異常如ValueError，TypeError等也會(huì)同時(shí)產(chǎn)生。HTTPError是urlError的子類,通常在特定HTTP URLs中產(chǎn)生。1.URLError通常,URLError在沒有網(wǎng)絡(luò)連接（沒有路由到特定服務(wù)器)，或者服務(wù)器不存在的情況下產(chǎn)生。這種情況下，異常同樣會(huì)帶有”reason”屬性，它是一個(gè)tuple（可以理解為不可變的數(shù)組），包含了一個(gè)錯(cuò)誤號(hào)和一個(gè)錯(cuò)誤信息。我們建一個(gè)urllib2_test06.py來(lái)感受一下異常的處理：python HYPERLINK /wxg694175346/a

19、rticle/details/8923725” o view plain” view plain HYPERLINK /wxg694175346/article/details/8923725” o ”copy copyimporturllib2req=urllib2。Request（http：/）try:urllib2。urlopen（req）excepturllib2。URLError，e:printe.reason按下F5，可以看到打印出來(lái)的內(nèi)容是：Errno 11001 getaddrinfo failed也就是說(shuō)，錯(cuò)誤號(hào)是11001,內(nèi)容是getaddrinfo failed2.HT

20、TPError服務(wù)器上每一個(gè)HTTP 應(yīng)答對(duì)象response包含一個(gè)數(shù)字”狀態(tài)碼”。有時(shí)狀態(tài)碼指出服務(wù)器無(wú)法完成請(qǐng)求。默認(rèn)的處理器會(huì)為你處理一部分這種應(yīng)答.例如:假如response是一個(gè)”重定向”，需要客戶端從別的地址獲取文檔,urllib2將為你處理.其他不能處理的，urlopen會(huì)產(chǎn)生一個(gè)HTTPError。典型的錯(cuò)誤包含404（頁(yè)面無(wú)法找到），403（請(qǐng)求禁止）,和401”(帶驗(yàn)證請(qǐng)求）。HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應(yīng)的狀態(tài)。比如客戶端向服務(wù)器發(fā)送請(qǐng)求，如果成功地獲得請(qǐng)求的資源，則返回的狀態(tài)碼為200，表示響應(yīng)成功。如果請(qǐng)求的資源不存在， 則通常返回404錯(cuò)誤.HTTP狀

21、態(tài)碼通常分為5種類型,分別以15五個(gè)數(shù)字開頭，由3位整數(shù)組成：-200：請(qǐng)求成功 處理方式：獲得響應(yīng)的內(nèi)容，進(jìn)行處理201：請(qǐng)求完成，結(jié)果是創(chuàng)建了新資源。新創(chuàng)建資源的URI可在響應(yīng)的實(shí)體中得到 處理方式：爬蟲中不會(huì)遇到202：請(qǐng)求被接受，但處理尚未完成 處理方式：阻塞等待204：服務(wù)器端已經(jīng)實(shí)現(xiàn)了請(qǐng)求,但是沒有返回新的信 息。如果客戶是用戶代理，則無(wú)須為此更新自身的文檔視圖. 處理方式：丟棄300:該狀態(tài)碼不被HTTP/1。0的應(yīng)用程序直接使用， 只是作為3XX類型回應(yīng)的默認(rèn)解釋。存在多個(gè)可用的被請(qǐng)求資源。 處理方式：若程序中能夠處理,則進(jìn)行進(jìn)一步處理,如果程序中不能處理，則丟棄301：請(qǐng)求到

22、的資源都會(huì)分配一個(gè)永久的URL，這樣就可以在將來(lái)通過該URL來(lái)訪問此資源 處理方式：重定向到分配的URL302:請(qǐng)求到的資源在一個(gè)不同的URL處臨時(shí)保存 處理方式：重定向到臨時(shí)的URL304 請(qǐng)求的資源未更新 處理方式：丟棄400 非法請(qǐng)求 處理方式：丟棄401 未授權(quán) 處理方式：丟棄403 禁止 處理方式:丟棄404 沒有找到 處理方式：丟棄5XX 回應(yīng)代碼以“5開頭的狀態(tài)碼表示服務(wù)器端發(fā)現(xiàn)自己出現(xiàn)錯(cuò)誤，不能繼續(xù)執(zhí)行請(qǐng)求 處理方式：丟棄-HTTPError實(shí)例產(chǎn)生后會(huì)有一個(gè)整型code屬性，是服務(wù)器發(fā)送的相關(guān)錯(cuò)誤號(hào)。Error Codes錯(cuò)誤碼因?yàn)槟J(rèn)的處理器處理了重定向(300以外號(hào)碼)，

23、并且100-299范圍的號(hào)碼指示成功，所以你只能看到400599的錯(cuò)誤號(hào)碼.BaseHTTPServer。BaseHTTPRequestHandler。response是一個(gè)很有用的應(yīng)答號(hào)碼字典，顯示了HTTP協(xié)議使用的所有的應(yīng)答號(hào)。當(dāng)一個(gè)錯(cuò)誤號(hào)產(chǎn)生后,服務(wù)器返回一個(gè)HTTP錯(cuò)誤號(hào),和一個(gè)錯(cuò)誤頁(yè)面。你可以使用HTTPError實(shí)例作為頁(yè)面返回的應(yīng)答對(duì)象response。這表示和錯(cuò)誤屬性一樣，它同樣包含了read,geturl,和info方法。我們建一個(gè)urllib2_test07。py來(lái)感受一下:python HYPERLINK ”http：/wxg694175346/article/deta

24、ils/8923725 o view plain view plain HYPERLINK ”http：/wxg694175346/article/details/8923725” o ”copy” copyimporturllib2req=urllib2。Request(/callmewhy)try：urllib2.urlopen（req）excepturllib2.URLError，e:printe.code#printe。read()按下F5可以看見輸出了404的錯(cuò)誤碼，也就說(shuō)沒有找到這個(gè)頁(yè)面。3.Wrapping所以如果你想為HTTPError或URLError做準(zhǔn)備,將有兩個(gè)基本的辦

25、法.推薦使用第二種.我們建一個(gè)urllib2_test08.py來(lái)示范一下第一種異常處理的方案：python HYPERLINK ”/wxg694175346/article/details/8923725” o view plain” view plain HYPERLINK http：/wxg694175346/article/details/8923725 o copy” copyfromurllib2importRequest,urlopen,URLError，HTTPErrorreq=Request（http：/callmewhy）try:response=urlopen(req)e

26、xceptHTTPError,e:printTheservercouldntfulfilltherequest.printErrorcode:，e。codeexceptURLError,e:printWefailedtoreachaserver.printReason：，e。reasonelse：printNoexceptionwasraised。everythingisfine和其他語(yǔ)言相似,try之后捕獲異常并且將其內(nèi)容打印出來(lái)。這里要注意的一點(diǎn)，except HTTPError 必須在第一個(gè)，否則except URLError將同樣接受到HTTPError。因?yàn)镠TTPError是URL

27、Error的子類，如果URLError在前面它會(huì)捕捉到所有的URLError（包括HTTPError）。我們建一個(gè)urllib2_test09。py來(lái)示范一下第二種異常處理的方案：python HYPERLINK ”http：/wxg694175346/article/details/8923725 o view plain” view plain HYPERLINK http：/wxg694175346/article/details/8923725 o copy copyfromurllib2importRequest，urlopen，URLError，HTTPErrorreq=Reque

28、st（http：/callmewhy)try：response=urlopen(req）exceptURLError,e:ifhasattr（e,reason):printWefailedtoreachaserver。printReason：，e。reasonelifhasattr(e，code）：printTheservercouldntfulfilltherequest。printErrorcode：,e.codeelse：printNoexceptionwasraised.#everythingisfine HYPERLINK ”http：/wxg694175346/article/de

29、tails/8924889” Opener與Handler的介紹和實(shí)例應(yīng)用在開始后面的內(nèi)容之前，先來(lái)解釋一下urllib2中的兩個(gè)個(gè)方法：info and geturlurlopen返回的應(yīng)答對(duì)象response(或者HTTPError實(shí)例）有兩個(gè)很有用的方法info(）和geturl（）1。geturl(）：這個(gè)返回獲取的真實(shí)的URL，這個(gè)很有用，因?yàn)閡rlopen（或者opener對(duì)象使用的）或許會(huì)有重定向。獲取的URL或許跟請(qǐng)求URL不同。以人人中的一個(gè)超級(jí)鏈接為例，我們建一個(gè)urllib2_test10.py來(lái)比較一下原始URL和重定向的鏈接:python HYPERLINK /wxg

30、694175346/article/details/8924889” o ”view plain view plain HYPERLINK ”http：/wxg694175346/article/details/8924889” o ”copy copyfromurllib2importRequest，urlopen，URLError，HTTPErrorold_url=/b1UZuPreq=Request(old_url)response=urlopen(req)printOldurl:+old_urlprintRealurl：+response.geturl（）運(yùn)行之后可以看到真正的鏈接指向

31、的網(wǎng)址：2。info()：這個(gè)返回對(duì)象的字典對(duì)象，該字典描述了獲取的頁(yè)面情況。通常是服務(wù)器發(fā)送的特定頭headers.目前是httplib。HTTPMessage 實(shí)例。經(jīng)典的headers包含”Content-length”，Contenttype，和其他內(nèi)容。我們建一個(gè)urllib2_test11.py來(lái)測(cè)試一下info的應(yīng)用：python HYPERLINK /wxg694175346/article/details/8924889 o ”view plain view plain HYPERLINK ”/wxg694175346/article/details/8924889 o ”c

32、opy copyfromurllib2importRequest，urlopen，URLError，HTTPErrorold_url=http：/req=Request（old_url）response=urlopen(req）printInfo（):print（）運(yùn)行的結(jié)果如下,可以看到頁(yè)面的相關(guān)信息:下面來(lái)說(shuō)一說(shuō)urllib2中的兩個(gè)重要概念:Openers和Handlers。1.Openers：當(dāng)你獲取一個(gè)URL你使用一個(gè)opener（一個(gè)urllib2.OpenerDirector的實(shí)例)。正常情況下,我們使用默認(rèn)opener：通過urlopen.但你能夠創(chuàng)建個(gè)性的openers。2.

33、Handles：Openers使用處理器handlers,所有的“繁重”工作由handlers處理。每個(gè)handlers知道如何通過特定協(xié)議打開URLs,或者如何處理URL打開時(shí)的各個(gè)方面。例如HTTP重定向或者HTTP cookies。如果你希望用特定處理器獲取URLs你會(huì)想創(chuàng)建一個(gè)openers，例如獲取一個(gè)能處理cookie的opener，或者獲取一個(gè)不重定向的opener.要?jiǎng)?chuàng)建一個(gè) opener,可以實(shí)例化一個(gè)OpenerDirector,然后調(diào)用.add_handler(some_handler_instance）。同樣,可以使用build_opener，這是一個(gè)更加方便的函數(shù)，用

34、來(lái)創(chuàng)建opener對(duì)象,他只需要一次函數(shù)調(diào)用。build_opener默認(rèn)添加幾個(gè)處理器，但提供快捷的方法來(lái)添加或更新默認(rèn)處理器。其他的處理器handlers你或許會(huì)希望處理代理，驗(yàn)證，和其他常用但有點(diǎn)特殊的情況。install_opener 用來(lái)創(chuàng)建(全局）默認(rèn)opener。這個(gè)表示調(diào)用urlopen將使用你安裝的opener。Opener對(duì)象有一個(gè)open方法。該方法可以像urlopen函數(shù)那樣直接用來(lái)獲取urls：通常不必調(diào)用install_opener，除了為了方便。說(shuō)完了上面兩個(gè)內(nèi)容，下面我們來(lái)看一下基本認(rèn)證的內(nèi)容,這里會(huì)用到上面提及的Opener和Handler。Basic Aut

35、hentication 基本驗(yàn)證為了展示創(chuàng)建和安裝一個(gè)handler，我們將使用HTTPBasicAuthHandler。當(dāng)需要基礎(chǔ)驗(yàn)證時(shí),服務(wù)器發(fā)送一個(gè)header（401錯(cuò)誤碼） 請(qǐng)求驗(yàn)證.這個(gè)指定了scheme 和一個(gè)realm，看起來(lái)像這樣：Wwwauthenticate： SCHEME realm=REALM.例如Wwwauthenticate： Basic realm=cPanel Users客戶端必須使用新的請(qǐng)求，并在請(qǐng)求頭里包含正確的姓名和密碼。這是“基礎(chǔ)驗(yàn)證”，為了簡(jiǎn)化這個(gè)過程，我們可以創(chuàng)建一個(gè)HTTPBasicAuthHandler的實(shí)例,并讓opener使用這個(gè)handl

36、er就可以啦.HTTPBasicAuthHandler使用一個(gè)密碼管理的對(duì)象來(lái)處理URLs和realms來(lái)映射用戶名和密碼。如果你知道realm（從服務(wù)器發(fā)送來(lái)的頭里)是什么，你就能使用HTTPPasswordMgr.通常人們不關(guān)心realm是什么。那樣的話，就能用方便的HTTPPasswordMgrWithDefaultRealm。這個(gè)將在你為URL指定一個(gè)默認(rèn)的用戶名和密碼。這將在你為特定realm提供一個(gè)其他組合時(shí)得到提供。我們通過給realm參數(shù)指定None提供給add_password來(lái)指示這種情況.最高層次的URL是第一個(gè)要求驗(yàn)證的URL。你傳給.add_password（)更深層

37、次的URLs將同樣合適.說(shuō)了這么多廢話,下面來(lái)用一個(gè)例子演示一下上面說(shuō)到的內(nèi)容。我們建一個(gè)urllib2_test12。py來(lái)測(cè)試一下info的應(yīng)用：python HYPERLINK http：/wxg694175346/article/details/8924889” o ”view plain” view plain HYPERLINK /wxg694175346/article/details/8924889 o ”copy copy#*-coding：utf8*-importurllib2創(chuàng)建一個(gè)密碼管理者password_mgr=urllib2.HTTPPasswordMgrWith

38、DefaultRealm（）#添加用戶名和密碼top_level_url=/foo/”#如果知道realm，我們可以使用他代替None.#password_mgr。add_password(None,top_level_url，username，password)password_mgr.add_password（None，top_level_url，why，1223)#創(chuàng)建了一個(gè)新的handlerhandler=urllib2.HTTPBasicAuthHandler(password_mgr）創(chuàng)建”opener(OpenerDirector實(shí)例)opener=urllib2。build_o

39、pener（handler）a_url=/#使用opener獲取一個(gè)URLopener.open（a_url)#安裝opener。#現(xiàn)在所有調(diào)用urllib2.urlopen將用我們的opener.urllib2.install_opener(opener)注意：以上的例子我們僅僅提供我們的HHTPBasicAuthHandler給build_opener。默認(rèn)的openers有正常狀況的handlers：ProxyHandler，UnknownHandler，HTTPHandler，HTTPDefaultErrorHandler， HTTPRedirectHandler，F(xiàn)TPHandler

40、， FileHandler， HTTPErrorProcessor。代碼中的top_level_url 實(shí)際上可以是完整URL（包含http：，以及主機(jī)名及可選的端口號(hào))。例如：http：/。也可以是一個(gè)“authority”(即主機(jī)名和可選的包含端口號(hào)）.例如:“” or “：8080。后者包含了端口號(hào)。 HYPERLINK /wxg694175346/article/details/8925978” urllib2的使用細(xì)節(jié)與抓站技巧前面說(shuō)到了urllib2的簡(jiǎn)單入門，下面整理了一部分urllib2的使用細(xì)節(jié)。1。Proxy 的設(shè)置urllib2 默認(rèn)會(huì)使用環(huán)境變量 http_proxy

41、來(lái)設(shè)置 HTTP Proxy。如果想在程序中明確控制 Proxy 而不受環(huán)境變量的影響，可以使用代理.新建test14來(lái)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的代理Demo：python HYPERLINK /wxg694175346/article/details/8925978 o ”view plain” view plain HYPERLINK /wxg694175346/article/details/8925978 o ”copy copyimporturllib2enable_proxy=Trueproxy_handler=urllib2。ProxyHandler(http”:http：/some：808

42、0)null_proxy_handler=urllib2.ProxyHandler（）ifenable_proxy：opener=urllib2.build_opener(proxy_handler）else：opener=urllib2。build_opener（null_proxy_handler)urllib2。install_opener(opener）這里要注意的一個(gè)細(xì)節(jié),使用 urllib2.install_opener（) 會(huì)設(shè)置 urllib2 的全局 opener 。這樣后面的使用會(huì)很方便,但不能做更細(xì)致的控制,比如想在程序中使用兩個(gè)不同的 Proxy 設(shè)置等。比較好的做法是

43、不使用 install_opener 去更改全局的設(shè)置，而只是直接調(diào)用 opener 的 open 方法代替全局的 urlopen 方法。2.Timeout 設(shè)置在老版 Python 中（Python2。6前）,urllib2 的 API 并沒有暴露 Timeout 的設(shè)置，要設(shè)置 Timeout 值,只能更改 Socket 的全局 Timeout 值.python HYPERLINK ”/wxg694175346/article/details/8925978” o view plain view plain HYPERLINK http：/wxg694175346/article/deta

44、ils/8925978 o copy” copyimporturllib2importsocketsocket.setdefaulttimeout(10)10秒鐘后超時(shí)urllib2.socket。setdefaulttimeout(10）#另一種方式在 Python 2.6 以后，超時(shí)可以通過 urllib2。urlopen() 的 timeout 參數(shù)直接設(shè)置。python HYPERLINK /wxg694175346/article/details/8925978” o view plain view plain HYPERLINK /wxg694175346/article/deta

45、ils/8925978” o copy” copyimporturllib2response=urllib2.urlopen(http：/，timeout=10)3。在 HTTP Request 中加入特定的 Header要加入 header，需要使用 Request 對(duì)象：python HYPERLINK http：/wxg694175346/article/details/8925978” o ”view plain view plain HYPERLINK http：/wxg694175346/article/details/8925978” o copy” copyimporturll

46、ib2request=urllib2.Request(http：/）request。add_header(UserAgent，fake-client)response=urllib2.urlopen(request）printresponse。read(）對(duì)有些 header 要特別留意，服務(wù)器會(huì)針對(duì)這些 header 做檢查User-Agent : 有些服務(wù)器或 Proxy 會(huì)通過該值來(lái)判斷是否是瀏覽器發(fā)出的請(qǐng)求ContentType : 在使用 REST 接口時(shí)，服務(wù)器會(huì)檢查該值，用來(lái)確定 HTTP Body 中的內(nèi)容該怎樣解析。常見的取值有:application/xml ： 在 XML

47、 RPC,如 RESTful/SOAP 調(diào)用時(shí)使用application/json ： 在 JSON RPC 調(diào)用時(shí)使用application/x-wwwformurlencoded ： 瀏覽器提交 Web 表單時(shí)使用在使用服務(wù)器提供的 RESTful 或 SOAP 服務(wù)時(shí)， Content-Type 設(shè)置錯(cuò)誤會(huì)導(dǎo)致服務(wù)器拒絕服務(wù)4.Redirecturllib2 默認(rèn)情況下會(huì)針對(duì) HTTP 3XX 返回碼自動(dòng)進(jìn)行 redirect 動(dòng)作，無(wú)需人工配置。要檢測(cè)是否發(fā)生了 redirect 動(dòng)作,只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了.pyt

48、hon HYPERLINK ”http：/wxg694175346/article/details/8925978” o ”view plain” view plain HYPERLINK ”http：/wxg694175346/article/details/8925978” o ”copy copyimporturllib2my_url=http：/response=urllib2.urlopen(my_url)redirected=response。geturl(）=my_urlprintredirectedmy_url=/b1UZuPresponse=urllib2。urlopen(m

49、y_url)redirected=response.geturl（）=my_urlprintredirected如果不想自動(dòng) redirect，除了使用更低層次的 httplib 庫(kù)之外,還可以自定義HTTPRedirectHandler 類.python HYPERLINK ”http：/wxg694175346/article/details/8925978” o view plain view plain HYPERLINK ”/wxg694175346/article/details/8925978” o ”copy” copyimporturllib2classRedirectHan

50、dler(urllib2。HTTPRedirectHandler）：defhttp_error_301(self，req，fp，code，msg，headers)：print301passdefhttp_error_302(self,req，fp，code,msg，headers）：print303”passopener=urllib2.build_opener(RedirectHandler)opener。open(/b1UZuP）5。Cookieurllib2 對(duì) Cookie 的處理也是自動(dòng)的。如果需要得到某個(gè) Cookie 項(xiàng)的值，可以這么做：python HYPERLINK http

51、：/wxg694175346/article/details/8925978” o view plain” view plain HYPERLINK http：/wxg694175346/article/details/8925978 o copy” copyimporturllib2importcookielibcookie=cookielib.CookieJar(）opener=urllib2。build_opener(urllib2.HTTPCookieProcessor(cookie）)response=opener。open(http：/)foritemincookie：printN

52、ame=+printValue=+item。value運(yùn)行之后就會(huì)輸出訪問百度的Cookie值：6.使用 HTTP 的 PUT 和 DELETE 方法urllib2 只支持 HTTP 的 GET 和 POST 方法，如果要使用 HTTP PUT 和 DELETE ,只能使用比較低層的 httplib 庫(kù).雖然如此，我們還是能通過下面的方式，使 urllib2 能夠發(fā)出 PUT 或DELETE 的請(qǐng)求:python HYPERLINK http：/wxg694175346/article/details/8925978” o ”view plain view plain HYPERLINK ”/

53、wxg694175346/article/details/8925978 o copy” copyimporturllib2request=urllib2.Request（uri，data=data）request。get_method=lambda：PUT#orDELETEresponse=urllib2.urlopen（request)7.得到 HTTP 的返回碼對(duì)于 200 OK 來(lái)說(shuō)，只要使用 urlopen 返回的 response 對(duì)象的 getcode(） 方法就可以得到 HTTP 的返回碼。但對(duì)其它返回碼來(lái)說(shuō)，urlopen 會(huì)拋出異常.這時(shí)候,就要檢查異常對(duì)象的 code 屬

54、性了：python HYPERLINK /wxg694175346/article/details/8925978” o ”view plain view plain HYPERLINK http：/wxg694175346/article/details/8925978” o copy copyimporturllib2try：response=urllib2.urlopen（http：/why）excepturllib2.HTTPError，e：printe。code8。Debug Log使用 urllib2 時(shí)，可以通過下面的方法把 debug Log 打開，這樣收發(fā)包的內(nèi)容就會(huì)在屏幕上

55、打印出來(lái),方便調(diào)試，有時(shí)可以省去抓包的工作python HYPERLINK ”/wxg694175346/article/details/8925978” o view plain view plain HYPERLINK /wxg694175346/article/details/8925978” o ”copy copyimporturllib2httpHandler=urllib2。HTTPHandler（debuglevel=1）httpsHandler=urllib2.HTTPSHandler(debuglevel=1）opener=urllib2。build_opener(http

56、Handler，httpsHandler)urllib2.install_opener(opener)response=urllib2.urlopen（）這樣就可以看到傳輸?shù)臄?shù)據(jù)包內(nèi)容了：9.表單的處理登錄必要填表，表單怎么填？首先利用工具截取所要填表的內(nèi)容。比如我一般用firefox+httpfox插件來(lái)看看自己到底發(fā)送了些什么包。以verycd為例，先找到自己發(fā)的POST請(qǐng)求,以及POST表單項(xiàng)?？梢钥吹絭erycd的話需要填username，password,continueURI,fk，login_submit這幾項(xiàng)，其中fk是隨機(jī)生成的（其實(shí)不太隨機(jī)，看上去像是把epoch時(shí)間經(jīng)過簡(jiǎn)

57、單的編碼生成的），需要從網(wǎng)頁(yè)獲取，也就是說(shuō)得先訪問一次網(wǎng)頁(yè)，用正則表達(dá)式等工具截取返回?cái)?shù)據(jù)中的fk項(xiàng).continueURI顧名思義可以隨便寫,login_submit是固定的，這從源碼可以看出。還有username,password那就很顯然了：python HYPERLINK ”http：/wxg694175346/article/details/8925978” o view plain view plain HYPERLINK http：/wxg694175346/article/details/8925978” o ”copy copy-*coding：utf-8-importurl

58、libimporturllib2postdata=urllib.urlencode（username:汪小光,password:why888,continueURI:http：/，fk：,login_submit:登錄)req=urllib2。Request(url=http：/signin，data=postdata）result=urllib2.urlopen（req)printresult.read(）10。偽裝成瀏覽器訪問某些網(wǎng)站反感爬蟲的到訪，于是對(duì)爬蟲一律拒絕請(qǐng)求這時(shí)候我們需要偽裝成瀏覽器，這可以通過修改http包中的header來(lái)實(shí)現(xiàn)python HYPERLINK /wxg69

59、4175346/article/details/8925978” o view plain” view plain HYPERLINK http：/wxg694175346/article/details/8925978 o copy” copyheaders=User-Agent：Mozilla/5.0（Windows；U；WindowsNT6。1；enUS；rv：1.9。1。6）Gecko/20091201Firefox/3.5.6req=urllib2。Request（url=http：/signin/*/，data=postdata,headers=headers）。.11。對(duì)付反盜鏈

60、某些站點(diǎn)有所謂的反盜鏈設(shè)置,其實(shí)說(shuō)穿了很簡(jiǎn)單，就是檢查你發(fā)送請(qǐng)求的header里面，referer站點(diǎn)是不是他自己,所以我們只需要像把headers的referer改成該網(wǎng)站即可，以cnbeta為例：.。headers = Referer：http：/articles.headers是一個(gè)dict數(shù)據(jù)結(jié)構(gòu)，你可以放入任何想要的header，來(lái)做一些偽裝。例如，有些網(wǎng)站喜歡讀取header中的X-ForwardedFor來(lái)看看人家的真實(shí)IP,可以直接把XForwardeFor改了。 HYPERLINK ”http：/wxg694175346/article/details/8927832” 一個(gè)