python 網(wǎng)絡(luò)爬蟲

1、抓取網(wǎng)頁(yè)的含義和URL基本構(gòu)成1、網(wǎng)絡(luò)爬蟲的定義網(wǎng)絡(luò)爬蟲，即Web Spider，是一個(gè)很形象的名字。把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁(yè)的鏈接地址來尋找網(wǎng)頁(yè)的。從網(wǎng)站某一個(gè)頁(yè)面（通常是首頁(yè)）開始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來。這樣看來，網(wǎng)絡(luò)爬蟲就是一個(gè)爬行程序，一個(gè)抓取網(wǎng)頁(yè)的程序。網(wǎng)絡(luò)爬蟲的基本操作是抓取網(wǎng)頁(yè)。那么如何才能隨心所欲地獲得自己想要的頁(yè)面

2、？我們先從URL開始。2、瀏覽網(wǎng)頁(yè)的過程抓取網(wǎng)頁(yè)的過程其實(shí)和讀者平時(shí)使用IE瀏覽器瀏覽網(wǎng)頁(yè)的道理是一樣的。比如說你在瀏覽器的地址欄中輸入 這個(gè)地址。打開網(wǎng)頁(yè)的過程其實(shí)就是瀏覽器作為一個(gè)瀏覽的“客戶端”，向服務(wù)器端發(fā)送了 一次請(qǐng)求，把服務(wù)器端的文件“抓”到本地，再進(jìn)行解釋、展現(xiàn)。HTML是一種標(biāo)記語(yǔ)言，用標(biāo)簽標(biāo)記內(nèi)容并加以解析和區(qū)分。瀏覽器的功能是將獲取到的HTML代碼進(jìn)行解析，然后將原始的代碼轉(zhuǎn)變成我們直接看到的網(wǎng)站頁(yè)面。3、URI的概念和舉例簡(jiǎn)單的來講，URL就是在瀏覽器端輸入的 這個(gè)字符串。在理解URL之前，首先要理解URI的概念。什么是URI？Web上每種可用的資源，如 HTML文檔、圖

3、像、視頻片段、程序等都由一個(gè)通用資源標(biāo)志符(Universal Resource Identifier， URI)進(jìn)行定位。URI通常由三部分組成：訪問資源的命名機(jī)制；存放資源的主機(jī)名；資源自身 的名稱，由路徑表示。如下面的URI：我們可以這樣解釋它：這是一個(gè)可以通過HTTP協(xié)議訪問的資源，位于主機(jī) 上，通過路徑“/html/html40”訪問。4、URL的理解和舉例URL是URI的一個(gè)子集。它是Uniform Resource Locator的縮寫，譯為“統(tǒng)一資源定位 符”。通俗地說，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務(wù)器程序上。采用URL可以用一

4、種統(tǒng)一的格式來描述各種信息資源，包括文件、服務(wù)器的地址和目錄等。URL的格式由三部分組成：第一部分是協(xié)議(或稱為服務(wù)方式)。第二部分是存有該資源的主機(jī)IP地址(有時(shí)也包括端口號(hào))。第三部分是主機(jī)資源的具體地址，如目錄和文件名等。第一部分和第二部分用“:/”符號(hào)隔開，第二部分和第三部分用“/”符號(hào)隔開。第一部分和第二部分是不可缺少的，第三部分有時(shí)可以省略。下面來看看兩個(gè)URL的小例子。1.HTTP協(xié)議的URL示例：使用超級(jí)文本傳輸協(xié)議HTTP，提供超級(jí)文本信息服務(wù)的資源。例：其計(jì)算機(jī)域名為。超級(jí)文本文件(文件類型為.html)是在目錄 /channel下的welcome.htm。這是中國(guó)人民日?qǐng)?bào)

5、的一臺(tái)計(jì)算機(jī)。例：其計(jì)算機(jī)域名為。超級(jí)文本文件(文件類型為.html)是在目錄/talk下的talk1.htm。這是瑞得聊天室的地址，可由此進(jìn)入瑞得聊天室的第1室。2文件的URL用URL表示文件時(shí)，服務(wù)器方式用file表示，后面要有主機(jī)IP地址、文件的存取路 徑(即目錄)和文件名等信息。有時(shí)可以省略目錄和文件名，但“/”符號(hào)不能省略。例：file:/上面這個(gè)URL代表存放在主機(jī)上的pub/files/目錄下的一個(gè)文件，文件名是foobar.txt。例：file:/代表主機(jī)上的目錄/pub。例：file:/代表主機(jī)的根目錄。爬蟲最主要的處理對(duì)象就是URL，它根據(jù)URL地址取得所需要的文件內(nèi)容，然

6、后對(duì)它 進(jìn)行進(jìn)一步的處理。因此，準(zhǔn)確地理解URL對(duì)理解網(wǎng)絡(luò)爬蟲至關(guān)重要。利用urllib2通過指定的URL抓取網(wǎng)頁(yè)內(nèi)容所謂網(wǎng)頁(yè)抓取，就是把URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中讀取出來，保存到本地。類似于使用程序模擬IE瀏覽器的功能，把URL作為HTTP請(qǐng)求的內(nèi)容發(fā)送到服務(wù)器端， 然后讀取服務(wù)器端的響應(yīng)資源。在Python中，我們使用urllib2這個(gè)組件來抓取網(wǎng)頁(yè)。urllib2是Python的一個(gè)獲取URLs(Uniform Resource Locators)的組件。它以u(píng)rlopen函數(shù)的形式提供了一個(gè)非常簡(jiǎn)單的接口。最簡(jiǎn)單的urllib2的應(yīng)用代碼只需要四行。我們新建一個(gè)文件urlli

7、b2_test01.py來感受一下urllib2的作用：pythonview plaincopy1. importurllib22. response=urllib2.urlopen(3. html=response.read()4. printhtml按下F5可以看到運(yùn)行的結(jié)果：我們可以打開百度主頁(yè)，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器均可），會(huì)發(fā)現(xiàn)也是完全一樣的內(nèi)容。也就是說，上面這四行代碼將我們?cè)L問百度時(shí)瀏覽器收到的代碼們?nèi)看蛴×顺鰜?。這就是一個(gè)最簡(jiǎn)單的urllib2的例子。除了http:，URL同樣可以使用ftp:，file:等等來替代。HTTP是基于請(qǐng)求和應(yīng)答機(jī)制的：客戶端提出

8、請(qǐng)求，服務(wù)端提供應(yīng)答。urllib2用一個(gè)Request對(duì)象來映射你提出的HTTP請(qǐng)求。在它最簡(jiǎn)單的使用形式中你將用你要請(qǐng)求的地址創(chuàng)建一個(gè)Request對(duì)象，通過調(diào)用urlopen并傳入Request對(duì)象，將返回一個(gè)相關(guān)請(qǐng)求response對(duì)象，這個(gè)應(yīng)答對(duì)象如同一個(gè)文件對(duì)象，所以你可以在Response中調(diào)用.read()。我們新建一個(gè)文件urllib2_test02.py來感受一下：pythonview plaincopy1. importurllib22. req=urllib2.Request()3. response=urllib2.urlopen(req)4. the_page=re

9、sponse.read()5. printthe_page可以看到輸出的內(nèi)容和test01是一樣的。urllib2使用相同的接口處理所有的URL頭。例如你可以像下面那樣創(chuàng)建一個(gè)ftp請(qǐng)求。pythonview plaincopy1. req=urllib2.Request(ftp:/在HTTP請(qǐng)求時(shí)，允許你做額外的兩件事。1.發(fā)送data表單數(shù)據(jù)這個(gè)內(nèi)容相信做過Web端的都不會(huì)陌生，有時(shí)候你希望發(fā)送一些數(shù)據(jù)到URL(通常URL與CGI通用網(wǎng)關(guān)接口腳本，或其他WEB應(yīng)用程序掛接)。在HTTP中,這個(gè)經(jīng)常使用熟知的POST請(qǐng)求發(fā)送。這個(gè)通常在你提交一個(gè)HTML表單時(shí)由你的瀏覽器來做。并不是所有的P

10、OSTs都來源于表單，你能夠使用POST提交任意的數(shù)據(jù)到你自己的程序。一般的HTML表單，data需要編碼成標(biāo)準(zhǔn)形式。然后做為data參數(shù)傳到Request對(duì)象。編碼工作使用urllib的函數(shù)而非urllib2。我們新建一個(gè)文件urllib2_test03.py來感受一下：pythonview plaincopy1. importurllib2. importurllib23. 4. url=5. 6. values=name:WHY,7. location:SDU,8. language:Python9. 10. data=urllib.urlencode(values)#編碼工作11. r

11、eq=urllib2.Request(url,data)#發(fā)送請(qǐng)求同時(shí)傳data表單12. response=urllib2.urlopen(req)#接受反饋的信息13. the_page=response.read()#讀取反饋的內(nèi)容如果沒有傳送data參數(shù)，urllib2使用GET方式的請(qǐng)求。GET和POST請(qǐng)求的不同之處是POST請(qǐng)求通常有副作用，它們會(huì)由于某種途徑改變系統(tǒng)狀態(tài)(例如提交成堆垃圾到你的門口)。Data同樣可以通過在Get請(qǐng)求的URL本身上面編碼來傳送。pythonview plaincopy1. importurllib22. importurllib3. 4. dat

12、a=5. 6. dataname=WHY7. datalocation=SDU8. datalanguage=Python9. 10. url_values=urllib.urlencode(data)11. printurl_values12. 13. name=Somebody+Here&language=Python&location=Northampton14. url=15. full_url=url+?+url_values16. 17. data=urllib2.open(full_url)這樣就實(shí)現(xiàn)了Data數(shù)據(jù)的Get傳送。2.設(shè)置Headers到http請(qǐng)求有一些站點(diǎn)不喜歡

13、被程序（非人為訪問）訪問，或者發(fā)送不同版本的內(nèi)容到不同的瀏覽器。默認(rèn)的urllib2把自己作為“Python-urllib/x.y”(x和y是Python主版本和次版本號(hào),例如Python-urllib/2.7)，這個(gè)身份可能會(huì)讓站點(diǎn)迷惑，或者干脆不工作。瀏覽器確認(rèn)自己身份是通過User-Agent頭，當(dāng)你創(chuàng)建了一個(gè)請(qǐng)求對(duì)象，你可以給他一個(gè)包含頭數(shù)據(jù)的字典。下面的例子發(fā)送跟上面一樣的內(nèi)容，但把自身模擬成Internet Explorer。pythonview plaincopy1. importurllib2. importurllib23. 4. url=5. 6. user_agent=M

14、ozilla/4.0(compatible;MSIE5.5;WindowsNT)7. values=name:WHY,8. location:SDU,9. language:Python10. 11. headers=User-Agent:user_agent12. data=urllib.urlencode(values)13. req=urllib2.Request(url,data,headers)14. response=urllib2.urlopen(req)15. the_page=response.read()異常的處理和HTTP狀態(tài)碼的分類先來說一說HTTP的異常處理問題。當(dāng)u

15、rlopen不能夠處理一個(gè)response時(shí)，產(chǎn)生urlError。不過通常的Python APIs異常如ValueError,TypeError等也會(huì)同時(shí)產(chǎn)生。HTTPError是urlError的子類，通常在特定HTTP URLs中產(chǎn)生。1.URLError通常，URLError在沒有網(wǎng)絡(luò)連接(沒有路由到特定服務(wù)器)，或者服務(wù)器不存在的情況下產(chǎn)生。這種情況下，異常同樣會(huì)帶有reason屬性，它是一個(gè)tuple（可以理解為不可變的數(shù)組），包含了一個(gè)錯(cuò)誤號(hào)和一個(gè)錯(cuò)誤信息。我們建一個(gè)urllib2_test06.py來感受一下異常的處理：pythonview plaincopy1. import

16、urllib22. 3. req=urllib2.Request()4. 5. try:urllib2.urlopen(req)6. 7. excepturllib2.URLError,e:8. printe.reason按下F5，可以看到打印出來的內(nèi)容是：Errno 11001 getaddrinfo failed也就是說，錯(cuò)誤號(hào)是11001，內(nèi)容是getaddrinfo failed2.HTTPError服務(wù)器上每一個(gè)HTTP 應(yīng)答對(duì)象response包含一個(gè)數(shù)字狀態(tài)碼。有時(shí)狀態(tài)碼指出服務(wù)器無法完成請(qǐng)求。默認(rèn)的處理器會(huì)為你處理一部分這種應(yīng)答。例如:假如response是一個(gè)重定向，需要客戶

17、端從別的地址獲取文檔，urllib2將為你處理。其他不能處理的，urlopen會(huì)產(chǎn)生一個(gè)HTTPError。典型的錯(cuò)誤包含404(頁(yè)面無法找到)，403(請(qǐng)求禁止)，和401(帶驗(yàn)證請(qǐng)求)。HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應(yīng)的狀態(tài)。比如客戶端向服務(wù)器發(fā)送請(qǐng)求，如果成功地獲得請(qǐng)求的資源，則返回的狀態(tài)碼為200，表示響應(yīng)成功。如果請(qǐng)求的資源不存在， 則通常返回404錯(cuò)誤。HTTP狀態(tài)碼通常分為5種類型，分別以15五個(gè)數(shù)字開頭，由3位整數(shù)組成：-200：請(qǐng)求成功 處理方式：獲得響應(yīng)的內(nèi)容，進(jìn)行處理201：請(qǐng)求完成，結(jié)果是創(chuàng)建了新資源。新創(chuàng)建資源的URI可在響應(yīng)的實(shí)體中得到 處理方式：爬蟲中不

18、會(huì)遇到202：請(qǐng)求被接受，但處理尚未完成 處理方式：阻塞等待204：服務(wù)器端已經(jīng)實(shí)現(xiàn)了請(qǐng)求，但是沒有返回新的信 息。如果客戶是用戶代理，則無須為此更新自身的文檔視圖。 處理方式：丟棄300：該狀態(tài)碼不被HTTP/1.0的應(yīng)用程序直接使用， 只是作為3XX類型回應(yīng)的默認(rèn)解釋。存在多個(gè)可用的被請(qǐng)求資源。 處理方式：若程序中能夠處理，則進(jìn)行進(jìn)一步處理，如果程序中不能處理，則丟棄301：請(qǐng)求到的資源都會(huì)分配一個(gè)永久的URL，這樣就可以在將來通過該URL來訪問此資源 處理方式：重定向到分配的URL302：請(qǐng)求到的資源在一個(gè)不同的URL處臨時(shí)保存 處理方式：重定向到臨時(shí)的URL304 請(qǐng)求的資源未更新 處

19、理方式：丟棄400 非法請(qǐng)求 處理方式：丟棄401 未授權(quán) 處理方式：丟棄403 禁止 處理方式：丟棄404 沒有找到 處理方式：丟棄5XX 回應(yīng)代碼以“5”開頭的狀態(tài)碼表示服務(wù)器端發(fā)現(xiàn)自己出現(xiàn)錯(cuò)誤，不能繼續(xù)執(zhí)行請(qǐng)求 處理方式：丟棄-HTTPError實(shí)例產(chǎn)生后會(huì)有一個(gè)整型code屬性，是服務(wù)器發(fā)送的相關(guān)錯(cuò)誤號(hào)。Error Codes錯(cuò)誤碼因?yàn)槟J(rèn)的處理器處理了重定向(300以外號(hào)碼)，并且100-299范圍的號(hào)碼指示成功，所以你只能看到400-599的錯(cuò)誤號(hào)碼。BaseHTTPServer.BaseHTTPRequestHandler.response是一個(gè)很有用的應(yīng)答號(hào)碼字典，顯示了HTT

20、P協(xié)議使用的所有的應(yīng)答號(hào)。當(dāng)一個(gè)錯(cuò)誤號(hào)產(chǎn)生后，服務(wù)器返回一個(gè)HTTP錯(cuò)誤號(hào)，和一個(gè)錯(cuò)誤頁(yè)面。你可以使用HTTPError實(shí)例作為頁(yè)面返回的應(yīng)答對(duì)象response。這表示和錯(cuò)誤屬性一樣，它同樣包含了read,geturl,和info方法。我們建一個(gè)urllib2_test07.py來感受一下：pythonview plaincopy1. importurllib22. req=urllib2.Request(3. 4. try:5. urllib2.urlopen(req)6. 7. excepturllib2.URLError,e:8. 9. printe.code10. #printe.r

21、ead()按下F5可以看見輸出了404的錯(cuò)誤碼，也就說沒有找到這個(gè)頁(yè)面。3.Wrapping所以如果你想為HTTPError或URLError做準(zhǔn)備，將有兩個(gè)基本的辦法。推薦使用第二種。我們建一個(gè)urllib2_test08.py來示范一下第一種異常處理的方案：pythonview plaincopy1. fromurllib2importRequest,urlopen,URLError,HTTPError2. 3. req=Request(4. 5. try:6. 7. response=urlopen(req)8. 9. exceptHTTPError,e:10. 11. printThe

22、servercouldntfulfilltherequest.12. 13. printErrorcode:,e.code14. 15. exceptURLError,e:16. 17. printWefailedtoreachaserver.18. 19. printReason:,e.reason20. 21. else:22. printNoexceptionwasraised.23. #everythingisfine和其他語(yǔ)言相似，try之后捕獲異常并且將其內(nèi)容打印出來。這里要注意的一點(diǎn)，except HTTPError 必須在第一個(gè)，否則except URLError將同樣接受到H

23、TTPError。因?yàn)镠TTPError是URLError的子類，如果URLError在前面它會(huì)捕捉到所有的URLError（包括HTTPError）。我們建一個(gè)urllib2_test09.py來示范一下第二種異常處理的方案：pythonview plaincopy1. fromurllib2importRequest,urlopen,URLError,HTTPError2. 3. req=Request(4. 5. try:6. 7. response=urlopen(req)8. 9. exceptURLError,e:10. 11. ifhasattr(e,reason):12. 13

24、. printWefailedtoreachaserver.14. 15. printReason:,e.reason16. 17. elifhasattr(e,code):18. 19. printTheservercouldntfulfilltherequest.20. 21. printErrorcode:,e.code22. 23. else:24. printNoexceptionwasraised.25. #everythingisfineOpener與Handler的介紹和實(shí)例應(yīng)用在開始后面的內(nèi)容之前，先來解釋一下urllib2中的兩個(gè)個(gè)方法：info and geturlurl

25、open返回的應(yīng)答對(duì)象response(或者HTTPError實(shí)例)有兩個(gè)很有用的方法info()和geturl()1.geturl()：這個(gè)返回獲取的真實(shí)的URL，這個(gè)很有用，因?yàn)閡rlopen(或者opener對(duì)象使用的)或許會(huì)有重定向。獲取的URL或許跟請(qǐng)求URL不同。以人人中的一個(gè)超級(jí)鏈接為例,我們建一個(gè)urllib2_test10.py來比較一下原始URL和重定向的鏈接：pythonview plaincopy1. fromurllib2importRequest,urlopen,URLError,HTTPError2. 3. 4. old_url=5. req=Request(ol

26、d_url)6. response=urlopen(req)7. printOldurl:+old_url8. printRealurl:+response.geturl()運(yùn)行之后可以看到真正的鏈接指向的網(wǎng)址：2.info()：這個(gè)返回對(duì)象的字典對(duì)象，該字典描述了獲取的頁(yè)面情況。通常是服務(wù)器發(fā)送的特定頭headers。目前是httplib.HTTPMessage 實(shí)例。經(jīng)典的headers包含Content-length，Content-type，和其他內(nèi)容。我們建一個(gè)urllib2_test11.py來測(cè)試一下info的應(yīng)用：pythonview plaincopy1. fromurlli

27、b2importRequest,urlopen,URLError,HTTPError2. 3. old_url=4. req=Request(old_url)5. response=urlopen(req)6. printInfo():7. ()運(yùn)行的結(jié)果如下，可以看到頁(yè)面的相關(guān)信息：下面來說一說urllib2中的兩個(gè)重要概念：Openers和Handlers。1.Openers：當(dāng)你獲取一個(gè)URL你使用一個(gè)opener(一個(gè)urllib2.OpenerDirector的實(shí)例)。正常情況下，我們使用默認(rèn)opener：通過urlopen。但你能夠創(chuàng)建個(gè)性的op

28、eners。2.Handles：Openers使用處理器handlers，所有的“繁重”工作由handlers處理。每個(gè)handlers知道如何通過特定協(xié)議打開URLs，或者如何處理URL打開時(shí)的各個(gè)方面。例如HTTP重定向或者HTTP cookies。如果你希望用特定處理器獲取URLs你會(huì)想創(chuàng)建一個(gè)openers，例如獲取一個(gè)能處理cookie的opener，或者獲取一個(gè)不重定向的opener。要?jiǎng)?chuàng)建一個(gè) opener，可以實(shí)例化一個(gè)OpenerDirector，然后調(diào)用.add_handler(some_handler_instance)。同樣，可以使用build_opener，這是一個(gè)更

29、加方便的函數(shù)，用來創(chuàng)建opener對(duì)象，他只需要一次函數(shù)調(diào)用。build_opener默認(rèn)添加幾個(gè)處理器，但提供快捷的方法來添加或更新默認(rèn)處理器。其他的處理器handlers你或許會(huì)希望處理代理，驗(yàn)證，和其他常用但有點(diǎn)特殊的情況。install_opener 用來創(chuàng)建（全局）默認(rèn)opener。這個(gè)表示調(diào)用urlopen將使用你安裝的opener。Opener對(duì)象有一個(gè)open方法。該方法可以像urlopen函數(shù)那樣直接用來獲取urls：通常不必調(diào)用install_opener，除了為了方便。說完了上面兩個(gè)內(nèi)容，下面我們來看一下基本認(rèn)證的內(nèi)容，這里會(huì)用到上面提及的Opener和Handler。B

30、asic Authentication 基本驗(yàn)證為了展示創(chuàng)建和安裝一個(gè)handler，我們將使用HTTPBasicAuthHandler。當(dāng)需要基礎(chǔ)驗(yàn)證時(shí)，服務(wù)器發(fā)送一個(gè)header(401錯(cuò)誤碼) 請(qǐng)求驗(yàn)證。這個(gè)指定了scheme 和一個(gè)realm，看起來像這樣：Www-authenticate: SCHEME realm=REALM.例如Www-authenticate: Basic realm=cPanel Users客戶端必須使用新的請(qǐng)求，并在請(qǐng)求頭里包含正確的姓名和密碼。這是“基礎(chǔ)驗(yàn)證”，為了簡(jiǎn)化這個(gè)過程，我們可以創(chuàng)建一個(gè)HTTPBasicAuthHandler的實(shí)例，并讓opene

31、r使用這個(gè)handler就可以啦。HTTPBasicAuthHandler使用一個(gè)密碼管理的對(duì)象來處理URLs和realms來映射用戶名和密碼。如果你知道realm(從服務(wù)器發(fā)送來的頭里)是什么，你就能使用HTTPPasswordMgr。通常人們不關(guān)心realm是什么。那樣的話，就能用方便的HTTPPasswordMgrWithDefaultRealm。這個(gè)將在你為URL指定一個(gè)默認(rèn)的用戶名和密碼。這將在你為特定realm提供一個(gè)其他組合時(shí)得到提供。我們通過給realm參數(shù)指定None提供給add_password來指示這種情況。最高層次的URL是第一個(gè)要求驗(yàn)證的URL。你傳給.add_pas

32、sword()更深層次的URLs將同樣合適。說了這么多廢話，下面來用一個(gè)例子演示一下上面說到的內(nèi)容。我們建一個(gè)urllib2_test12.py來測(cè)試一下info的應(yīng)用：pythonview plaincopy1. #-*-coding:utf-8-*-2. importurllib23. 4. #創(chuàng)建一個(gè)密碼管理者5. password_mgr=urllib2.HTTPPasswordMgrWithDefaultRealm()6. 7. #添加用戶名和密碼8. 9. top_level_url=10. 11. #如果知道realm,我們可以使用他代替None.12. #password_mg

33、r.add_password(None,top_level_url,username,password)13. password_mgr.add_password(None,top_level_url,why,1223)14. 15. #創(chuàng)建了一個(gè)新的handler16. handler=urllib2.HTTPBasicAuthHandler(password_mgr)17. 18. #創(chuàng)建opener(OpenerDirector實(shí)例)19. opener=urllib2.build_opener(handler)20. 21. a_url=22. 23. #使用opener獲取一個(gè)URL

34、24. opener.open(a_url)25. 26. #安裝opener.27. #現(xiàn)在所有調(diào)用urllib2.urlopen將用我們的opener.28. urllib2.install_opener(opener)29. 30. 注意：以上的例子我們僅僅提供我們的HHTPBasicAuthHandler給build_opener。默認(rèn)的openers有正常狀況的handlers：ProxyHandler，UnknownHandler，HTTPHandler，HTTPDefaultErrorHandler， HTTPRedirectHandler，F(xiàn)TPHandler， FileHan

35、dler， HTTPErrorProcessor。代碼中的top_level_url 實(shí)際上可以是完整URL(包含http:，以及主機(jī)名及可選的端口號(hào))。例如：也可以是一個(gè)“authority”(即主機(jī)名和可選的包含端口號(hào))。例如：“” or “:8080”。后者包含了端口號(hào)。urllib2的使用細(xì)節(jié)與抓站技巧前面說到了urllib2的簡(jiǎn)單入門，下面整理了一部分urllib2的使用細(xì)節(jié)。1.Proxy 的設(shè)置urllib2 默認(rèn)會(huì)使用環(huán)境變量 http_proxy 來設(shè)置 HTTP Proxy。如果想在程序中明確控制 Proxy 而不受環(huán)境變量的影響，可以使用代理。新建test14來實(shí)現(xiàn)一個(gè)簡(jiǎn)

36、單的代理Demo：pythonview plaincopy1. importurllib22. enable_proxy=True3. proxy_handler=urllib2.ProxyHandler(http:http:/some-:8080)4. null_proxy_handler=urllib2.ProxyHandler()5. ifenable_proxy:6. opener=urllib2.build_opener(proxy_handler)7. else:8. opener=urllib2.build_opener(null_proxy_handler)9. urllib2

37、.install_opener(opener)這里要注意的一個(gè)細(xì)節(jié)，使用 urllib2.install_opener() 會(huì)設(shè)置 urllib2 的全局 opener 。這樣后面的使用會(huì)很方便，但不能做更細(xì)致的控制，比如想在程序中使用兩個(gè)不同的 Proxy 設(shè)置等。比較好的做法是不使用 install_opener 去更改全局的設(shè)置，而只是直接調(diào)用 opener 的 open 方法代替全局的 urlopen 方法。2.Timeout 設(shè)置在老版 Python 中（Python2.6前），urllib2 的 API 并沒有暴露 Timeout 的設(shè)置，要設(shè)置 Timeout 值，只能更改 So

38、cket 的全局 Timeout 值。pythonview plaincopy1. importurllib22. importsocket3. socket.setdefaulttimeout(10)#10秒鐘后超時(shí)4. urllib2.socket.setdefaulttimeout(10)#另一種方式在 Python 2.6 以后，超時(shí)可以通過 urllib2.urlopen() 的 timeout 參數(shù)直接設(shè)置。pythonview plaincopy1. importurllib22. response=urllib2.urlopen(,timeout=10)3.在 HTTP Req

39、uest 中加入特定的 Header要加入 header，需要使用 Request 對(duì)象：pythonview plaincopy1. importurllib22. request=urllib2.Request(3. request.add_header(User-Agent,fake-client)4. response=urllib2.urlopen(request)5. printresponse.read()對(duì)有些 header 要特別留意，服務(wù)器會(huì)針對(duì)這些 header 做檢查User-Agent : 有些服務(wù)器或 Proxy 會(huì)通過該值來判斷是否是瀏覽器發(fā)出的請(qǐng)求Content

40、-Type : 在使用 REST 接口時(shí)，服務(wù)器會(huì)檢查該值，用來確定 HTTP Body 中的內(nèi)容該怎樣解析。常見的取值有：application/xml ： 在 XML RPC，如 RESTful/SOAP 調(diào)用時(shí)使用application/json ： 在 JSON RPC 調(diào)用時(shí)使用application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時(shí)使用在使用服務(wù)器提供的 RESTful 或 SOAP 服務(wù)時(shí)， Content-Type 設(shè)置錯(cuò)誤會(huì)導(dǎo)致服務(wù)器拒絕服務(wù)4.Redirecturllib2 默認(rèn)情況下會(huì)針對(duì) HTTP 3XX 返回碼自動(dòng)進(jìn)行 red

41、irect 動(dòng)作，無需人工配置。要檢測(cè)是否發(fā)生了 redirect 動(dòng)作，只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。pythonview plaincopy1. importurllib22. my_url=3. response=urllib2.urlopen(my_url)4. redirected=response.geturl()=my_url5. printredirected6. 7. my_url=8. response=urllib2.urlopen(my_url)9. redirected=response.geturl()

42、=my_url10. printredirected如果不想自動(dòng) redirect，除了使用更低層次的 httplib 庫(kù)之外，還可以自定義HTTPRedirectHandler 類。pythonview plaincopy1. importurllib22. classRedirectHandler(urllib2.HTTPRedirectHandler):3. defhttp_error_301(self,req,fp,code,msg,headers):4. print3015. pass6. defhttp_error_302(self,req,fp,code,msg,headers)

43、:7. print3038. pass9. 10. opener=urllib2.build_opener(RedirectHandler)11. opener.open(5.Cookieurllib2 對(duì) Cookie 的處理也是自動(dòng)的。如果需要得到某個(gè) Cookie 項(xiàng)的值，可以這么做：pythonview plaincopy1. importurllib22. importcookielib3. cookie=cookielib.CookieJar()4. opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)5.

44、response=opener.open()6. foritemincookie:7. printName=+8. printValue=+item.value運(yùn)行之后就會(huì)輸出訪問百度的Cookie值：6.使用 HTTP 的 PUT 和 DELETE 方法urllib2 只支持 HTTP 的 GET 和 POST 方法，如果要使用 HTTP PUT 和 DELETE ，只能使用比較低層的 httplib 庫(kù)。雖然如此，我們還是能通過下面的方式，使 urllib2 能夠發(fā)出 PUT 或DELETE 的請(qǐng)求：pythonview plaincopy1. importurllib2

45、2. request=urllib2.Request(uri,data=data)3. request.get_method=lambda:PUT#orDELETE4. response=urllib2.urlopen(request)7.得到 HTTP 的返回碼對(duì)于 200 OK 來說，只要使用 urlopen 返回的 response 對(duì)象的 getcode() 方法就可以得到 HTTP 的返回碼。但對(duì)其它返回碼來說，urlopen 會(huì)拋出異常。這時(shí)候，就要檢查異常對(duì)象的 code 屬性了：pythonview plaincopy1. importurllib22. try:3. resp

46、onse=urllib2.urlopen(4. excepturllib2.HTTPError,e:5. printe.code8.Debug Log使用 urllib2 時(shí)，可以通過下面的方法把 debug Log 打開，這樣收發(fā)包的內(nèi)容就會(huì)在屏幕上打印出來，方便調(diào)試，有時(shí)可以省去抓包的工作pythonview plaincopy1. importurllib22. httpHandler=urllib2.HTTPHandler(debuglevel=1)3. httpsHandler=urllib2.HTTPSHandler(debuglevel=1)4. opener=urllib2.build_opener(httpHandler,httpsHandler)5. urllib2.install_opener(opener)6. response=urllib2.urlopen()這樣就可以看到傳輸?shù)臄?shù)據(jù)包內(nèi)容了：9.表單的處