網(wǎng)絡(luò)爬蟲：抓取網(wǎng)的含義和URL基本構(gòu)成

1、Python網(wǎng)絡(luò)爬蟲（一）：抓取網(wǎng)頁的含義和 URL基本構(gòu)成、網(wǎng)絡(luò)爬蟲的定義網(wǎng)絡(luò)爬蟲，即Web Spider ,是一個很形象的名字。把互聯(lián)網(wǎng)比喻成一個蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁的。從網(wǎng)站某一個頁面（通常是首頁）開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網(wǎng)頁，這樣一直循環(huán)下去， 直到把這個網(wǎng)站所有的網(wǎng)頁都抓取完為止。如果把整個互聯(lián)網(wǎng)當(dāng)成一個網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。這樣看來，網(wǎng)絡(luò)爬蟲就是一個爬行程序，一個抓取網(wǎng)頁的程序。網(wǎng)絡(luò)爬蟲的基本操作是抓取網(wǎng)頁。那么如何

2、才能隨心所欲地獲得自己想要的頁面? 我們先從URL開始。二、瀏覽網(wǎng)頁的過程抓取網(wǎng)頁的過程其實和讀者平時使用IE瀏覽器瀏覽網(wǎng)頁的道理是一樣的。比如說你在瀏覽器的地址欄中輸入 HYPERLINK 這個地址。打開網(wǎng)頁的過程其實就是瀏覽器作為一個瀏覽的客戶端”，向服務(wù)器端發(fā)送了一次請求,把服務(wù)器端的文件 抓”到本地，再進(jìn)行解釋、展現(xiàn)。HTML是一種標(biāo)記語言，用標(biāo)簽標(biāo)記內(nèi)容并加以解析和區(qū)分。瀏覽器的功能是將獲取到的HTML代碼進(jìn)行解析，然后將原始的代碼轉(zhuǎn)變成我們直接看到的網(wǎng)站頁面。三、URI和URL的概念和舉例簡單的來講，URL就是在瀏覽器端輸入的 HYPERLINK 這個字符串。在理解URL之前，首先

3、要理解 URI的概念。什么是URI ?Web上每種可用的資源，如 HTML文檔、圖像、視頻片段、程序等都由一個通用資源標(biāo)志 符（Universal Resource Identifier , URI）進(jìn)行定位。URI通常由三部分組成： 訪問資源的命名機(jī)制； 存放資源的主機(jī)名;資源自身 的名稱，由路徑表示。如下面的URI : HYPERLINK /myhtml/html1223/ /myhtml/html1223/我們可以這樣解釋它：_這是一個可以通過 HTTP協(xié)議訪問的資源, 位于主機(jī) HYPERLINK 上， 通過路徑/html/html40 ”訪問。四、URL的理解和舉例URL是URI的一

4、個子集。它是Uniform Resource Locator的縮寫，譯為 統(tǒng)一資源定位 符” 通俗地說，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務(wù)器程序上。二采用URL可以用一種統(tǒng)一的格式來描述各種信息資源，包括文件、服務(wù)器的地址和目錄等。URL的一般格式為（帶方括號口的為可選項）：protocol :/ hostname:port / path / ;parameters?query#fragmentURL的格式由三部分組成：第一部分是協(xié)議（或稱為服務(wù)方式）。|第二部分是存有該資源的主機(jī)IP地址（有時也包括端口號）。第三部分是主機(jī)資源的具體地址，如目錄和

5、文件名等。第一部分和第二部分用：7/ ”符號隔開，第二部分和第三部分用 /”符號隔開。第一部分和第二部分是不可缺少的，第三部分有時可以省略。五、URL和URI簡單比較URI屬于URL更低層次的抽象，一種字符串文本標(biāo)準(zhǔn)。換句話說，URI屬于父類，而 URL屬于URI的子類。URL是URI的一個子集。URI的定義是：統(tǒng)一資源標(biāo)識符；URL的定義是：統(tǒng)一資源定位符。二者的區(qū)別在于，URI表示請求服務(wù)器的路徑，定義這么一個資源。而URL同時說明要如何訪問這個資源（ http:/ ）。卜面來看看兩個URL的小例子。.HTTP協(xié)議的URL示例：使用超級文本傳輸協(xié)議HTTP,提供超級文本信息服務(wù)的資源。例：

6、 HYPERLINK /channel/welcome.htm /channel/welcome.htm其計算機(jī)域名為 HYPERLINK 。超級文本文件（文件類型為.html）是在目錄/channel下白w welcome.htm 。這是中國人民日報的一臺計算機(jī)。例: HYPERLINK /talk/talk1.htm /talk/talk1.htm其計算機(jī)域名為 HYPERLINK 。超級文本文件（文件類型為.html）是在目錄/talk下的talk1.htm 。這是瑞得聊天室的地址，可由此進(jìn)入瑞得聊天室的第1室。.文件的URL用URL表示文件時，服務(wù)器方式用file表示，后面要有主機(jī)IP

7、地址、文件的存取路 徑（即目錄）和文件名等信息。有時可以省略目錄和文件名，但 /符號不能省略。例：file:/pub/files/foobar .txt上面這個 URL代表存放在主機(jī) HYPERLINK 上的pub/files/目錄下的一個文件，文件名是 foobar.txt。例：file:/pub代表主機(jī) HYPERLINK 上的目錄/pub。例：file:/代表主機(jī) HYPERLINK 的根目錄。爬蟲最主要的處理對象就是 URL,它根據(jù)URL地址取得所需要的文件內(nèi)容，然后對它進(jìn)行進(jìn)一步的處理。因此，準(zhǔn)確地理解 URL對理解網(wǎng)絡(luò)爬蟲至關(guān)重要。Python網(wǎng)絡(luò)爬蟲（二）：利用urllib2 通

8、過指定的URL抓取網(wǎng)頁內(nèi)容版本號：Python2.7.5 , Python3改動較大，各位另尋教程。所謂網(wǎng)頁抓取，就是把URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中讀取出來，保存到本地。類似于使用程序模擬IE瀏覽器的功能，把URL作為HTTP請求的內(nèi)容發(fā)送到服務(wù)器端，然后讀取服務(wù)器端的響應(yīng)資源。在Python中，我們使用urllib2這個組件來抓取網(wǎng)頁。urllib2 是 Python 的一個獲取 URLs(Uniform Resource Locators)的組件。它以urlopen函數(shù)的形式提供了一個非常簡單的接口。最簡單的urllib2的應(yīng)用代碼只需要四行。我們新建一個文件 urllib2_te

9、st01.py 來感受一下urllib2的作用：: import urllib2二 response = urllib2.urlopen( HYPERLINK / /)html = response.read()print html復(fù)制代碼按下F5可以看到運(yùn)行的結(jié)果:Python Shetlfile dit Shell Qebug Qption5 Windows HelpnSTRU=,T + p ;img.arc = http;/nscliGk,baiduTconi/gif?pid=201tpj=wwwsr5v_5id=:22 9_1945_17S 3_22 50i -+ sQ + patti

10、=+p+41= + Jiew Date () . getTime () ;return true ;if (/bbdime= H / . test (d. cootie) ) docuuieiic. write ( ocripT： src=* 1 + http: /si. bdsnacic.ccini/r/ww/cache/static/imt/js/apenjjre_bl5f449.js,r +charsetwut:f-8M) ; (function(； (var u G (nuF) *getElemanc33yTagName (a) z nv G(nv .fletELexentsBylag

11、Nanie (a, Ik = Gt lit) ,getElementaByTagNaire fa), un = jvar tj nv = news , tieba, Ehidaof niDp3r,fT7ide3rr, ir.apJ ; var tj Ik = baike*n ? f : bds . cditil. user ; functiof wenkrLi jr whaQli3Mf meren *n ? f : bds . cditil. user ; function _addTJ(obj)addEVabjr flrftouBedownHr function(e)var e e | wi

12、ndow.event;var target . target | | srcElement;ns_c fm : behs t tab : target. nair.a | | t j_user * r 1 un1 ;encodeURICoinpoTienc (un) ;for (vax 1 = 0; i u,length; i+) ( add!J(u itj + tj nvi;for(var i =) for (var 1 = 0; l tj + tj nvi;for(var i =0; i lJc. length; 1+ Lkl .naite = t j_T + t j_lk i ； ) (

13、) ； (f unctiaii () (var lin ks *在 士 *ward, hrtpi /newi.baidu. cani/.itis?tnnew3cl*2rn-20ct=lie*utf-3 f t j_tieba : kw, HYPERLINK http:/tieba http:/tieba. baidu.cam/f?ieutf-fi+ t *tj_zhidaa : 1 wo rd rhtt;p; /zhidao .baidu cora/3earah?pn-0trn=1061m=0 t tj_rp3 ： r Jcey f http; / Jir.二m二二.匕三二3二.二d.Jmm三

14、？f二二三=二二干一三,t 二nr.工： ； f rtTp : 二二一三口三.巳三二：！二，cam/i?ct=201326S92&cl=2trLC=llin=-l tst=-l &Jn=fcdj.ci-jj.iLageisJt;ype=2 tfm=pv= &z=0sie=u tf-S / uj_video : word* t *htcp: /video.baidu. cam/v?ct-3019895 884s2Sfiie*urf-9 1 f 11 j_map : wd f http: /irap + taiducom/?newrr.ap-ltieutf-fi5s f 11 j_lsaike+

15、: 1 wordT, iittp ： /toaikeloaidu, com/searGh/word?pic=lt3Uff=tenc=utfB , 1 twenJcu* ; 1 word * , r http : /wenkn.baidu.cDin/search?ie=iitf-8 1 ； var domArr = G ( nv f G ( Ifc1 ) , G 1 cp1) f kw = G (* lew*) ;fcr (var 1=0, 1 = donArr. length; 1 0 var wd = iteiLS 0 , 口= 1 = stents 1 f url = url 4- ( n

16、azreICamponent(, 1 + wd + 1 = f + key) : ( ( url.indexOf(1? f) 0 ? *1- + encodeURIConanenc(key ) );target.href - url; else target.href - targe z.href.mach(new RegExp(*htcpi/ +X0;name iL ns_cfm: b elis r *tab : nane, query ; encodeURIComponenv(key), ,un*: encodeURICosqKinent (bds irr:. user | | T 1 ;

17、) () ; addEV (w, lead, function () k. fccus ( ) ；w. 01112111 cad=func tlcm () 1 ;tryIdocument.coatie=nww_5T=;expires=5at r 01 Jan 2000 00:00: 00 GM?T;t;aicki. on tddDiuEEiilL . forms 0.日ubrr二七”,functidn O fvar t=new Date () , getTime () ; dccument. caokie = *WWW_ST=r -+ _t +n ; expires=,T + new Date

18、 (t + 10000) *roGMT5tring () ) Jcatch (t) K/acriptx/humlX! -bd56abcLS7008f2- ILn： 6 Col; 4我們可以打開百度主頁，右擊，選擇查看源代碼（火狐 OR谷歌瀏覽器均可），會發(fā)現(xiàn)也是完全一樣的內(nèi)容。也就是說，上面這四行代碼將我們訪問百度時瀏覽器收到的代碼們?nèi)看蛴×顺鰜?。這就是一個最簡單的 urllib2的例子。除了 http: , URL同樣可以使用ftp: , file:等等來替代。HTTP是基于請求和應(yīng)答機(jī)制的：客戶端提出請求，服務(wù)端提供應(yīng)答。urllib2用一個Request對象來映射彳提出的 HTTP請求

19、。在它最簡單的使用形式中你將用彳要請求的地址創(chuàng)建一個 Request對象，通過調(diào)用urlopen并傳入Request對象，將返回一個相關(guān)請求response對象,這個應(yīng)答對象如同一個文件對象，所以你可以在 Response中調(diào)用.read()。我們新建一個文件 urllib2_test02.py 來感受一下：、 import urllib2(1 req = urllib2.Request()response = urllib2.urlopen(req)S the_page = response.read()9 print the_page復(fù)制代碼可以看到輸出的內(nèi)容和test01是一樣的。url

20、lib2使用相同的接口處理所有的URL頭。例如你可以像下面那樣創(chuàng)建一個ftp請求。.11 req = urllib2.Request(ftp:/)復(fù)制代碼在HTTP請求時，允許你做額外的兩件事。1.發(fā)送data表單數(shù)據(jù)這個內(nèi)容相信做過 Web端的都不會陌生，有時候你希望發(fā)送一些數(shù)據(jù)到URL(通常URL與CGI通用網(wǎng)關(guān)接口 腳本，或其他 WEB應(yīng)用程序掛接）。在HTTP中，這個經(jīng)常使用熟知的 POST請求發(fā)送。這個通常在你提交一個HTML表單時由你的瀏覽器來做。并不是所有的POSTs都來源于表單，你能夠使用POST提交任意的數(shù)據(jù)到你自己的程序。一般的HTML表單，data需要編碼成標(biāo)準(zhǔn)形式。然后

21、做為data參數(shù)傳到Request對象。編碼工作使用urllib的函數(shù)而非urllib2。我們新建一個文件 urllib2_test03.py 來感受一下：,1.1 import urllibimport urllib213,1 u url = HYPERLINK /register.cgi /register.cgi:& values = name : WHY,I./location : SDU,language : Python 19 ) ) data = urllib.urlencode(values) #-I req = urllib2.Request(url, data)口 resp

22、onse = urllib2.urlopen(req)23 the_page = response.read()編碼工作#發(fā)送請求同時傳data表單#接受反饋的信息#讀取反饋的內(nèi)容復(fù)制代碼如果沒有傳送data參數(shù)，urllib2使用GET方式的請求。GET和POST請求的不同之處是POST請求通常有“副作用,它們會由于某種途徑改變系統(tǒng)狀態(tài)(例如提交成堆垃圾到你的門口)。Data同樣可以通過在Get請求的URL本身上面編碼來傳送。import urllib2工，import urllib25二 data = 要dataname = WHY工 datalocation = SDU.1 datala

23、nguage = Python色url_values = urllib.urlencode(data)print url_values35name=Somebody+Here&language=Python&location=Northampton? url = HYPERLINK /example.cgi /example.cgifull_url = url + ? + url_values砥 data = urllib2.open(full_url)復(fù)制代碼這樣就實現(xiàn)了 Data數(shù)據(jù)的Get傳送。2.設(shè)置Headers 到http請求有一些站點不喜歡被程序（非人為訪問）訪問，或者發(fā)送不同版

24、本的內(nèi)容到不同的瀏覽器。默認(rèn)的urllib2把自己作為 Python-urllib/x.y （x和y是Python主版本和次版本號，例如 Python-urllib/2.7）,這個身份可能會讓站點迷惑，或者干脆不工作。瀏覽器確認(rèn)自己身份是通過User-Agent頭，當(dāng)你創(chuàng)建了一個請求對象，你可以給他一個包含頭數(shù)據(jù)的字典。下面的例子發(fā)送跟上面一樣的內(nèi)容，但把自身模擬成Internet Explorer 。（多謝大家的提醒，現(xiàn)在這個 Demo已經(jīng)不可用了，不過原理還是那樣的）。 from urllib2 import Request, urlopen, URLError, HTTPError20.

25、I req = Request(http:/callmewhy)22二 try:X上i response = urlopen(req)X二 except HTTPError, e:羽;print The server couldnt fulfill the request.30l print Error code: , e.code爰?，except URLError, e:%print We failed to reach a server.3 print Reason: , e.reason空else:print No exception was raised.4|# everything

26、 is fine復(fù)制代碼和其他語言相似，try之后捕獲異常并且將其內(nèi)容打印出來。這里要注意的一點，except HTTPError必須在第一個，否則 except URLError將同樣接受到 HTTPError 。因為HTTPError是URLError的子類，如果URLError在前面它會捕捉到所有的URLError （包括 HTTPError ）。我們建一個urllib2_test09.py來示范一下第二種異常處理的方案:二巳 from urllib2 import Request, urlopen, URLError, HTTPError電出 req = Request( HYPERL

27、INK /callmewhy /callmewhy)益-好 try:47室 response = urlopen(req)except URLError, e:51：.】： if hasattr(e, code):53/iprint The server couldnt fulfill the request.55: aprint Error code: , e.code57elif hasattr(e, reason):汾. Pprint We failed to reach a server.616 1print Reason: , e.reason但K： else:(3print No

28、exception was raised.6# everything is fine復(fù)制代碼Python 網(wǎng)絡(luò)爬蟲（四）：Opener與Handler 的介紹和實例應(yīng)用在開始后面的內(nèi)容之前，先來解釋一下urllib2中的兩個個方法：info and geturlurlopen 返回的應(yīng)答對象response（或者 HTTPError實例）有兩個很有用的方法 info（）和 geturl()1.geturl()這個返回獲取的真實的 URL,這個很有用，因為urlopen(或者opener對象使用的)或許會有 重定向。獲取的 URL或許跟請求URL不同。以人人中的一個超級鏈接為例，我們建一個url

29、lib2_test10.py 來比較一下原始 URL和重定向的鏈接:from urllib2 import Request, urlopen, URLError, HTTPError等不71 old_url = HYPERLINK /b1UZuP /b1UZuP72 req = Request(old_url)3 response = urlopen(req)74 print Old url : + old_urlOld url ihnrp:/imrl-cn/blUZuPReal url :http:/www.polyuest_of_the_be3t_elevator_pitch _awari

30、i/bfcca_votirLg_prace5 s .ptip ?voted_cearriti=670fisectian=lfibbca year_id_3 I2.info():這個返回對象的字典對象，該字典描述了獲取的頁面情況。通常是服務(wù)器發(fā)送的特定頭headers。目前是 httplib.HTTPMessage 實例。經(jīng)典的 headers 包含Content-length , Content-type,和其他內(nèi)容。我們建一個urllib2_test11.py來測試一下info的應(yīng)用:飛 from urllib2 import Request, urlopen, URLError, HTTP

31、Error77用 old_url = HYPERLINK 為 req = Request(old_url)：二 response = urlopen(req)$ print Info():口 print ()復(fù)制代碼運(yùn)行的結(jié)果如下，可以看到頁面的相關(guān)信息:三三 restart一二二三 Info(): Date: Tae, IT May 2013 06;10:01 GHT Server： BWS/1,Q Content-Length: 10450 Cantent-Type: text/html;chars&t=utf-8 Cache-Control; private Set-Cookie： BD

32、SVHTH-4; path=/ Seu-Conkie: H_PS_ESSID-242S_2362_1466_1945_1738_22A9_226O_2251; path-/; dortiin-. SetCcokie: BAIDUlD=SB39D3D917ES5C3DEAa0DAF9S57A3E5A; FG=1; expiTesue, 14-May- 3 06; 10 ; 01 GMT, paith=7; domain=. baidv, com Expirea: Tue, 14 May 2013 06:10:DI GMT P3F: CP- OTI DSP COR IVft OUR IND COM

33、 ” Connection: Close下面來說一說 urllib2中的兩個重要概念：Openers和Handlers o1.Openers當(dāng)你獲取一個 URL你使用一個 opener（一個urllib2.OpenerDirector 的實例）。 正常情況下，我們使用默認(rèn)opener :通過urlopen 。但你能夠創(chuàng)建個性的openers。2.Handles :Openers使用處理器handlers ,所有的 繁重”工作由handlers處理。每個handlers知道如何通過特定協(xié)議打開URLs,或者如何處理 URL打開時的各個方面。例如HTTP重定向或者 HTTP cookies 。如果

34、你希望用特定處理器獲取URLs你會想創(chuàng)建一個 openers ,例如獲取一個能處理cookie的opener ,或者獲取一個不重定向的opener 。要創(chuàng)建一個 opener ,可以實例化一個 OpenerDirector ,然后調(diào)用.add_handler（some_handler_instance） 。同樣，可以使用 build opener ,這是一個更加方便的函數(shù)，用來創(chuàng)建 opener對象，他只需 要一次函數(shù)調(diào)用。build_opener默認(rèn)添加幾個處理器，但提供快捷的方法來添加或更新默認(rèn)處理器。其他的處理器handlers你或許會希望處理代理，驗證，和其他常用但有點特殊的情況。in

35、stall opener用來創(chuàng)建（全局）默認(rèn) opener。這個表示調(diào)用urlopen將使用你安裝的opener 。Opener 對象有個 open 方法。該方法可以像 urlopen函數(shù)那樣直接用來獲取urls :通常不必調(diào)用install opener ,除了為了方便。說完了上面兩個內(nèi)容，下面我們來看一下基本認(rèn)證的內(nèi)容，這里會用到上面提及的Opener和 Handler 。Basic Authentication 基本驗證為了展示創(chuàng)建和安裝一個handler ,我們將使用HTTPBasicAuthHandler 。當(dāng)需要基礎(chǔ)驗證時，服務(wù)器發(fā)送一個 header（401錯誤碼）請求驗證。這個

36、指定了 scheme和 一個 realm,看起來像這樣：Www-authenticate: SCHEME realm=REALM.例如Www-authenticate: Basic realm=cPanel Users _客戶端必須使用新的請求，并在請求頭里包含正確的姓名和密碼。這是 基礎(chǔ)驗證“，為了簡化這個過程，我們可以創(chuàng)建一個HTTPBasicAuthHandler的實例,并讓opener使用這個handler就可以啦。HTTPBasicAuthHandler使用一個密碼管理的對象來處理URLs和realms來映射用戶名和密碼。如果你知道realm（從服務(wù)器發(fā)送來的頭里）是什么，你就能使用

37、 HTTPPasswordMgr。通常人們不關(guān)心 realm 是什么。那樣的話，就能用方便的 HTTPPasswordMgrWithDefaultRealm 。這個將在你為URL指定一個默認(rèn)的用戶名和密碼。這將在你為特定realm提供一個其他組合時得到提供。我們通過給realm參數(shù)指定None提供給add_password來指示這種情況。 最高層次的URL是第一個要求驗證的 URL。你傳給.add password()更深層次的URLs將同 樣合適。說了這么多廢話，下面來用一個例子演示一下上面說到的內(nèi)容。我們建一個urllib2_test12.py來測試一下info的應(yīng)用：步：# -*- co

38、ding: utf-8 -*-；import urllib285心#創(chuàng)建一個密碼管理者g7 password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()施出#添加用戶名和密碼9091 top_level_url = HYPERLINK /foo/ /foo/更免#如果知道realm,我們可以使用他代替None.第 # password_mgr.add_password(None, top_level_url, username, password)貨 password_mgr.add_password(None, top_level_url,

39、why, 1223)於#7 #創(chuàng)建了一個新的 handler58 handler = urllib2.HTTPBasicAuthHandler(password_mgr)筠ICO # 創(chuàng)建opened (OpenerDirector實例)101 opener = urllib2.build_opener(handler)Iffi16 a_url = HYPERLINK / /im#使用 opener獲取一個 URL106 opener.open(a_url)107K # 安裝 opener.1(P #現(xiàn)在所有調(diào)用urllib2.urlopen 將用我們的 opener.110 urllib2.

40、install_opener(opener)111112復(fù)制代碼注意：以上的例子我們僅僅提供我們的HTTPBasicAuthHandler給build opener 。默認(rèn)的 openers 有正常狀況的 handlers : ProxyHandler , UnknownHandler , HTTPHandler , HTTPDefaultErrorHandler , HTTPRedirectHandler , FTPHandler , FileHandler , HTTPErrorProcessor 。代碼中的top_level_url實際上可以是完整URL（包含http:,以及主機(jī)名及可選

41、的端口號）。例如：/ 。也可以是一個 authority ”（即主機(jī)名和可選的包含端口號）。例如： or :8080 ”。后者包含了端口號。Python網(wǎng)絡(luò)爬蟲（五）：urllib2 的使用細(xì)節(jié)與抓站技巧前面說到了 urllib2的簡單入門，下面整理了一部分urllib2的使用細(xì)節(jié)。I.Proxy 的設(shè)置urllib2默認(rèn)會使用環(huán)境變量http proxy來設(shè)置HTTP Proxy。如果想在程序中明確控制Proxy而不受環(huán)境變量的影響，可以使用代理。新建test14來實現(xiàn)一個簡單的代理Demo :import urllib2e enable_proxy = Trueproxy_handler

42、= urllib2.ProxyHandler(http : http:8080)null_proxy_handler = urllib2.ProxyHandler()if enable_proxy:opener = urllib2.build_opener(proxy_handler)else:opener = urllib2.build_opener(null_proxy_handler)9 urllib2.install_opener(opener)復(fù)制代碼這里要注意的一個細(xì)節(jié)，使用urllib2.install opener()會設(shè)置 urllib2 的全局 opener 。這樣后面的使

43、用會很方便，但不能做更細(xì)致的控制，比如想在程序中使用兩個不同的Proxy設(shè)置等。|比較好的做法是不使用install opener去更改全局的設(shè)置，而只是直接調(diào)用opener的open方法代替全局的urlopen 方法。.Timeout 設(shè)置在老版 Python中(Python2.6前)，urllib2的API并沒有暴露 Timeout的設(shè)置，要設(shè)置 Timeout值，只能更改Socket的全局 Timeout 值。import urllib2.1.1 import socket12 socket.setdefaulttimeout(10) # 10秒鐘后超時13 urllib2.socket

44、.setdefaulttimeout(10) #另一種方式復(fù)制代碼在Python 2.6 以后，超時可以通過 urllib2.urlopen() 的timeout參數(shù)直接設(shè)置。14 import urllib2I.： response = urllib2.urlopen(http:, timeout=10)復(fù)制代碼.在 HTTP Request 中加入特定的 Header要加入header ,需要使用Request對象：:& import urllib2,1 request = urllib2.Request(http:/)IS request.add_header(User-Agent, f

45、ake-client),l response = urllib2.urlopen(request) ， print response.read()復(fù)制代碼對有些header要特別留意，服務(wù)器會針對這些header做檢查User-Agent :有些服務(wù)器或 Proxy會通過該值來判斷是否是瀏覽器發(fā)出的請求Content-Type :在使用 REST接口時，服務(wù)器會檢查該值，用來確定 HTTP Body中的內(nèi) 容該怎樣解析。常見的取值有：application/xml :在 XML RPC,如 RESTful/SOAP 調(diào)用時使用application/json :在 JSON RPC 調(diào)用時使用

46、application/x-www-form-urlencoded :瀏覽器提交 Web 表單時使用在使用服務(wù)器提供的RESTful或SOAP服務(wù)時，Content-Type設(shè)置錯誤會導(dǎo)致服務(wù)器拒絕服務(wù)4.Redirecturllib2默認(rèn)情況下會針對HTTP 3XX返回碼自動進(jìn)行 redirect動作，無需人工配置。要檢測是否發(fā)生了 redirect動作，只要檢查一下Response的URL和 Request的URL是否致就可以了。| import urllib222 my_url = 23 response = urllib2.urlopen(my_url)X redirected = r

47、esponse.geturl() = my_url.?： print redirected35方 my_url = HYPERLINK /b1UZuP /b1UZuPresponse = urllib2.urlopen(my_url)redirected = response.geturl() = my_url1，print redirected復(fù)制代碼如果不想自動redirect ,除了使用更低層次的httplib 庫之外，還可以自定義 HTTPRedirectHandler 類。l import urllib2class RedirectHandler(urllib2.HTTPRedire

48、ctHandler):33 def http_error_301(self, req, fp, code, msg, headers):print 301pass36 def http_error_302(self, req, fp, code, msg, headers):?print 303pass39Op opener = urllib2.build_opener(RedirectHandler)| opener.open( HYPERLINK /b1UZuP /b1UZuP)復(fù)制代碼5.Cookieurllib2對Cookie的處理也是自動的。如果需要得到某個Cookie項的值，可以這

49、么做:import urllib24， import cookielib-U cookie = cookielib.CookieJar()45 opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)& response = opener.open()4；： for item in cookie:妙 print Name = +4； print Value = +item.value復(fù)制代碼運(yùn)行之后就會輸出訪問百度的Cookie值:Haire = BAIDUIDValue = 67F3AB9024 9CDB85175F0

50、5DB33EB993:FGl = HPSPSSIDValue - 212S_1455_1945_17SS_225ONair.e = BDSVRTMValue = 176.使用 HTTP 的PUT 和 DELETE 方法urllib2 只支持 HTTP的 GET和POST方法，如果要使用 HTTP PUT和 DELETE ,只能 使用比較低層的 httplib庫。雖然如此，我們還是能通過下面的方式，使 urllib2能夠發(fā)出 PUT或DELETE的請求：import urllib2三| request = urllib2.Request(uri, data=data)52 request.get

51、_method = lambda: PUT # or DELETEresponse = urllib2.urlopen(request)復(fù)制代碼7.得到HTTP的返回碼對于200 OK來說，只要使用urlopen返回的response對象的getcode()方法就可以得到HTTP的返回碼。但對其它返回碼來說，urlopen會拋出異常。這時候，就要檢查異常對象的 code 屬性了 ： import urllib2try:：包response = urllib2.urlopen( HYPERLINK /why /why)?. except urllib2.HTTPError, e:Nprint e

52、.code復(fù)制代碼.Debug Log使用urllib2時，可以通過下面的方法把debug Log打開，這樣收發(fā)包的內(nèi)容就會在屏幕上打印出來，方便調(diào)試，有時可以省去抓包的工作import urllib2. h httpHandler = urllib2.HTTPHandler(debuglevel=1)(1： httpsHandler = urllib2.HTTPSHandler(debuglevel=1)Op opener = urllib2.build_opener(httpHandler, httpsHandler)色 urllib2.install_opener(opener)response = urllib2.urlopen()復(fù)制代碼這樣就可以看到傳輸?shù)臄?shù)據(jù)包內(nèi)容了:Eytnan 2.7 . a (detauit, Apr 1U工3： 31： N專)MiiU v.ibUD 3N tit fint5 11J on win *32 Type copyright, r，rcxeditsrr ar license 0 rv for more infourjatian. RESTART jend： GET / HTTP/1lrnAccepu-Enc0dingi xdenuicyrXnHos： www.google,