整理的用Python編寫的爬蟲文檔

1、Python爬蟲入門教程Python網(wǎng)絡(luò)爬蟲（一）：網(wǎng)絡(luò)爬蟲的定義網(wǎng)絡(luò)爬蟲，即Web Spider，是一個很形象的名字。把互聯(lián)網(wǎng)比喻成一個蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁的。從網(wǎng)站某一個頁面（通常是首頁）開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁 中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網(wǎng)頁，這樣一直循環(huán)下去，直到把這個網(wǎng)站所有的網(wǎng)頁都抓取完為止。如果把整個互聯(lián)網(wǎng)當(dāng)成一個網(wǎng)站， 那么網(wǎng)絡(luò)蜘蛛就可以用這個原理把互 聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。這樣看來，網(wǎng)絡(luò)爬蟲就是一個爬行程序，一個抓取網(wǎng)頁的程序。網(wǎng)絡(luò)爬蟲的基本操作是抓取網(wǎng)頁。那么如何才能隨心

2、所欲地獲得自己想要的頁面？我們先從URL開始。二、瀏覽網(wǎng)頁的過程抓取網(wǎng)頁的過程其實(shí)和讀者平時使用 IE瀏覽器瀏覽網(wǎng)頁的道理是一樣 的。比如說你在瀏覽器的地址欄中輸入這個地址。打開網(wǎng)頁的過程其實(shí)就是瀏覽器作為一個瀏覽的“客戶端”，向服務(wù)器 端發(fā)送了 一次請求，把服務(wù)器端的文件“抓”到本地，再進(jìn)行解釋、 展現(xiàn)。HTML是一種標(biāo)記語言，用標(biāo)簽標(biāo)記內(nèi)容并加以解析和區(qū)分。瀏覽器的功能是將獲取到的 HTML代碼進(jìn)行解析，然后將原始的代碼 轉(zhuǎn)變成我們直接看到的網(wǎng)站頁面。三、URI和URL的概念和舉例簡單的來講，URL就是在瀏覽器端輸入的 這個字符串。在理解URL之前，首先要理解 URI的概念。什么是URI

3、？Web上每種可用的資源，如 HTML文檔、圖像、視頻片段、程序等都 由一個通用資源標(biāo)志符(Universal Resource Identifier， URI)進(jìn)行定位。URI通常由三部分組成： 訪問資源的命名機(jī)制； 存放資源的主機(jī)名； 資源自身 的名稱，由路徑表示。如下面的URI:.c n/myhtml/html1223/我們可以這樣解釋它： 這是一個可以通過 HTTP協(xié)議訪問的資源， 位于主機(jī) 上， 通過路徑“ /html/html40 ”訪問。四、URL的理解和舉例URL 是 URI 的一個子集。它是 Uniform Resource Locator的縮寫，譯為“統(tǒng)一資源定位符”。通俗

4、地說，URL是In ternet上描述信息資源的字符串，主要用在各種WWW 客戶程序和服務(wù)器程序上。采用URL可以用一種統(tǒng)一的格式來描述各種信息資源，包括文件、服務(wù)器的地址和目錄等。URL的一般格式為（帶方括號的為可選項(xiàng)）：protocol : host name:port / path / ;parameters?query#fragme ntURL的格式由三部分組成： 第一部分是協(xié)議（或稱為服務(wù)方式）。 第二部分是存有該資源的主機(jī)IP地址（有時也包括端口號）。 第三部分是主機(jī)資源的具體地址，如目錄和文件名等。第一部分和第二部分用“ :/ ”符號隔開，第二部分和第三部分用“ /”符號隔開。第

5、一部分和第二部分是不可缺少的，第三部分有時可以省略。五、URL禾口 URI簡單比較URI屬于URL更低層次的抽象，一種字符串文本標(biāo)準(zhǔn)。換句話說，URI屬于父類，而URL屬于URI的子類。URL是URI的一個子集。URI的定義是：統(tǒng)一資源標(biāo)識符；URL的定義是：統(tǒng)一資源定位符。二者的區(qū)別在于，URI表示請求服務(wù)器的路徑，定義這么一個資源。而URL同時說明要如何訪問這個資源（http:/ ）。下面來看看兩個URL的小例子。1. HTTP協(xié)議的URL示例：使用超級文本傳輸協(xié)議HTTP，提供超級文本信息服務(wù)的資源。例: 其計算機(jī)域名為 。超級文本文件（文件類型為.html）是在目錄/channel下的

6、welcome.htm 。這是中國人民日報的一臺計算機(jī)。例：http:/www.roL其計算機(jī)域名為 。超級文本文件（文件類型為.html）是在目錄/talk下的talk1.htm。這是瑞得聊天室的地址，可由此進(jìn)入瑞得聊天室的第1室。2 .文件的URL用URL表示文件時，服務(wù)器方式用file表示，后面要有主機(jī)IP地址、文件的存取路 徑（即目錄）和文件名等信息。有時可以省略目錄和文件名，但“/”符號不能省略。例: file:/上面這個 URL代表存放在主機(jī) 上的pub/files/目錄下的一個文件，文件名是 foobar.txt。例: file:/代表主機(jī) 上的目錄/pub。例：file:/代表

7、主機(jī)的根目錄。爬蟲最主要的處理對象就是URL,它根據(jù)URL地址取得所需要的文件內(nèi)容，然后對它 進(jìn)行進(jìn)一步的處理。因此，準(zhǔn)確地理解 URL對理解網(wǎng)絡(luò)爬蟲至關(guān)重要。Python網(wǎng)絡(luò)爬蟲(二)：利用urllib2通過指定的URL抓取網(wǎng)頁內(nèi)容版本號：Python2.7.5 ，Python3改動較大，各位另尋教程。所謂網(wǎng)頁抓取，就是把 URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中讀取出 來，保存到本地。類似于使用程序模擬IE瀏覽器的功能，把URL作為HTTP請求的內(nèi)容 發(fā)送到服務(wù)器端，然后讀取服務(wù)器端的響應(yīng)資源。在Python中，我們使用urllib2這個組件來抓取網(wǎng)頁。urllib2 是 Python 的一個

8、獲取 URLs(Uniform Resource Locators) 的 組件。它以urlopen函數(shù)的形式提供了一個非常簡單的接口。最簡單的urllib2的應(yīng)用代碼只需要四行。我們新建一個文件urllib2_test01.py來感受一下urllib2的作用：pyth on view pla in copy c1. import urllib22. response = urllib2.urlopen(')3. html = response.read()4. print html按下F5可以看到運(yùn)行的結(jié)果:E：怙 £dit £hpl Rubug Qp 甘 <

9、?沖 Wi ndcrw?旦日”"£xu»M - p ; ixg .bxc pht tp : /nflcliclc.baidu . ccm/ gi£?pid"201ip j"www£t*v_sid"22 亠 1914 495178E_22504" + sQ * Mpath+p+ R4c-*+new Date (i getliite(:return true ; if (/Xbbdime- 12/.tejE (d< cocicie) docmnent.write ( script arc-"

10、1 + "http: /si. heldLat,±c. Cuin/r/ww/d-ac?ic/stat j.u/jJnu/ j mf垃itae bl57£449 . j a,h r *" eh.audet, " utE-3,*></3cnpT：>') ; (funerlon () var u G ("h*) . q皀rElemem:已呂YTagName “迪” 1 * nv = G (*nv" J .gstEleaenrsByTagNMie "a", It Q"lk&qu

11、ot;) . getElemenrsByTagNaiM ("a*) f un = *"fvarco nv = l "newsh "z 丄” *乞11丄且直£|"” "ups" ” *甘工3 己a"” "map ”；var t j Lk = N bailee* , hhwe-n1cu , nhaal23,1,; un = fads . tzonzm . .3er = n 、 k *: bdm _ uamm - :jner ;壬unu上ian addTJ|obJ)addEV(obj, "i

12、nous edown *, function(evar e = e | | window.eve nt;va r tar jet = e ,target | | e. sTGELem&nt; ns c( 'fm' : 1 beh3 1 , 1 tatr' : target .nair. |' t; user*t TuJ' ; tncadtURTCcirp Cinm& tun j ):); fox： I pair 1 O ; i < u . len-gth; ) + + addT-J (u i );fox (var i = Q; 1

13、< irr. lngch; 1+4) v i »name = ,_c j_" + _rv i ; J for var i = ; 1 < 1 上.length; i+ lki naice 弓'tj_' + tj_llci;) () ; (function () var lin les = i' t：_nwsT : 'vora1, 1 uttp: /news -E>aiat < com/ns?tn=new34=1 sie=utf-3' 11 j_tieti81: 1 tw' 1 http: Z/tieb*

14、 ,tw3idvi »com/f f ' tj_7nid3o' : * wnrd', 'http: /zhidao. baidii* cam/sear匚h?p:i0"r:=l(U兀=0匸j_rrp3 *;1 ksy1, 'htp;/music uom/M 電孔 r 匸紋？' t* t j_irig': 1 word', 'http:/image .baidu*com/i 7cc-2013265 52 tcl_2 fir:c_l£lin_-l fiat- lttn-baiduimagcLiffy

15、ptI £fm_£pvLz-0 tic-u tf-31,1tj_vidto': 'word* t 'http;/video.baidu.cam/7?ec-301939888ifl"2S4ie-utf-e 1 f +1j_mip- : + wd' j, fhrtp: /itaf .baidu. eoit/?rcwniap«l£ie»ut；-8£B«fl* , ' zjaiJce': 1 word*, 'http；/ba1 J_wenl£u' :

16、 'wardF T 'here :/wentu.baidu.ccia/sieaich?ie=utf-B1 ;var donArr = G (' -v') , G (* Ik* j, G(' cph) 1 j tw G(1 kw1; for (var 1 = 0r 1 = damArr.length; 1 < 1; 1+4-) domArx 1 .omaemsedown = function (e (e = e | | windoiif. even; var target = e . target | | e . sr uE1 mm呂nt * nao

17、rje = tar get . getAttibut e (' name " i t z. teiEB = 1 inks J nair.e , eg = new RegEitp (T 5+| s4-x24 1 , tey = ：<w. value, replace (regf 1 1 J ; if |iterrs) if (Jcy.length >Q) var vd = ivenis 0 f uxl = icercs 1, irl = url + ( name = 11 j inapT ? encodeUR ICoipcncnt ('S' + vr

18、d + '- + kc/ ; i ( urlindcxOf ( '?')> 0 ?p4 ;、？、> + wd +* =T + encodeURIComponent fleevl 1 1 ;taraet= url; 1 ele taraet . href = taroe t.hnf .irimtuh (nuw RegExp( A/+*i>包i(dr .canT) QI; 1右& ns_c ( 'fmT; 'behah, *tabb : narre* query* : encodeURIComponfint (key, '

19、un* : ecodeCRlomporent (bd3 u onun.'uyFT | |* ');) () ; *dHEV (wf i:nctian () k. foeufl ()>；!?. onurlcmdfiiTictiern () ) ;</sciiptXBcript type-"text/javascriptn src"nhttp:/sl. bdstaticcom/r/w ww/cache/ scatic/global/j s/tangrair.-l 3 Eul. O_C7038476 jm""；/話匸工：口匕

20、7;<且:;工ip匸 type"1* texs/jjavascEipcrh arcHhctp i / /al *Jcd3tatj.e * ccrt/r/www/eache/at-fitic/ujjer/ja/u_75caac :J- . i? "_- r，. Li - Z'二二二二:二 n： A：； :一 11.己：.SC Lk_-r，>J?:巴 kh 二：匕二一Z 己二,01 Jan 2000 00 ：0D; 00 GMT,f;batdu. on (doerr.eri:. forsi3 0 f 'tsbJtrj_thr func-icn ) v

21、ar t=n*w Date l . getlutt(); aocunen.cooxie = rhwww_51=-< + _t +*;expire3=hh + nev uate(t + 10000 ) . t flCMT St * i nj ( 匕 uh(e) 1 / s z- r ipt x/ritirJ.>-i !61S7OGS f 2 、我們可以打開百度主頁，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器均可），會發(fā)現(xiàn)也是完全一樣的內(nèi)容。也就是說，上面這四行代碼將我們訪問百度時瀏覽器收到的代碼們?nèi)?打印了出來。這就是一個最簡單的urllib2的例子。除了 "http:&q

22、uot; , URL同樣可以使用"ftp:" , "file:"等等來替代。HTTP是基于請求和應(yīng)答機(jī)制的：客戶端提出請求，服務(wù)端提供應(yīng)答。urllib2 用一個Request對象來映射你提出的 HTTP請求。在它最簡單的使用形式中你將用你要請求的地址創(chuàng)建一個Request對象，通過調(diào)用urlopen并傳入Request對象，將返回一個相關(guān)請求response 對象，這個應(yīng)答對象如同一個文件對象，所以你可以在Response中調(diào)用.read()。我們新建一個文件urllib2_test02.py來感受一下：pytho nview pla in copy

23、丄1. import urllib22. req = urllib2.Request('')3. response = urllib2.urlopen(req)4. the_page = response.read()5. print the_page可以看到輸出的內(nèi)容和testO1是一樣的。urllib2使用相同的接口處理所有的 URL頭。例如你可以像下面那樣創(chuàng) 建一個ftp請求。pyth onview pla in copy c1. req = urllib2.Request('ftp:/)在HTTP請求時，允許你做額外的兩件事。1. 發(fā)送data表單數(shù)據(jù) 這個內(nèi)容

24、相信做過 Web端的都不會陌生，有時候你希望發(fā)送一些數(shù)據(jù)到 URL（通常URL與CGI通用網(wǎng)關(guān)接口 腳 本，或其他WEB應(yīng)用程序掛接）。在HTTP中,這個經(jīng)常使用熟知的 POST請求發(fā)送。這個通常在你提交一個 HTML表單時由你的瀏覽器來做。并不是所有的POSTs都來源于表單，你能夠使用 POST提交任意的數(shù) 據(jù)到你自己的程序。一般的HTML表單，data需要編碼成標(biāo)準(zhǔn)形式。然后做為 data參數(shù) 傳到Request對象。編碼工作使用urllib的函數(shù)而非urllib2。我們新建一個文件urllib2_test03.py來感受一下：pytho n view pla in copy £

25、1.importurllib2.importurllib23.4.url ='5.6.values= 'name' : 'WHY',7.'location':'SDU',8.'language':'Python' 9.10.data =urllib.urlencode(values)#編碼工作11.req = urllib2.Request(url, data)#發(fā)送請求同時傳data表單12.response = urllib2.urlopen(req)#接受反饋的信息13.the_pag

26、e = response.read()#讀取反饋的內(nèi)容如果沒有傳送data參數(shù)，urllib2使用GET方式的請求。GET和POST請求的不同之處是 POST請求通常有"副作用"，它們會由于某種途徑改變系統(tǒng)狀態(tài)（例如提交成堆垃圾到你的門口 ）Data同樣可以通過在 Get請求的URL本身上面編碼來傳送。pytho nview pla in copy r1. import urllib22. import urllib3.3. data = 5.4. data 'name' = 'WHY'5. data 'location' =

27、 'SDU'6. data 'language'=卩ython'9.7. url_values = urllib.urlencode(data)8. print url_values12.9. name=Somebody+Here&language=Python&location=Northampton10. url = '11. full_url = url +'?'+ url_values16.17. data = urllib2.open(full_url)這樣就實(shí)現(xiàn)了 Data數(shù)據(jù)的Get傳送。2. 設(shè)置H

28、eaders 到http 請求有一些站點(diǎn)不喜歡被程序(非人為訪問)訪問，或者發(fā)送不同版本的內(nèi) 容到不同的瀏覽器。默認(rèn)的 urllib2 把自己作為“ Python-urllib/x.y” (x 和 y 是 Python 主版本和次版本號例如Python-urllib/2.7)，這個身份可能會讓站點(diǎn)迷惑， 或者干脆不工作。瀏覽器確認(rèn)自己身份是通過User-Age nt頭，當(dāng)你創(chuàng)建了一個請求對象，你可以給他一個包含頭數(shù)據(jù)的字典。下面的例子發(fā)送跟上面一樣的內(nèi)容，但把自身模擬成In ternet Explorer(多謝大家的提醒，現(xiàn)在這個 Demo已經(jīng)不可用了，不過原理還是那樣的)。python vi

29、ew plaincopy1. import urllib2. import urllib23.3. url = '5.4. user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'7.values = 'name' : 'WHY',8.'location':'SDU',9.'language':'Python' 10.11.headers = 'User-Agent':user_agent 12

30、. data = urllib.urlencode(values)13. req = urllib2.Request(url, data, headers)14. response = urllib2.urlopen(req)15. the_page = response.read()Python網(wǎng)絡(luò)爬蟲(三)：異常的處理和HTTP狀態(tài)碼的分類先來說一說HTTP的異常處理問題。當(dāng)urlopen 不能夠處理一個 response 時，產(chǎn)生 urlError 。不過通常的Python APIs異常如ValueError,TypeError 等也會同時產(chǎn) 生。HTTPError是urlError的子

31、類，通常在特定 HTTP URLs中產(chǎn)生。1. URLError通常，URLError在沒有網(wǎng)絡(luò)連接(沒有路由到特定服務(wù)器)，或者服務(wù)器 不存在的情況下產(chǎn)生。這種情況下，異常同樣會帶有"reason"屬性，它是一個tuple (可以理 解為不可變的數(shù)組)，包含了一個錯誤號和一個錯誤信息我們建一個urllib2_test06.py來感受一下異常的處理:pyth onview pla in copy1.import urllib22.3.req = urllib2.Request(''13#4.5.try : urllib2.urlopen(req)6.7.ex

32、cept urllib2.URLError, e:8.print e.reason按下F5，可以看到打印出來的內(nèi)容是：Errno 11001 getaddri nfo failed也就是說，錯誤號是 11001，內(nèi)容是getaddrinfo failed2. HTTPError服務(wù)器上每一個HTTP應(yīng)答對象response包含一個數(shù)字”狀態(tài)碼"。 有時狀態(tài)碼指出服務(wù)器無法完成請求。默認(rèn)的處理器會為你處理一部分 這種應(yīng)答。例如:假如response是一個”重定向”，需要客戶端從別的地址獲取文檔，urllib2將為你處理。其他不能處理的，urlopen會產(chǎn)生一個HTTPError。典型的

33、錯誤包含"404"（頁面無法找到），"403"（請求禁止），和"401"（帶 驗(yàn)證請求）。HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應(yīng)的狀態(tài)。比如客戶端向服務(wù)器發(fā)送請求，如果成功地獲得請求的資源，則返回的狀態(tài)碼為200，表示響應(yīng)成功。如果請求的資源不存在，則通常返回404錯誤。HTTP狀態(tài)碼通常分為5種類型，分別以15五個數(shù)字開頭，由3位 整數(shù)組成：200 :請求成功處理方式：獲得響應(yīng)的內(nèi)容，進(jìn)行處理201 :請求完成，結(jié)果是創(chuàng)建了新資源。新創(chuàng)建資源的URI可在響應(yīng)的實(shí)體中得到處理方式：爬蟲中不會遇到202 :請求被接受，但處理尚未完成

34、處理方式：阻塞等待204 :服務(wù)器端已經(jīng)實(shí)現(xiàn)了請求， 但是沒有返回新的信 息。如果客戶是 用戶代理，則無須為此更新自身的文檔視圖。處理方式：丟棄300 :該狀態(tài)碼不被HTTP/1.0的應(yīng)用程序直接使用， 只是作為3XX類型回應(yīng)的默認(rèn)解釋。存在多個可用的被請求資源。處理方式：若程序中能夠處理，則進(jìn)行進(jìn)一步處理，如果程序中不能處理，則丟棄301 :請求到的資源都會分配一個永久的URL，這樣就可以在將來通過該URL來訪問此資源處理方式：重定向到分配的 URL302 :請求到的資源在一個不同的 URL處臨時保存處理方式：重定向到臨時的URL304請求的資源未更新處理方式：丟棄400非法請求處理方式：丟

35、棄401未授權(quán)處理方式：丟棄403禁止處理方式：丟棄404沒有找到處理方式：丟棄5XX回應(yīng)代碼以“ 5”開頭的狀態(tài)碼表示服務(wù)器端發(fā)現(xiàn)自己出現(xiàn)錯誤, 不能繼續(xù)執(zhí)行請求處理方式：丟棄HTTPError實(shí)例產(chǎn)生后會有一個整型'code'屬性，是服務(wù)器發(fā)送的相關(guān) 錯誤號。Error Codes 錯誤碼因?yàn)槟J(rèn)的處理器處理了重定向（300以外號碼），并且100-299范圍的 號碼指示成功，所以你只能看到400-599的錯誤號碼。BaseHTTPServer.BaseHTTPRequestHa ndler.resp on se是一個很有用的應(yīng)答號碼字典，顯示了 HTTP協(xié)議使用的所有的應(yīng)答

36、號。當(dāng)一個錯誤號產(chǎn)生后，服務(wù)器返回一個HTTP錯誤號，和一個錯誤頁面。 你可以使用HTTPError實(shí)例作為頁面返回的應(yīng)答對象response。這表示和錯誤屬性一樣，它同樣包含了 read,geturl,和info方法。我們建一個urllib2_test07.py 來感受一下：pyth on view pla in copy1.import urllib22.req = urllib2.Request(')3.4.try :5.urllib2.urlopen(req)6.7.except urllib2.URLError, e:8.9.print e.code10.#print e.r

37、ead()按下F5可以看見輸出了 404的錯誤碼，也就說沒有找到這個頁面3. Wrapp ing所以如果你想為HTTPError或URLError做準(zhǔn)備，將有兩個基本的辦法 推薦使用第二種。我們建一個urllib2_test08.py來示范一下第一種異常處理的方案：pyth onview pla in copy1. from urllib2 import Request, urlopen, URLError, HTTPError2.2. req = Request( ')4.3. try :6.4. response = urlopen(req)8.5. except HTTPErro

38、r, e:10.6. print 'The server couldn't fulfill the request.'12.7. print 'Error code: ', e.code14.8. except URLError, e:16.17.print'We failed to reach a server.'18.19.print'Reason: ', e.reason20.21.else :22.print'No exception was raised.'23.# everything is f

39、ine和其他語言相似，try之后捕獲異常并且將其內(nèi)容打印出來。這里要注意的一點(diǎn)，except HTTPError必須在第一個，否則 exceptURLError將同樣接受到HTTPError。因?yàn)镠TTPError是URLError的子類，如果 URLError在前面它會捕捉到所有的 URLError （包括 HTTPError ）。我們建一個urllib2_test09.py來示范一下第二種異常處理的方案:pyth on view pla in copy..4.25.26.f

40、rom urllib2 import Request, urlopen, URLError, HTTPError req = Request( ')try :response = urlopen(req)except URLError, e:if hasattr(e, 'code'):print 'The server couldn't fulfill the request.'print 'Error code: ', e.codeelif hasattr(e, 'reason' ):print 'We

41、failed to reach a server.'print 'Reason: ', e.reasonelse :print 'No exception was raised.'# everything is finePython網(wǎng)絡(luò)爬蟲(四)：Opener與Handler的介紹和實(shí)例應(yīng)用更好的學(xué)習(xí)網(wǎng)址：.uk/pytho n/articles/urllib2.shtml#open ers-a nd-ha ndlers18以下為個人學(xué)習(xí)筆記。在開始后面的內(nèi)容之前，先來解釋一下urllib2中的兩個個方法：i

42、nfoand geturlurlopen 返回的應(yīng)答對象response(或者HTTPError實(shí)例)有兩個很有用的方法info()和geturl()1. geturl()這個返回獲取的真實(shí)的URL,這個很有用，因?yàn)閡rlopen(或者opener對象使用的)或許會有重定向。獲取的URL或許跟請求URL不同。以人人中的一個超級鏈接為例，我們建一個urllib2_test10.py來比較一下原始URL和重定向的鏈接：pyth onview pla in copy1. from urllib2 import Request, urlopen, URLError, HTTPError2.3.2. o

43、ld_url = '3. req = Request(old_url)4. response = urlopen(req)5. print 'Old url :'+ old_url6. print 'Real url :'+ response.geturl()運(yùn)行之后可以看到真正的鏈接指向的網(wǎng)址：X" 才"f.'Vk 7 士 +>»Old url :Real url :hutp: /ww palyu edu>» I -""2.i nfo()這個返回對象的字典對象，該字典描述了

44、獲取的頁面情況。通常是服務(wù)器發(fā)送的特定頭 headers。目前是httplib.HTTPMessage 實(shí)例。經(jīng)典的 headers 包含"Content-length", "Content-type"，和其他內(nèi)容。我們建一個urllib2_test11.py來測試一下info的應(yīng)用：pyth onview pla in copy1. from urllib2 import Request, urlopen, URLError, HTTPError2.2. old_url = ''3. req = Request(old_url)4. r

45、esponse = urlopen(req)5. print 'lnfo():'6. print ()運(yùn)行的結(jié)果如下，可以看到頁面的相關(guān)信息： |>»Inlo():Davs: Tue, 14 May 2013 DC!10:01 GMTServer: BWS/1.0CarLtenr-匚色 “©th: 10450ContentTyp已, text/ht.ni-1.; cii&=set;=iLtfBCacheContra 1 : priira'te5它匸-Cookie: BDSVRTH=4; path=/Set-Co

46、okie: H_PS_PSSID-2-42S_232_l-4_lS5_17Sfl_224; path-/; domain-, baldu.coniSec-Co Okie: 5ZDl；ZD=533 9D8D917EB5C3DEA80DAJ9-6B7A3ESA : ZG=1; e2cpires=Tue , le-Hay-4 06 ：10;02 GMT; pavti=/' dorriain=心dirExpires; Tue 工號 May 2013 Q6;10;01 GMTP3F：匚F" OTI DSP COR IVA OUF IND COM rConnec匸丄on: Clasei下

47、面來說一說ullib2中的兩個重要概念：Openers和Handlers。1.Ope ners當(dāng)你獲取一個 URL 你使用一個 opener（ 個 urllib2.OpenerDirector的實(shí)例）。正常情況下，我們使用默認(rèn) opener ：通過urlopen 。但你能夠創(chuàng)建個性的 openers 。2. Ha ndlesOpeners使用處理器handlers，所有的“繁重”工作由handlers處理。每個handlers知道如何通過特定協(xié)議打開 URLs，或者如何處理URL 打開時的各個方面。例女口 HTTP重定向或者HTTP cookies。如果你希望用特定處理器獲取 URLs你會想創(chuàng)

48、建一個openers ，例如獲 取一個能處理cookie的opener，或者獲取一個不重定向的 opener。要創(chuàng)建一個opener，可以實(shí)例化一個OpenerDirector ，然后調(diào)用.add_handler(some_handler_instanee)。同樣，可以使用build_ope ner ，這是一個更加方便的函數(shù)，用來創(chuàng)建 opener對象，他只需要一次函數(shù)調(diào)用。build_ope ner默認(rèn)添加幾個處理器，但提供快捷的方法來添加或更新默認(rèn)處理器。其他的處理器handlers你或許會希望處理代理，驗(yàn)證，和其他常用但 有點(diǎn)特殊的情況。install_opener用來創(chuàng)建(全局)默認(rèn)o

49、pener 。這個表示調(diào)用urlopen將使用你安裝的opener。Opener 對象有一個 open 方法。該方法可以像urlopen函數(shù)那樣直接用來獲取urls :通常不必調(diào)用in stall_ope ner ，除了為了方便。說完了上面兩個內(nèi)容，下面我們來看一下基本認(rèn)證的內(nèi)容，這里會用到上面提及的Opener禾口 Handler。Basic Authe nticati on基本驗(yàn)證為了展示創(chuàng)建和安裝一個handler，我們將使用HTTPBasicAuthHa ndler 。當(dāng)需要基礎(chǔ)驗(yàn)證時，服務(wù)器發(fā)送一個header（401錯誤碼）請求驗(yàn)證。這個指定了 scheme和一個 realm &#

50、39;，看起來像這樣：Www-authe nticate: SCHEME realm二"REALM".例如Www-authe nticate: Basic realm二"cPa nel Users"客戶端必須使用新的請求，并在請求頭里包含正確的姓名和密碼。這是“基礎(chǔ)驗(yàn)證”，為了簡化這個過程，我們可以創(chuàng)建一個HTTPBasicAuthHandler的實(shí)例，并讓 opener 使用這個 handler 就可以啦。HTTPBasicAuthHandler使用一個密碼管理的對象來處理URLs和realms來映射用戶名和密碼。如果你知道realm（從服務(wù)器發(fā)送來的

51、頭里）是什么，你就能使用HTTPPasswordMgr 。通常人們不關(guān)心realm是什么。那樣的話，就能用方便的HTTPPasswordMgrWithDefaultRealm 。這個將在你為URL指定一個默認(rèn)的用戶名和密碼。這將在你為特定realm提供一個其他組合時得到提供。我們通過給realm參數(shù)指定None提供給add_password 來指示這種情況。最高層次的URL是第一個要求驗(yàn)證的 URL。你傳給.add_password()更深層次的URLs將同樣合適。說了這么多廢話，下面來用一個例子演示一下上面說到的內(nèi)容。我們建一個urllib2_test12.py來測試一下info的應(yīng)用：py

52、th on view pla in copy1. # -*- coding: utf-8 -*-2. import urllib23.3. #創(chuàng)建一個密碼管理者4. password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()6.5. #添加用戶名和密碼8.6. top_level_url = "10.7. #如果知道realm,我們可以使用他代替''None''.8. # password_mgr.add_password(None, top_level_url, username, passwor

53、d)9. password_mgr.add_password(None, top_level_url,'why' , '1223')14.10. #創(chuàng)建了一個新的 handler11. handler = urllib2.HTTPBasicAuthHandler(password_mgr)17.12. # 創(chuàng)建"opener" (OpenerDirector實(shí)例)13. opener = urllib2.build_opener(handler)20.14. a_url = '22.15. #使用opener 獲取一個 URL16.

54、opener.open(a_url)25.17. # 安裝 opener.18. #現(xiàn)在所有調(diào)用 urllib2.urlopen將用我們的opener.19. urllib2.install_opener(opener)29.30.注意：以上的例子我們僅僅提供我們的HHTPBasicAuthHa ndler 給build_ope ner默認(rèn)的 openers 有正常狀況的 handlers : ProxyHandler ,UnknownHandler, HTTPHandler , HTTPDefaultErrorHandler,HTTPRedirectHandler, FTPHandler ,

55、 FileHandler ,HTTPErrorProcessor 。代碼中的top_level_url實(shí)際上可以是完整 URL(包含"http:"，以及主機(jī)名及可選的端口號)。例如： 。也可以是一個“ authority ”(即主機(jī)名和可選的包含端口號)。例口：“ ” or “:8080 ”。后者包含了端口號。Python網(wǎng)絡(luò)爬蟲(五)：urllib2的使用細(xì)節(jié)與抓站技巧前面說到了 urllib2的簡單入門，下面整理了一部分urllib2的使用細(xì)節(jié)。1. Proxy 的設(shè)置urllib2默認(rèn)會使用環(huán)境變量http_proxy 來設(shè)置 HTTP Proxy。如果想在程序中明確控制Proxy而不受環(huán)境變量的影響，可以使用代理。新建test14來實(shí)現(xiàn)一個簡單的代理Demo :pyth on view pla in copy1. import urllib22. enable_proxy = True3. proxy_handler = urllib2.ProxyHandler("http"