pythonhttplib2與urllib2包的介紹

1、python httplib2 與 urllib2 包的介紹(轉(zhuǎn)) 剛剛發(fā)現(xiàn)了一個(gè)比 urllib2 更好用的庫(kù) httplib2 ，可以比較簡(jiǎn) 單的解決本文遇到的一些問(wèn)題 最近用 urllib2 寫(xiě)了一個(gè)公司內(nèi)部用的腳 本這個(gè)腳本要訪問(wèn)一個(gè) webservice ，訪問(wèn)之前先要用 https 登陸拿到 cookie 再到另一個(gè)地方獲取一個(gè)臨時(shí)用的 idhttps 登陸，獲取 cookie 首先是 https 登陸，這段很好寫(xiě)，以前寫(xiě) 過(guò)校內(nèi)網(wǎng)發(fā)帖機(jī)， 輕車(chē)熟路， 用 cookielib 的 CookieJar 加上 HTTPCookieProcessor 搞定，代碼如下(其中那個(gè)超簡(jiǎn)單 的

2、lambda hack 簡(jiǎn)直絕了： #! /usr/bin/env python # -*- coding: utf-8 -*- import urllib, urllib2, sys, cookielib, re, os, json cj = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj) url_login = body = (username, 半瓶墨水 ), (password, 密碼 ),(action, login),)print login to get coo

3、kiesopener.open(url_login, urllib.urlencode(body) 處理 HTTP 403/500 Exception 但是后面用 cookie 去拿 id 的時(shí)候， 就老 是告訴我 403 錯(cuò)誤，然后 opener 就拋異常，想問(wèn)題想到頭 大，后來(lái)發(fā)現(xiàn)這個(gè)服務(wù)訪問(wèn)成功不是返回200 ，而是 403 ，所以看到 403 的時(shí)候不要管他，直接看 body 內(nèi)容就行了， 日，不知道為什么這么設(shè)計(jì)。怎么辦呢？查了一下 urllib2 的 文檔，發(fā)現(xiàn)可以繼承一下 HTTPCookieProcessor ，自己做 了一個(gè) NoExceptionCookieProcesse

4、r ，后來(lái)的過(guò)程中發(fā)現(xiàn) webservice 有時(shí)候返回 400 和 500 的時(shí)候 body 中包含有用 的信息，一并處理了： #! /usr/bin/env python # -*- coding: utf-8 -*- import urllib, urllib2, sys, cookielib, re, os, json #suppress the 403/400/500 exception and return the body class NoExceptionCookieProcesser(urllib2.HTTPCookieProcess or):def http_error_4

5、03(self, req, fp, code, msg, hdrs): return fpdef http_error_400(self, req, fp, code, msg, hdrs): return fp def http_error_500(self, req, fp, code,msg, hdrs):return fpcj = cookielib.CookieJar()opener = urllib2.build_opener(NoExceptionCookieProcesser(cj) url_login = body = (username, 半瓶墨水 ), (password

6、, 密碼 ),(action, login),) print login to get cookies opener.open(url_login, urllib.urlencode(body)urllib2 中用 PUT 進(jìn)行請(qǐng)求然后又發(fā)現(xiàn)一個(gè)問(wèn)題， webservice 在提交的 時(shí)候要求用 PUT 方式，并且只接受 json ， urllib2 默認(rèn)只支 持 GET 和 POST ， Google 了一下，發(fā)現(xiàn)可以創(chuàng)建 Request 對(duì)象， 然后更改它的請(qǐng)求方法 (get_method) 以及 header ，搞 定： request = urllib2.Request(url_ws, data=blablabla) request.add_header(Content-Type, application/json) request.add_header(Accept, application/json) request