用requests庫和RE模塊完成淘寶比價(jià)

1、目錄認(rèn)識(shí)requests庫HTTP協(xié)議用urllib實(shí)現(xiàn)簡(jiǎn)單的客戶端訪問環(huán)境搭建用requests實(shí)現(xiàn)簡(jiǎn)單的客戶端訪問目錄用requests庫發(fā)送請(qǐng)求帶參數(shù)的請(qǐng)求請(qǐng)求的異常處理響應(yīng)的基本API下載圖片和文本文件目錄Requests庫示例匯總HTTP認(rèn)證Session和Cookies爬蟲引發(fā)的Robots協(xié)議用requests庫和RE模塊完成淘寶比價(jià)用requests庫和RE模塊完成淘寶比價(jià)151.1準(zhǔn)備工作1.2 設(shè)計(jì)程序結(jié)構(gòu)1.3 代碼實(shí)現(xiàn)1.1準(zhǔn)備工作準(zhǔn)備工作在淘寶搜索書包關(guān)鍵字：https:/ t e m . 2 & s o u rc e I d = t b . i n d e

2、x & s e a r c h _ t y p e = i t e m & s s i d = s 5 -e&commend=all&imgfile=&q=%E4%B9%A6%E5%8C%85&suggest=0_1&_input_charset=utf-8&wq=%E4%B9%A6&suggest_query=%E4%B9%A6&source=suggest&bcoffset=4&ntoffset=4&p4ppushleft=1%2C48&s=44準(zhǔn)備工作第三頁：https:/ ，

3、發(fā)現(xiàn)raw_title和view_price分別用來表達(dá)商品名稱和價(jià)格，那么從頁面中抽取raw_title和view_price,用正則表達(dá)式更加合適。代碼實(shí)現(xiàn)編程實(shí)現(xiàn)在頁面中查找raw_title和view_price的值，并記錄至列表。標(biāo)紅的兩句代碼的作用：用eval去掉字符串的雙引號(hào)，再以：分隔raw_title、view_price和值部分，之后用下標(biāo)1僅取值部分。代碼實(shí)現(xiàn)代碼實(shí)現(xiàn)主程序部分，設(shè)定了要查詢的內(nèi)容及查詢深度，這里的深度意味著僅向下查找多少頁面。代碼實(shí)現(xiàn)# -*- coding:utf-8 -*-import requestsimport redef getHtmlText

4、(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return 代碼實(shí)現(xiàn)def parsePage(infolist,html): try: plt = re.findall(rview_price:d.*,html) tlt = re.findall(rraw_title:.*?,html) for i in range(len(plt): price = eval(plti.split(:)1)

5、title = eval(tlti.split(:)1) infolist.append(price,title) except: print 代碼實(shí)現(xiàn)def printGoodsList(infolist): tplt = :4t:8t:16 print(tplt.format(序號(hào),價(jià)格,商品名稱) count = 0 for g in infolist: count = count+1 print(tplt.format(count,g0,g1)代碼實(shí)現(xiàn)def main(): goods = 書包 depth = 2 start_url = https:/ inforList= for i in range(depth): try: url = start_url + $s=+str(44*i) html =getHtmlText(url) p