Python編程基礎(chǔ)與應(yīng)用教案0903-網(wǎng)絡(luò)爬蟲庫(kù)的應(yīng)用-requests的安裝和簡(jiǎn)介

1、Python編程基礎(chǔ)與應(yīng)用教案0903-網(wǎng)絡(luò)爬蟲庫(kù)的應(yīng)用requests的安裝和簡(jiǎn)介Python編程基礎(chǔ)與應(yīng)用教案0903-網(wǎng)絡(luò)爬蟲庫(kù)的應(yīng)用requests的安裝和簡(jiǎn)介Python編程基礎(chǔ)與應(yīng)用教案0903-網(wǎng)絡(luò)爬蟲庫(kù)的應(yīng)用requests的安裝和簡(jiǎn)介Python編程基礎(chǔ)與應(yīng)用電子教案課題requests的安裝和簡(jiǎn)介授課人課型實(shí)訓(xùn)課程Python編程基礎(chǔ)與應(yīng)用班級(jí)課時(shí)2上課時(shí)間上課地點(diǎn)教學(xué)目標(biāo)認(rèn)識(shí)爬蟲的概念和用途認(rèn)識(shí)requests的概念和用途掌握requests的安裝方法掌握requests庫(kù)的常用函數(shù)重 點(diǎn)難 點(diǎn)學(xué)情分析教學(xué)方法演示法、做中學(xué)、項(xiàng)目教學(xué)法教學(xué)準(zhǔn)備多媒體電腦機(jī)房，云教學(xué)平臺(tái)環(huán)

2、境，投影儀教學(xué)過程與內(nèi)容設(shè)計(jì)意圖時(shí)間環(huán)節(jié)一：爬蟲簡(jiǎn)介1、簡(jiǎn)介在學(xué)習(xí)Python開發(fā)的過程中，一個(gè)比較常見的案例就是采用Python開發(fā)爬蟲。用Python開發(fā)爬蟲是比較方便的，尤其在當(dāng)前的大數(shù)據(jù)時(shí)代，通過爬蟲來獲取Web數(shù)據(jù)是一個(gè)比較常見的數(shù)據(jù)采集方式，所以在大數(shù)據(jù)應(yīng)用的早期，通過Python開發(fā)爬蟲是不少Python程序員的重要工作內(nèi)容之一。Python爬蟲常用框架或者模塊有以下一些：Scrapy、PySpider、Crawley、Portia、Newspaper、requests、Beautiful Soup、Grab、Cola和selenium。其中Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)，提

3、取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 可以應(yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中。它是很強(qiáng)大的爬蟲框架，可以滿足簡(jiǎn)單的頁面爬取，比如可以明確獲知url pattern的情況。2、requests的安裝和簡(jiǎn)介requests庫(kù)是一個(gè)常用的用于http請(qǐng)求的模塊，它使用python語言編寫，可以方便地對(duì)網(wǎng)頁進(jìn)行爬取，是學(xué)習(xí)python爬蟲的較好的http請(qǐng)求模塊。它的安裝方法很簡(jiǎn)單，可以直接使用PIP進(jìn)行安裝： pip install requests環(huán)節(jié)二：requests庫(kù)常用的函數(shù)和屬性1、requests庫(kù)常用的函數(shù)方法說明requests.request()構(gòu)造一個(gè)請(qǐng)求，支

4、持以下各種方法requests.get()獲取html的主要方法requests.head()獲取html頭部信息的主要方法requests.post()向html網(wǎng)頁提交post請(qǐng)求的方法requests.put()向html網(wǎng)頁提交put請(qǐng)求的方法requests.patch()向html提交局部修改的請(qǐng)求requests.delete()向html提交刪除請(qǐng)求2、response對(duì)象的一些屬性屬性說明r.status_codehttp請(qǐng)求的返回狀態(tài)，若為200則表示請(qǐng)求成功。r.texthttp響應(yīng)內(nèi)容的字符串形式，即返回的頁面內(nèi)容r.encoding從http header 中猜測(cè)的相

5、應(yīng)內(nèi)容編碼方式r.apparent_encoding從內(nèi)容中分析出的響應(yīng)內(nèi)容編碼方式（備選編碼方式）r.contenthttp響應(yīng)內(nèi)容的二進(jìn)制形式環(huán)節(jié)三：范例1、requests的基本方法：抓取百度首頁的信息其中代碼請(qǐng)參考課本。2、使用requests下載一個(gè)網(wǎng)頁到本地其中代碼請(qǐng)參考課本。效果如下：環(huán)節(jié)四：學(xué)生實(shí)訓(xùn)和練習(xí)完成環(huán)節(jié)三的實(shí)訓(xùn)。代碼請(qǐng)參考課本。環(huán)節(jié)五：小結(jié)和布置作業(yè)1、小結(jié)requests庫(kù)支持非常豐富的鏈接訪問功能，包括域名和URL的獲取、HTTP長(zhǎng)連接和連接緩存、HTTP會(huì)話和cookie保持、瀏覽器的SSL驗(yàn)證、基本的制作摘要認(rèn)證、有效的鍵值對(duì)cookie記錄、自動(dòng)解壓縮、自動(dòng)內(nèi)容解碼、文件分塊上傳、HTTP和HTTPS代理功能、連接超時(shí)處理、流數(shù)據(jù)下載等。Req