Python網(wǎng)絡(luò)爬蟲基礎(chǔ)教程 教案 第4章 解析網(wǎng)頁數(shù)據(jù)

1、樣的教育，不一樣的品質(zhì)黑馬程序員樣的教育，不一樣的品質(zhì) HYPERLINK :/ itheima itheima 傳智教育旗下 高端IT教育品牌黑馬程序員Python網(wǎng)絡(luò)爬蟲基礎(chǔ)教程教學(xué)設(shè)計課程名稱: 授課年級:授課學(xué)期:教師發(fā)名:JSONPath的表達式定位目標(biāo)對象，并從目標(biāo)對象中提取想要的數(shù)據(jù)。四、歸納總結(jié)教師回顧本節(jié)課所講的內(nèi)容，并通過測試題的方式引導(dǎo)學(xué)生解答問題并給 予指導(dǎo)。五、布置作業(yè)教師通過身校教輔平臺( :/tch.ityxb )布置本節(jié)課作業(yè)以及卜力課 的預(yù)習(xí)作業(yè)。第五、六課時(上機練習(xí))上機練習(xí)主要針對本章中需要重點掌握的知識點，以及在程序中容易出錯 的內(nèi)容進行練習(xí)，通過上機

2、練習(xí)可以考察同學(xué)對知識點的掌握情況，對代碼的 熟練程度。上機一：(考察知識點為正那么表達式的語法、re模塊的使用、XPath語法)形式：單獨完成題目:根據(jù)以下要求練習(xí)re模塊、XPath和Ixml的使用，要求如下：(1)練習(xí)Python中re模塊的使用；(2)練習(xí)XPath語法的使用；(3)練習(xí)XPath Helper插件的使用；(4)練習(xí)Beautiful Soup匹配節(jié)點的使用。上機二：(考察知識點為JSONPath語法、jsonpath模塊的使用、和完成 實踐工程)形式：單獨完成題目：根據(jù)以下要求練習(xí)Selenium的使用，要求如下：(1)掌握jsonpath模塊的安裝；(2)練習(xí)jso

3、npath模塊的使用；(3)完成實踐工程采集黑馬程序員論壇網(wǎng)的帖子。教學(xué)后記黑馬程序員 HYPERLINK :/ itheima itheima 傳智教育旗下 高端IT教育品牌樣的教育，不一樣的品質(zhì)課題名稱第4章解析網(wǎng)頁數(shù)據(jù)計戈U 課時4課時教學(xué)引入通過對第3章的學(xué)習(xí)，我們已經(jīng)將整個靜態(tài)網(wǎng)頁的源代碼全部抓取下來了， 并且源代碼里面也包含了最終要提取的數(shù)據(jù)。這些數(shù)據(jù)分為非結(jié)構(gòu)化數(shù)據(jù)和結(jié) 構(gòu)化數(shù)據(jù)兩種，由于這兩種數(shù)據(jù)有著各自的特點，所以需要采用不同的技術(shù)方 案進行解析，提取與目標(biāo)有關(guān)的數(shù)據(jù)。本章將圍繞著解析網(wǎng)頁數(shù)據(jù)的相關(guān)知識 進行詳細地講解。教學(xué)目標(biāo)使學(xué)生了解解析網(wǎng)頁的技術(shù)，能夠說出正那么表達式、

4、Xpath、Beautiful Soup與JSONPath的特點使學(xué)生熟悉正那么表達式的語法，能夠歸納元字符與預(yù)定義字符集的含義使學(xué)生掌握re模塊的用法，能夠靈活應(yīng)用re模塊解析網(wǎng)頁數(shù)據(jù)使學(xué)生了解XPath的概念，能夠說出XPath的路徑表達式的作用使學(xué)生掌握XPath的語法，能夠熟練編寫XPath的路徑表達式使學(xué)生掌握XPath的開發(fā)工具，能夠獨立安裝與使用XPath Helper工具使學(xué)生掌握Ixml庫的用法，能夠靈活應(yīng)用Ixml庫解析網(wǎng)頁數(shù)據(jù)使學(xué)生熟悉Beautiful Soup,能夠歸納Beautiful Soup包含的類和基本用法使學(xué)生掌握BeautifulSoup類對象的創(chuàng)立方式,

5、能夠使用BeautifulSoup類的構(gòu)造方法創(chuàng)立BeautifulSoup類對象使學(xué)生掌握BeautifulSoup中選取節(jié)點的方式，能夠使用查找方法和CSS選擇器選取節(jié)點使學(xué)生熟悉JSONPath的語法，能夠熟練地編寫JSONPath的表達式使學(xué)生掌握jsonpath模塊的用法，能夠靈活運用jsonpath模塊解析JSON 文檔教學(xué)重點XPath語法XPath開發(fā)工具Ixml庫簡介倉II建Beautiful Soup類的對象通過查找方法選取節(jié)點通常CSS選擇器選取節(jié)點教學(xué)難點XPath語法Ixml簡介創(chuàng)立Beautiful Soup類的對象通過CSS選擇器選取節(jié)點教學(xué)方式課堂教學(xué)以PPT講

6、授為主，并結(jié)合多媒體進行教學(xué)教 學(xué) 過 程第一課時(解析網(wǎng)頁數(shù)據(jù)的技術(shù)、正那么表達式的語法、re模塊的使用)一、創(chuàng)設(shè)情景，導(dǎo)入新課在之前學(xué)習(xí)的爬蟲程序只是將網(wǎng)頁下載到本地，但爬蟲程序的目的是提取 網(wǎng)頁中的數(shù)據(jù)，為了能夠提取網(wǎng)頁中的數(shù)據(jù)，我們需要學(xué)習(xí)解析網(wǎng)頁數(shù)據(jù)的技 術(shù)從而引出本節(jié)課程所學(xué)內(nèi)容。二、新課講解知識點1解析網(wǎng)頁數(shù)據(jù)的技術(shù)教師通過PPT的方式講解解析網(wǎng)頁數(shù)據(jù)技術(shù)。(1) 了解什么是正那么表達式。黑馬程序員 HYPERLINK :/ itheima itheima 傳智教育旗下 高端IT教育品牌樣的教育，不一樣的品質(zhì)了解什么是Xpath。了解什么是 Beautiful Soup。了解什么

7、是 JSONPath。教師通過PPT的方式講解什么是正那么表達式。正那么表達式是一種文本模式，這種模式描述了匹配字符串的規(guī)那么，用于檢 索字符串中是否有符合該模式的子串，或者將匹配到的子串進行替換。教師通過PPT的方式講解什么是XpathoXPath是XML路徑語言，用于從HTML或XML格式的數(shù)據(jù)中提取所需的 數(shù)據(jù)。XPath適合處理層次結(jié)構(gòu)比擬明顯的數(shù)據(jù)，它能夠基于HTML或XML 的節(jié)點樹確定目標(biāo)節(jié)點所在的路徑，順著這個路徑便可以找到節(jié)點對應(yīng)的文本 或?qū)傩灾怠＝處熗ㄟ^PPT的方式講解什么是Beautiful SoupoBeautiful Soup是一個可以從HTML或XML文件中提取數(shù)據(jù)

8、的Python庫， 它同樣可以使用XPath語法提取數(shù)據(jù)，并且也在此基礎(chǔ)上做了方便開發(fā)者的封 裝，提供了更多項選擇取節(jié)點的方式。教師通過PPT的方式講解什么是JSONPath。JSONPath的作用類似XPath,它也是以表達式的方式解析數(shù)據(jù)的，但只能 解析JSON格式的數(shù)據(jù)。知識點2正那么表達式的語法教師通過PPT的方式講解正那么表達式語法。(1)熟悉什么是元字符。熟悉什么是預(yù)定義字符集。教師通過PPT的方式講解什么是元字符。在正那么表達式中，元字符是指具有特殊含義的專用字符，主要用于規(guī)定其 前導(dǎo)字符在給定字符串中出現(xiàn)的模式。常用的元字符如下表所示。元字符說明*匹配任何一個字符(除換行符外)

9、A匹配字符串的開頭$匹配字符串的末尾1連接多個子表達式，匹配與任意子表達式模式相同的字符串字符組，匹配其中的出現(xiàn)的任意一個字符-連字符，匹配指定范圍內(nèi)的任意一個字符9 匹配其前導(dǎo)字符。次或1次*匹配其前導(dǎo)字符。次或?qū)掖?匹配其前導(dǎo)字符1次或?qū)掖蝞匹配其前導(dǎo)字符n次m,n匹配其前導(dǎo)字符mn次0分組，匹配子組教師通過PPT的方式講解什么是預(yù)定義字符集。在正那么表達式中，除了前面講解的元字符之外，還預(yù)定義了一些字符集， 這些字符集以更加簡潔的方式描述了一些由普通字符和元字符組合的模式。常 用的預(yù)定義字符集如下表所示。黑馬程序員 HYPERLINK :/ itheima itheima 傳智教育旗下

10、高端IT教育品牌樣的教育，不一樣的品質(zhì)預(yù)定義字符集說明w匹配下畫線或任何字母(a-zA-Z)與數(shù)字(0-9)s匹配任意的空白字符，等價于空格trnfvd匹配任意數(shù)字，等價于0-9b匹配單詞的邊界W與w相反，匹配非字母或數(shù)字或下畫線的字符S與s相反，匹配任意非空白字符的字符，等價于NsD與d相反，匹配任意非數(shù)字的字符，等價于NdB與b相反，匹配不出現(xiàn)在單詞邊界的元素A僅匹配字符串開頭，等價于八Z僅匹配字符串結(jié)尾，等價于$知識點3re模塊的使用教師通過PPT的方式講解re模塊使用。(1)掌握如何創(chuàng)立Pattern對象。(2)掌握使用re模塊進行全文匹配。教師通過PPT的方式講解如何創(chuàng)立Patter

11、n對象。為了節(jié)省每次編譯正那么表達式的開銷，保證正那么表達式可以重復(fù)使用，我 們可以使用compile。函數(shù)對正那么表達式進行預(yù)編譯，從而生成一個代表正那么表 達式的Pattern對象。教師通過PPT的方式講解使用re模塊進行全文匹配。如果希望從全部文本中匹配所有符合正那么表達式的字符串，可以使用 Pattern對象的findall。與finditer。方法，其中findall。方法用于獲取目標(biāo)文本中 所有與正那么表達式匹配的內(nèi)容，并將所有匹配的內(nèi)容以列表的形式返回； finditer。方法同樣可以獲取目標(biāo)文本中所有與正那么表達式匹配的內(nèi)容，但該方 法會將匹配到的子串以迭代器的形式返回。三、歸

12、納總結(jié)教師回顧本節(jié)課所講的內(nèi)容，并通過測試題的方式引導(dǎo)學(xué)生解答問題并給 予指導(dǎo)。四、布置作業(yè)教師通過高校教輔平臺( HYPERLINK :/tch :/tch. ityxb. com)布置本節(jié)課作業(yè)以及下 節(jié)課的預(yù)習(xí)作業(yè)。第二課時(XPath簡介、XPath語法、XPath開發(fā)工具、Ixml庫簡介) 一、復(fù)習(xí)鞏固教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進行再次鞏固 講解。一、教師通過直接導(dǎo)入的方式導(dǎo)入新課上節(jié)課主要講解了解析網(wǎng)頁數(shù)據(jù)的技術(shù)、正那么表達式的語法、re模塊的使 用接下來，本節(jié)課將講解XPath簡介、XPath語法、XPath開發(fā)工具和Ixml庫 簡介。三、新課講解知識點

13、1- XPath簡介樣的教育，不一樣的品質(zhì) HYPERLINK :/ itheima itheima 黑馬程序員傳智教育旗下 高端IT教育品牌教師通過PPT的方式講解XPatho了解什么是XPath。了解XPath是如何搜索XML或HTML文檔。教師通過PPT的方式講解什么是XPathoXPath (全稱Xml Path Language)即XML路徑語言，是一種用于確定XML 文檔中局部節(jié)點位置的語言，它起初只支持搜索XML文檔，更新后也支持搜 索HTML文檔。教師通過PPT的方式講解XPath是如何搜索XML或HTML文檔。XPath基于XML或HTML的節(jié)點樹，沿著節(jié)點樹的節(jié)點關(guān)系定位到

14、目標(biāo) 節(jié)點所在的位置，并選取節(jié)點或節(jié)點集。為了形象地描述出搜索節(jié)點的路徑， XPath提供了簡潔明了的路徑表達式，通過路徑表達式可以快速地定位與選取 XML或HTML文檔中的 個節(jié)點或者一組節(jié)點集。知識點2-XPath語法教師通過PPT的方式講解XPath語法。掌握使用XPath選取節(jié)點。掌握使用XPath的謂語。掌握使用XPath選取未知節(jié)點。掌握使用XPath選取假設(shè)干路徑。教師通過PPT的方式講解XPath選取節(jié)點。選取節(jié)點是最基礎(chǔ)的操作，節(jié)點所在的路徑既可以是從根節(jié)點開始的，也 可以從任意位置開始的。選取節(jié)點的用法如下表所示。表達式說明節(jié)點名稱選取此節(jié)點的所有子節(jié)點/從根節(jié)點選取直接子

15、節(jié)點，相當(dāng)于絕對路徑/從當(dāng)前節(jié)點選取后代節(jié)點，相當(dāng)于相對路徑選取當(dāng)前節(jié)點 選取當(dāng)前節(jié)點的父節(jié)點選取屬性節(jié)點教師通過PPT的方式講解XPath的謂語。謂語是為路徑表達式附加的條件，主要是對節(jié)點集進行篩選，選取出某個 特定的節(jié)點，或者包含了指定屬性或基本值的節(jié)點。謂語會嵌入到中括號中， 并位于要補充說明的節(jié)點后面。謂語可以是整數(shù)、屬性、函數(shù)，也可以是整數(shù)、屬性、函數(shù)與運算符組合 的表達式。假設(shè)為整數(shù)(從1開始)，那么這個數(shù)值將作為位置，用于從節(jié)點集中 選取與該位置對應(yīng)的節(jié)點；假設(shè)為屬性，那么會從節(jié)點集中選取包含該屬性的節(jié)點； 假設(shè)為函數(shù)，那么會將該函數(shù)的返回值作為條件，從節(jié)點集中選取滿足條件的節(jié)點

16、。 常用的XPath函數(shù)如下表所示。函數(shù)說明position()返回當(dāng)前被處理的節(jié)點的位置last()返回當(dāng)前節(jié)點集中的最后一個節(jié)點count()返回節(jié)點的總數(shù)目樣的教育，不一樣的品質(zhì) HYPERLINK :/ itheima itheima 黑馬程序員傳智教育旗下 高端IT教育品牌max(arg,arg,.)返回大于其它參數(shù)的參數(shù)min(arg,arg,.)返回小于其它參數(shù)的參數(shù)name()返回當(dāng)前節(jié)點的名稱current-date()返回當(dāng)前的日期(帶有時區(qū))current-time()返回當(dāng)前的時間(帶有時區(qū))contains(string 1 ,string2)假設(shè)string 1包含

17、string2,那么返回true,否那么返回false教師通過PPT的方式講解XPath選取未知節(jié)點。XPath中提供了選取未知節(jié)點的通配符和函數(shù)，關(guān)于它們的說明如下表所黑馬程序員黑馬程序員 HYPERLINK :/ itheima itheima 通配符/函數(shù)說明*匹配任何元素節(jié)點*匹配任何屬性節(jié)點node()匹配任何類型的節(jié)點黑馬程序員 HYPERLINK :/ itheima itheima 傳智教育旗下 高端IT教育品牌樣的教育，不一樣的品質(zhì)教師通過黑馬程序員 HYPERLINK :/ itheima itheima 傳智教育旗下 高端IT教育品牌樣的教育，不一樣的品質(zhì)在XPath中，

18、我們可以使用運算符連接多個路徑表達式，以根據(jù)多個 路徑選取對應(yīng)的節(jié)點。知識點3-XPath開發(fā)工具教師通過PPT的方式講解XPath開發(fā)工具。了解什么是XPath Helpero(2)掌握XPath Helper的安裝。(3)掌握XPath Helper的使用。教師通過PPT的方式講解什么是XPath HelperoXPath Helper是一款運行在Chrome瀏覽器的插件，它支持在網(wǎng)頁上單擊元 素生成路徑表達式，也支持對照網(wǎng)頁源代碼手動編寫路徑表達式。在使用XPath Helper測試之前,我們需要先在Chrome瀏覽器上添加XPath Helper插件。下 面為大家分別講解安裝與使用XP

19、ath Helper插件。教師通過PPT的方式講解XPath Helper的安裝。關(guān)于Fiddler的XPath Helper的安裝步驟請查看第4章4.3.3節(jié)或配套PPT 對應(yīng)章節(jié)內(nèi)容。教師通過PPT的方式講解XPath Helper的使用。關(guān)于XPath Helper的使用請查看第4章4.3.3節(jié)或配套PPT對應(yīng)章節(jié)內(nèi)容。知識點4-lxml庫簡介教師通過PPT的方式講解Ixml庫簡介。了解Ixml庫的作用是什么。了解 ElementTree 類。了解 Element 類。了解ElementTree類或Element類的查找方法。教師通過PPT的方式講解Ixml庫的作用。為方便開發(fā)人員在程序

20、中使用XPath的路徑表達式提取節(jié)點對應(yīng)的內(nèi)容， Python提供了一個第三方庫Ixml,通過該庫可以輕松地對HTML或XML文檔 中的目標(biāo)節(jié)點進行定位并提取。教師通過PPT的方式講解ElementTree類。黑馬程序員傳智教育旗下 HYPERLINK :/ itheima itheima I高端IT教育品牌一樣的教育，不一樣的品質(zhì)ElementTree類的對象可以理解為一個HTML或XML文檔的節(jié)點樹。為方 便開發(fā)者將HTML或XML文檔轉(zhuǎn)換為ElementTree類的對象，etree模塊中提 供了一個parse。函數(shù)。教師通過PPT的方式講解Element類。Element類的對象可以理解

21、為XML或HTML文檔的節(jié)點，它與Python中 的列表非常相似，可以使用諸如len()、append() remove。等方法修改節(jié)點，也 可以使用索引、切片獲取節(jié)點集中的子節(jié)點。教師通過PPT的方式講解ElementTree類或Element類的查找方法。(l)find()方法：從節(jié)點樹的某個節(jié)點開始查找，返回匹配到的第一個子 節(jié)點。findall。方法：從節(jié)點樹的某個節(jié)點開始查找，以列表的形式返回匹 配到的所有子節(jié)點。xpath()方法：從節(jié)點樹的根節(jié)點或某個節(jié)點開始查找，以列表的形式 返回匹配到的所有子節(jié)點。四、歸納總結(jié)教師回顧本節(jié)課所講的內(nèi)容，并通過測試題的方式引導(dǎo)學(xué)生解答問題并給

22、予指導(dǎo)。五、布置作業(yè)教師通過高校教輔平臺( :/tch.ityxb )布置本節(jié)課作業(yè)以及下節(jié)課 的預(yù)習(xí)作業(yè)。第三課時(Beautiful Soup簡介、創(chuàng)立BeautifulSoup類的對象、通過查找方 法選取節(jié)點、通過CSS選擇器選取節(jié)點)一、復(fù)習(xí)鞏固教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進行再次鞏固 講解。二、教師通過直接導(dǎo)入的方式導(dǎo)入新課上節(jié)課主要講解了 XPath簡介、XPath語法、XPath開發(fā)工具、Ixml庫簡 介，接下來，本節(jié)課將講解Beautiful Soup簡介、創(chuàng)立Beautiful Soup類的對象、 通過查找方法選取節(jié)點和通過CSS選擇選取節(jié)點。三、新課

23、講解知識點1- Beautiful Soup簡介教師通過PPT的方式講解Beautiful Soup簡介。(1)介紹什么是 Beautiful Soupo(2)介紹Beautiful Soup模塊中常用的類教師通過PPT的方式講解什么是Beautiful Soup。Beautiful Soup是一個用于從HTML或XML文檔中提取目標(biāo)數(shù)據(jù)的Python 庫，它歷經(jīng)了眾多版本，其中Beautiful Soup 3目前已經(jīng)停止開發(fā)與維護，官方 推薦使用Beautiful Soup 4 (簡稱為bs4)進行開發(fā)。教師通過PPT的方式講解Beautiful Soup模塊中常用的類。bs4庫或bs4.e

24、lement模塊中提供了 4個比擬重要的類，分別是Tag類、 NavigableString類、BeautifulSoup類和Comment類，關(guān)于這4個類的具體講解 如下。bs4.element.Tag類：表示HTML中的標(biāo)簽，最基本的信息組織單元。黑馬程序員傳智教育旗下 HYPERLINK :/ itheima itheima I高端IT教育品牌一樣的教育，不一樣的品質(zhì)它有兩個非常重要的屬性，分別為表示標(biāo)簽名字的name,表示標(biāo)簽屬性的attrs。bs4.element.NavigableString類：表示HTML中標(biāo)簽的文本(非屬性 字符串)。bs4.BeautifulSoup類：表示

25、HTML D0M中的全部內(nèi)容，支持遍歷文 檔樹和搜索文檔樹的大局部方法。bs4.element ment類：表示標(biāo)簽內(nèi)字符串的注釋局部，是一種特 殊的NavigableString類的對象。知識點2.創(chuàng)立Beautiful Soup類的對象教師通過PPT的方式講解Beautiful Soup類的對象。要想使用Beautiful Soup解析網(wǎng)頁，需要先使用構(gòu)造方法創(chuàng)立一個 BeautifulSoup類的對象。當(dāng)使用構(gòu)造方法創(chuàng)立BeautifulSoup類的對象時，該方 法會先將HTML或XML文檔轉(zhuǎn)換成Unicode編碼后的內(nèi)容，再選擇合適的解 析器來解析整段內(nèi)容。Beautiful Soup

26、會根據(jù)當(dāng)前系統(tǒng)已經(jīng)安裝的庫自動選擇解 析器，選擇順序為Ixml-htmlSlib-Python標(biāo)準(zhǔn)庫。知識點3.通過查找方法選取節(jié)點教師通過PPT的方式講解通過查找方法選取節(jié)點。BeautifulSoup類中提供了一些基于HTML或XML節(jié)點樹選取節(jié)點的方法， 比擬主流的兩個方法分別是find。和find_all(), find。方法用于查找符合條件的 第一個節(jié)點；find_all()方法用于查找所有符合條件的節(jié)點，并以列表的形式進 行返回。find。和find_all()中的參數(shù)的具體說明，以及使用請查看第5章5.4.3或PPT 相應(yīng)章節(jié)內(nèi)容。知識點4.通過CSS選擇器選取節(jié)點教師通過PPT

27、的方式講解通過CSS選擇器選取節(jié)點。bs4庫還提供了 CSS選擇器進行查找節(jié)點。CSS選擇器，又稱CSS屬性選 擇器，它是選擇需設(shè)置樣式的元素的模式，這種模式指定了樣式作用于網(wǎng)頁頁 面中的哪些元素，可以使用CSS對HTML頁面中的元素進行一對一、一對多 或多對一的控制。CSS選擇器有許多種類，其中常用的CSS選擇器有類別選擇器、元素選擇 器、ID選擇器和屬性選擇器，關(guān)于這4種選擇器的講解如下。(1)類別選擇器：根據(jù)類名選擇元素，類名前面用進行標(biāo)注。例如，.intr。 表示選擇包含class=intro”的所有元素。(2)元素選擇器：根據(jù)元素名稱選擇元素。例如，p表示選擇所有vp元 素。(3) ID選擇器：根據(jù)特定ID選擇元素，ID前面加上“產(chǎn)進行標(biāo)注。例 如，#linkl表示選擇特定ID的值為linkl的元素。(4)屬性選擇器：根據(jù)元素的屬性選擇元素，屬性必須用中括號進行包裹， 它既可以是標(biāo)準(zhǔn)屬性，也可以是自定義屬性。例如，target=_blank表示選擇包 含target=_blank”的所有元素。四、歸納總結(jié)教師回顧本節(jié)課所講的內(nèi)容，并通過測試題的方式引導(dǎo)學(xué)生解答問題并給 予指導(dǎo)。五、布置作業(yè)教師通過高校教輔平臺( :tch.it