Python程序設計基礎項目化教程 教案 31 Python爬蟲

Python爬蟲課程名稱Python語言程序教學內(nèi)容Python爬蟲課時1項目性質(zhì)□演性 驗性 □計性 √合性授課班級授課日期授課地點教學目標搭建一個本地網(wǎng)頁，利用python爬蟲爬取本地網(wǎng)頁上的文字內(nèi)容教學內(nèi)容1.借用Pycharm工具，建立Python3項目2.搭建一個本地網(wǎng)頁3.利用python爬蟲爬取本地網(wǎng)頁上的文字內(nèi)容教學重點教學難點利用python爬蟲爬取本地網(wǎng)頁上的文字內(nèi)容教學準備裝有Python的計算機教學課件PPT教學過程教學環(huán)節(jié)教學內(nèi)容與過程（教學內(nèi)容、教學方法、組織形式、教學手段）課前組織做好上課前的各項準備工作（打開計算機、打開課件、打開軟件、打開授課計劃、教案等），吸引學生注意力。課程說明【目的】使學生從了解本節(jié)課的學習目標、學習重點、考評方式等方面明確課程學習的要求和目標。課程內(nèi)容描述1 本地網(wǎng)站數(shù)據(jù)的準備與python實現(xiàn)簡單爬蟲功能知識點1)啟動Tomcat發(fā)布本地網(wǎng)站實驗目的1)本地網(wǎng)站數(shù)據(jù)的準備實驗環(huán)境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5實驗步驟1)基于本地的網(wǎng)站數(shù)據(jù)的準備1.啟動Tomcat，查看發(fā)布的網(wǎng)站,。[Command001]:catalina.shstart[Command002]:ls/opt/tomcat/webapps/liarbry/html/2.單擊桌面左下角的人形圖標3.單擊網(wǎng)頁瀏覽器，如下圖4.打開的瀏覽器地址欄中輸入網(wǎng)頁地址，查看網(wǎng)頁內(nèi)容。[Command003]:http://localhost:8080/liarbry/html/books-1.html2Python3實現(xiàn)簡單爬蟲功能知識點1)啟動服務，發(fā)布網(wǎng)站。2)Python的Urllib2模擬瀏覽器訪問網(wǎng)頁3)Python將網(wǎng)頁數(shù)據(jù)爬取到本地，做為實驗數(shù)據(jù)使用。實驗目的1)理解python的Urllib2模擬瀏覽器原理實驗環(huán)境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5實驗步驟1)Pycharm建立Python3項目1.鼠標雙擊桌面“pycharm”圖標，打開pycharm工具，依次選擇主菜單File->NewProject…選項，在彈出的窗口中Location對應的文本框中輸入項目名project，點擊Create按鈕，完成項目的創(chuàng)建。2.如果是第1次打開此工具會彈出“WelcometoPyCharmCommunityEdition”窗口，鼠標點擊“Donotshowagain”,下次再打開工具時就不會彈出此窗口。然后選擇“CreateNewProject”，在彈出的窗口中Location對應的文本框中輸入項目名project，點擊Create按鈕，完成項目的創(chuàng)建。3.建立包名experiment，用于寫清洗Python程序。具體做法：選中新建立的項目project->鼠標右鍵->New->PythonPackage。4.在彈出的NewPackage窗口中的文本框內(nèi)，輸入要建立的包名(用戶可自定義)“experiment”,點擊OK按鍵，完成包名的創(chuàng)建。5.此時在窗口左側的窗口中的project項目下可以看到新建立experiment程序包，在該包下寫實驗相關的Python程序。6.設置統(tǒng)一的編碼模式，使新生成的文件支持中文，統(tǒng)一設置utf-8編碼。具體做法：File->settings->Editor->FileandCodeTemplates->PythonScript。在PythonScript對應的文本模式中輸入具體編碼設置，點擊OK按鈕，完成設置。[Code001]：#!/usr/bin/python#-*-coding:utf-8-*-2)編寫Python3程序，實現(xiàn)爬取網(wǎng)頁數(shù)據(jù)的功能1.為了實現(xiàn)爬取http://localhost:8080/liarbry/html/books-1.html網(wǎng)頁的數(shù)據(jù)，建立python文件Spider.py編寫程序。具體做法：選中包名experiment->鼠標右鍵->選擇New->選擇PythonFile。2.在彈出的窗口中，屬性值Name對應的文本框中輸入新建立的文件的名字“Spider”，點擊OK按鈕，完成文件的創(chuàng)建。3.在新建立的Spider.py文件中編寫代碼。具體代碼如下。[Code002]：#!/usr/bin/python#-*-coding:utf-8-*-#加載模塊importrequestsimportbs4#定義待爬取網(wǎng)頁連接url='http://localhost:8080/liarbry/html/books-3.html'#獲取網(wǎng)頁源碼response=requests.get(url)#使用bs4解析網(wǎng)頁content=bs4.BeautifulSoup(response.content.decode("utf-8"),"lxml")#找到節(jié)點<a>的信息element=content.find_all(name='a')#打開文本文件并寫入信息f1=open('urls.txt','w')f1.write(str(element).strip())f1.close()#查找第三個節(jié)點<a>中的第0個內(nèi)容element=content.find_all('a')[3].contents[0]print(element)#查找href為特定鏈接的節(jié)點element=content.find_all(href='/catalogue/category/books/sports-and-games_17/index.html')print(element)#查找屬性id為default的節(jié)點element=content.find_all(id='default')f2=open('body.txt','w')f2.write(str(element).strip())f2.close()4.其中Spider.py文件編寫程序后的樣式如圖所示。5.代碼中單擊右鍵，選擇RunSpider，運行程序。如下圖所示.6