Python程序設(shè)計(jì)基礎(chǔ)項(xiàng)目化教程 教案 31 Python爬蟲

Python爬蟲課程名稱Python語(yǔ)言程序教學(xué)內(nèi)容Python爬蟲課時(shí)1項(xiàng)目性質(zhì)□演性 驗(yàn)性 □計(jì)性 √合性授課班級(jí)授課日期授課地點(diǎn)教學(xué)目標(biāo)搭建一個(gè)本地網(wǎng)頁(yè)，利用python爬蟲爬取本地網(wǎng)頁(yè)上的文字內(nèi)容教學(xué)內(nèi)容1.借用Pycharm工具，建立Python3項(xiàng)目2.搭建一個(gè)本地網(wǎng)頁(yè)3.利用python爬蟲爬取本地網(wǎng)頁(yè)上的文字內(nèi)容教學(xué)重點(diǎn)教學(xué)難點(diǎn)利用python爬蟲爬取本地網(wǎng)頁(yè)上的文字內(nèi)容教學(xué)準(zhǔn)備裝有Python的計(jì)算機(jī)教學(xué)課件PPT教學(xué)過(guò)程教學(xué)環(huán)節(jié)教學(xué)內(nèi)容與過(guò)程（教學(xué)內(nèi)容、教學(xué)方法、組織形式、教學(xué)手段）課前組織做好上課前的各項(xiàng)準(zhǔn)備工作（打開(kāi)計(jì)算機(jī)、打開(kāi)課件、打開(kāi)軟件、打開(kāi)授課計(jì)劃、教案等），吸引學(xué)生注意力。課程說(shuō)明【目的】使學(xué)生從了解本節(jié)課的學(xué)習(xí)目標(biāo)、學(xué)習(xí)重點(diǎn)、考評(píng)方式等方面明確課程學(xué)習(xí)的要求和目標(biāo)。課程內(nèi)容描述1 本地網(wǎng)站數(shù)據(jù)的準(zhǔn)備與python實(shí)現(xiàn)簡(jiǎn)單爬蟲功能知識(shí)點(diǎn)1)啟動(dòng)Tomcat發(fā)布本地網(wǎng)站實(shí)驗(yàn)?zāi)康?)本地網(wǎng)站數(shù)據(jù)的準(zhǔn)備實(shí)驗(yàn)環(huán)境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5實(shí)驗(yàn)步驟1)基于本地的網(wǎng)站數(shù)據(jù)的準(zhǔn)備1.啟動(dòng)Tomcat，查看發(fā)布的網(wǎng)站,。[Command001]:catalina.shstart[Command002]:ls/opt/tomcat/webapps/liarbry/html/2.單擊桌面左下角的人形圖標(biāo)3.單擊網(wǎng)頁(yè)瀏覽器，如下圖4.打開(kāi)的瀏覽器地址欄中輸入網(wǎng)頁(yè)地址，查看網(wǎng)頁(yè)內(nèi)容。[Command003]:http://localhost:8080/liarbry/html/books-1.html2Python3實(shí)現(xiàn)簡(jiǎn)單爬蟲功能知識(shí)點(diǎn)1)啟動(dòng)服務(wù)，發(fā)布網(wǎng)站。2)Python的Urllib2模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)3)Python將網(wǎng)頁(yè)數(shù)據(jù)爬取到本地，做為實(shí)驗(yàn)數(shù)據(jù)使用。實(shí)驗(yàn)?zāi)康?)理解python的Urllib2模擬瀏覽器原理實(shí)驗(yàn)環(huán)境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5實(shí)驗(yàn)步驟1)Pycharm建立Python3項(xiàng)目1.鼠標(biāo)雙擊桌面“pycharm”圖標(biāo)，打開(kāi)pycharm工具，依次選擇主菜單File->NewProject…選項(xiàng)，在彈出的窗口中Location對(duì)應(yīng)的文本框中輸入項(xiàng)目名project，點(diǎn)擊Create按鈕，完成項(xiàng)目的創(chuàng)建。2.如果是第1次打開(kāi)此工具會(huì)彈出“WelcometoPyCharmCommunityEdition”窗口，鼠標(biāo)點(diǎn)擊“Donotshowagain”,下次再打開(kāi)工具時(shí)就不會(huì)彈出此窗口。然后選擇“CreateNewProject”，在彈出的窗口中Location對(duì)應(yīng)的文本框中輸入項(xiàng)目名project，點(diǎn)擊Create按鈕，完成項(xiàng)目的創(chuàng)建。3.建立包名experiment，用于寫清洗Python程序。具體做法：選中新建立的項(xiàng)目project->鼠標(biāo)右鍵->New->PythonPackage。4.在彈出的NewPackage窗口中的文本框內(nèi)，輸入要建立的包名(用戶可自定義)“experiment”,點(diǎn)擊OK按鍵，完成包名的創(chuàng)建。5.此時(shí)在窗口左側(cè)的窗口中的project項(xiàng)目下可以看到新建立experiment程序包，在該包下寫實(shí)驗(yàn)相關(guān)的Python程序。6.設(shè)置統(tǒng)一的編碼模式，使新生成的文件支持中文，統(tǒng)一設(shè)置utf-8編碼。具體做法：File->settings->Editor->FileandCodeTemplates->PythonScript。在PythonScript對(duì)應(yīng)的文本模式中輸入具體編碼設(shè)置，點(diǎn)擊OK按鈕，完成設(shè)置。[Code001]：#!/usr/bin/python#-*-coding:utf-8-*-2)編寫Python3程序，實(shí)現(xiàn)爬取網(wǎng)頁(yè)數(shù)據(jù)的功能1.為了實(shí)現(xiàn)爬取http://localhost:8080/liarbry/html/books-1.html網(wǎng)頁(yè)的數(shù)據(jù)，建立python文件Spider.py編寫程序。具體做法：選中包名experiment->鼠標(biāo)右鍵->選擇New->選擇PythonFile。2.在彈出的窗口中，屬性值Name對(duì)應(yīng)的文本框中輸入新建立的文件的名字“Spider”，點(diǎn)擊OK按鈕，完成文件的創(chuàng)建。3.在新建立的Spider.py文件中編寫代碼。具體代碼如下。[Code002]：#!/usr/bin/python#-*-coding:utf-8-*-#加載模塊importrequestsimportbs4#定義待爬取網(wǎng)頁(yè)連接url='http://localhost:8080/liarbry/html/books-3.html'#獲取網(wǎng)頁(yè)源碼response=requests.get(url)#使用bs4解析網(wǎng)頁(yè)content=bs4.BeautifulSoup(response.content.decode("utf-8"),"lxml")#找到節(jié)點(diǎn)<a>的信息element=content.find_all(name='a')#打開(kāi)文本文件并寫入信息f1=open('urls.txt','w')f1.write(str(element).strip())f1.close()#查找第三個(gè)節(jié)點(diǎn)<a>中的第0個(gè)內(nèi)容element=content.find_all('a')[3].contents[0]print(element)#查找href為特定鏈接的節(jié)點(diǎn)element=content.find_all(href='/catalogue/category/books/sports-and-games_17/index.html')print(element)#查找屬性id為default的節(jié)點(diǎn)element=content.find_all(id='default')f2=open('body.txt','w')f2.write(str(element).strip())f2.close()4.其中Spider.py文件編寫程序后的樣式如圖所示。5.代碼中單擊右鍵，選擇RunSpider，運(yùn)行程序。如下圖所示.6