《數(shù)據(jù)采集與預(yù)處理》課件12：爬蟲框架-scrapy入門

爬蟲框架-scrapy入門網(wǎng)頁爬蟲的流程是什么？復(fù)習(xí)無論是動(dòng)態(tài)網(wǎng)頁爬蟲和靜態(tài)網(wǎng)頁爬蟲，實(shí)現(xiàn)的思路基本上都是獲取頁面html、頁面解析、數(shù)據(jù)保存或輸出。雖然獲取頁面html以及數(shù)據(jù)保存都已經(jīng)封裝為通用函數(shù)，但依然編寫繁瑣。1、理解Scrpay框架創(chuàng)建爬蟲程序的基本步驟2、能學(xué)會(huì)創(chuàng)建爬蟲項(xiàng)目、創(chuàng)建爬蟲文件、以及運(yùn)行爬蟲的命令3、了解Scrapy目錄結(jié)構(gòu)及常用命令教學(xué)目標(biāo)1Scrapy快速入門爬蟲框架-scrapy入門Scrapy簡(jiǎn)介以及安裝23Scrapy目錄結(jié)構(gòu)及常用命令所謂的爬蟲框架，是一個(gè)半成品的爬蟲，已經(jīng)實(shí)現(xiàn)了工作隊(duì)列、下載器、保存處理數(shù)據(jù)的邏輯以及日志、異常處理、反反爬蟲等通用功能。對(duì)于使用者來說，更多的工作是通過更改配置調(diào)整需要開啟的通用功能，讓我們更專注于分析頁面，編寫網(wǎng)站的爬取規(guī)則。Scrapy簡(jiǎn)介以及安裝爬蟲框架Scrapy簡(jiǎn)介以及安裝現(xiàn)在的爬蟲框架有很多，其中最流行的爬蟲搜索引擎及框架如下：NutchScrapy：Scrapy爬蟲框架是Python中最著名、最受歡迎、社區(qū)最活躍的爬蟲框架。是人們?yōu)榱伺廊【W(wǎng)站數(shù)據(jù)、提取結(jié)構(gòu)性數(shù)據(jù)而編寫，可以應(yīng)用在包括數(shù)據(jù)挖掘、信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中。PySpiderWebCollectorScrapy簡(jiǎn)介以及安裝1、命令行安裝

在命令行下安裝Scrapy比較簡(jiǎn)單，只需要輸入“pipinstallscrapy”命令即可。

由于pip安裝會(huì)自動(dòng)安裝scrapy爬蟲框架依賴的各種包，安裝速度較慢，出錯(cuò)概率較大，建議增加-i參數(shù)，使用清華鏡像安裝。>>>pipinstallscrapy-i

/simple在命令行下安裝需要將python的安裝路徑加入到環(huán)境變量中，才能正常使用pip命令進(jìn)行安裝。如果出現(xiàn)“pip不是內(nèi)部或外部命令，也不是可運(yùn)行的程序或批處理文件”的提示代表未將python的路徑加入到環(huán)境變量中。Scrapy簡(jiǎn)介以及安裝1、命令行安裝

如果是在pychram中安裝，則直接在終端“Terminal”中安裝。若Pycharm的解釋器關(guān)聯(lián)的anaconda環(huán)境，則在anaconda中也能使用。>>>pipinstallscrapy-i

/simple1Scrapy快速入門爬蟲框架-scrapy入門Scrapy簡(jiǎn)介以及安裝23Scrapy目錄結(jié)構(gòu)及常用命令Scrapy快速入門以百度首頁導(dǎo)航鏈接爬取為例講解scrapy使用的基本使用方法。基本步驟包括創(chuàng)建爬蟲項(xiàng)目、創(chuàng)建爬蟲文件、創(chuàng)建爬蟲數(shù)據(jù)項(xiàng)、創(chuàng)建爬蟲解析、運(yùn)行爬蟲。

1、創(chuàng)建爬蟲項(xiàng)目打開pycharm,創(chuàng)建一個(gè)“purepython”項(xiàng)目。在底部狀態(tài)欄中點(diǎn)擊“Terminal”，輸入“scrapystartprojectbaiduspider”，其中baiduspier為Scrapy項(xiàng)目名稱。如圖所示。其中“Scrapy_First”為項(xiàng)目文件夾。Scrapy快速入門2、生成爬蟲模板文件

爬蟲項(xiàng)目和爬蟲的關(guān)系為1對(duì)多的關(guān)系。一個(gè)爬蟲項(xiàng)目可以由多個(gè)爬蟲共同組成。如創(chuàng)建一個(gè)新聞?lì)惖呐老x項(xiàng)目，可能會(huì)爬取百度新聞、騰訊新聞等多個(gè)網(wǎng)站的新聞。就可以創(chuàng)建多個(gè)爬蟲文件。

如何創(chuàng)建爬蟲文件？上一步的提示中已經(jīng)指引了此步驟的操作方法。首先使用“cdbaiduspider”命令進(jìn)入目錄baiduspider，此目錄為“創(chuàng)建爬蟲項(xiàng)目”時(shí)通過模板自動(dòng)生成的。然后使用命令“scrapygenspiderbaidu”創(chuàng)建名稱為baidu的爬蟲。其中參數(shù)“baidu”為爬蟲名稱,需要注意的是爬蟲文件名稱在當(dāng)前項(xiàng)目中必須保證唯一。參數(shù)“”為域名。用來約定爬蟲爬取的范圍。Scrapy快速入門2、生成爬蟲模板文件

正常執(zhí)行命令后,我們可以查看下genspider生成的爬蟲文件baidu.py，文件位置為baiduspider/baiduspider/spiders/baidu.py。生成的爬蟲模板文件內(nèi)容如下。name屬性定義的為爬蟲的名稱，是使用“scrapygenspiderbaidu

”命令時(shí)定義的，在同一個(gè)爬蟲項(xiàng)目中可以定義多個(gè)爬蟲，但必須保證爬蟲名稱唯一。屬性allowed_domains定義過濾爬取的域名，不在范圍內(nèi)約定的域名將不會(huì)進(jìn)行爬取。類型為列表，表示可以有多個(gè)域名。屬性start_urls定義爬蟲啟動(dòng)時(shí)的默認(rèn)爬取的地址，在通常情況下，爬蟲默認(rèn)從此地址開始爬取。Scrapy框架的爬蟲程序使用面向?qū)ο蟮姆绞竭M(jìn)行封裝。繼承自scrapy.Spider類。parse方法是解析網(wǎng)頁數(shù)據(jù)的核心方法。parse方法以response作為參數(shù)，表示響應(yīng)對(duì)象，可以直接從響應(yīng)對(duì)象中獲取文本。發(fā)送請(qǐng)求的過程Scrapy框架會(huì)通過內(nèi)置的下載器幫完成。Scrapy快速入門3、定義數(shù)據(jù)容器

在正式編寫爬蟲前，我們需要先定義爬取的數(shù)據(jù)項(xiàng)，只是數(shù)據(jù)項(xiàng)的命名，不涉及具體的數(shù)據(jù)類型。百度首頁導(dǎo)航鏈接爬蟲比較簡(jiǎn)單，需要爬取的數(shù)據(jù)只有導(dǎo)航標(biāo)簽名稱以及url地址。定義爬取數(shù)據(jù)項(xiàng)是為后續(xù)步驟輸出做準(zhǔn)備。在baiduspider/baiduspider文件夾下找到items.py文件。缺省模板代碼如下。

類BaiduspiderItem繼承自scrapy.Item。注釋的內(nèi)容約定了定義數(shù)據(jù)項(xiàng)的使用方式。只需要定義數(shù)據(jù)項(xiàng)的名稱即可。數(shù)據(jù)項(xiàng)的值都是scrapy.Field()。刪除pass,按如下代碼修改模板代碼。Scrapy快速入門4、編寫爬蟲spider

在編寫baidu.py中parse方法前，需要優(yōu)先考慮選擇器的使用。Scrapy爬蟲框架是在Lxml基礎(chǔ)上構(gòu)建了一套提取數(shù)據(jù)的機(jī)制，通過特定的XPath或CSS選擇器來選擇HTML頁面中的某個(gè)部分。Scrapy爬蟲框架提供了選擇器的快捷方式response.xpath()和response.css()，讓用戶直接使用選擇器。在入門案例中使用response.xpath()來進(jìn)行頁面解析。

打開“baiduspider/baiduspider/spiders”目錄下找到baidu.py文件，修改解析方法parse。參考代碼如下。Scrapy快速入門4、編寫爬蟲spider（1）由于解析過程中需要使用上一步驟中定義的數(shù)據(jù)項(xiàng)BaiduspiderItem，所以首先使用import進(jìn)行導(dǎo)入。2、為了提高穩(wěn)定性，解析過程使用二次查找的方式。程序運(yùn)行后Scrapy框架會(huì)將響應(yīng)對(duì)象寫入到response變量中。response.xpath("http://div[@id='u1']/a")可以直接獲取所有的導(dǎo)航鏈接。3、通過for循環(huán)逐行從列表中獲取每個(gè)鏈接。在items文件中定義的BaiduspiderItem類初始化后，分別提取標(biāo)簽文本和href屬性對(duì)Baiduspider中Item數(shù)據(jù)項(xiàng)進(jìn)行賦值。4、最后通過“yielditem”將步驟傳遞下去。response.xpath("表達(dá)式")返回的結(jié)果為選擇器對(duì)象列表，如果需要提取元素屬性或文本需要使用get()或getall()方法。Scrapy快速入門5、運(yùn)行爬蟲

運(yùn)行爬蟲程序，需要使用命令“scrapycrawl爬蟲名”。在“Terminal”下執(zhí)行命令“Scrapycrawlbaidu”前，必須進(jìn)入爬蟲項(xiàng)目所在的目錄，否則無法正常運(yùn)行。當(dāng)前項(xiàng)目名為baiduspider，所以首先使用“cdbaiduspider”進(jìn)入爬蟲項(xiàng)目目錄。Scrapy快速入門5、運(yùn)行爬蟲爬蟲運(yùn)行后會(huì)打印輸出非常多的日志信息，是因?yàn)槿笔∏闆r下日志等級(jí)為info?？稍谂渲梦募癰aiduspider/baiduspider/settings.py”文件中進(jìn)行調(diào)整。ROBOTSTXT_OBEY=False#關(guān)閉robots協(xié)議，否則很多頁面都無法爬取

LOG_LEVEL="WARNING"#日志為警告以上才顯示

調(diào)整后程序重新運(yùn)行，發(fā)現(xiàn)沒有任何提示，是因?yàn)閜arse函數(shù)中沒有任何輸出。增加-o參數(shù)，將爬取的結(jié)果輸出為文件。命令為“scrapycrawlbaidu-obaidu.csv”。運(yùn)行后在baiduspider目錄下查看baidu.csv文件。1Scrapy快速入門爬蟲框架-scrapy入門Scrapy簡(jiǎn)介以及安裝23Scrapy目錄結(jié)構(gòu)及常用命令Scrapy目錄結(jié)構(gòu)及常用命令

使用Scrapy框架編寫爬蟲，會(huì)生成一個(gè)固有的目錄層次結(jié)構(gòu)，目錄中有一系列的文件，這些文件都有什么作用？

命令行“scrapystartproject爬蟲項(xiàng)目名稱”創(chuàng)建項(xiàng)目后，會(huì)在當(dāng)前文件夾下生成Scrapy框架的基本項(xiàng)目結(jié)構(gòu)，以爬蟲項(xiàng)目“baiduspider”來進(jìn)行說明。項(xiàng)目結(jié)構(gòu)如下表所示。Scrapy目錄結(jié)構(gòu)及常用命令Scrapy框架是通過Scrapy命令行工具進(jìn)行控制的，包括創(chuàng)建項(xiàng)目、創(chuàng)建爬蟲模板建、啟動(dòng)爬蟲、相關(guān)的設(shè)置等，使用Pycharm只是簡(jiǎn)化了Scrapy爬蟲的編寫，并沒有改變其本質(zhì)。Scrapy提供了兩種內(nèi)置的命令，分別是全局命令和項(xiàng)目命令。全局命令就是在任意位置都可以執(zhí)行的命令，而項(xiàng)目命令只有在你新創(chuàng)建了項(xiàng)目之后，在項(xiàng)目目錄中才可以執(zhí)行的命令：全局命令包括startproject、runspider、shell、fetch、view、version。項(xiàng)目命令包括genspider、crawl、check、list等。下面我們簡(jiǎn)單介紹下這些常用的命令。1、startproject

在當(dāng)前目錄下創(chuàng)建Scrapy爬蟲項(xiàng)目?；菊Z法格式“scrapystartproject項(xiàng)目名稱

”。2、runspider

在未創(chuàng)建項(xiàng)目的情況下，運(yùn)行一個(gè)編寫在Python文件中的spider?；菊Z法格式為“scrapyrunspiderpython文件名.py”。入門案例百度首頁導(dǎo)航，也可在不創(chuàng)建Scrapy項(xiàng)目的情況下編寫和運(yùn)行。新建獨(dú)立的python文件baidu.py，參考代碼如下。Scrapy目錄結(jié)構(gòu)及常用命令3、ShellShell命令用來在交互模式下調(diào)試目標(biāo)網(wǎng)站。執(zhí)行命令后會(huì)啟動(dòng)Python的交互模式，如果安裝了IPython,默認(rèn)進(jìn)入IPython交互頁面?；菊Z法格式為“scrapyshell[url]”，其中url地址可為空。以入門案例百度首頁鏈接為例，熟悉使用方法。命令行下輸入“scrapyshell”。Scrapy目錄結(jié)構(gòu)及常用命令（1）直接使用response.xpath()函數(shù)驗(yàn)證百度首頁導(dǎo)航案例中a標(biāo)簽的提取方法。參考代碼如下圖所示。Scrapy目錄結(jié)構(gòu)及常用命令（2）編寫CSS選擇器語法驗(yàn)證提取方法。Scrapy的response.css（）使用類似于偽類選擇器的語法可以直接提取文本或?qū)傩?。如?:text”可以獲取到標(biāo)簽文本，“::attr(屬性名)”可以一次性的獲取屬性值。3、shell4、Fetch

使用Scrapy下載器(downloader)下載給定的URL，并將獲取到的內(nèi)容送到標(biāo)準(zhǔn)輸出。簡(jiǎn)單的來說，就是打印url的html代碼?；菊Z法格式為“ScrapyFetchurl地址”。如果要下載并打印163網(wǎng)站，命令為scrapyFetch"http：//“5、view

在瀏覽器中打開給定的url,并以scrapyspider獲取到的形式展現(xiàn)。有些時(shí)候spider獲取到的頁面和普通用戶看到的并不相同?；菊Z法格式為“Scrapyviewurl”，可以用來檢查spider獲取到的頁面，并確認(rèn)是用戶所期望的。如scrapyview6、version

輸出Scrapy版本。配合-v運(yùn)行時(shí)，該命令同時(shí)輸出Python,Twisted以及平臺(tái)的信息。如“scrapyverison”。Scrapy目錄結(jié)構(gòu)及常用命令7、genspider