《數(shù)據(jù)采集技術(shù)》課件-Scrapy 框架的基本操作

Scrapy框架的基本操作Contents知識(shí)目標(biāo)技能目標(biāo)素養(yǎng)目標(biāo)掌握Scrapy框架的基本操作和標(biāo)準(zhǔn)流程提高我們的數(shù)據(jù)采集和處理能力培養(yǎng)良好的信息素養(yǎng)和道德意識(shí)Scrapy框架操作步驟Scrapy爬蟲的流程大致分為以下四個(gè)步驟創(chuàng)建一個(gè)新的爬蟲項(xiàng)目明確想要抓取的目標(biāo)制作爬蟲開(kāi)始爬取網(wǎng)頁(yè)存儲(chǔ)爬取內(nèi)容（一般通過(guò)管道進(jìn)行）新建項(xiàng)目明確目標(biāo)創(chuàng)建spider存儲(chǔ)數(shù)據(jù)新建項(xiàng)目命令格式如下：scrapystartproject項(xiàng)目名稱在終端使用命令創(chuàng)建Scrapy項(xiàng)目示例新建項(xiàng)目新建一個(gè)Scrapy項(xiàng)目項(xiàng)目目錄結(jié)構(gòu)如下：創(chuàng)建Spider創(chuàng)建Spider分為以下三個(gè)步驟：提取數(shù)據(jù)運(yùn)行spider創(chuàng)建spider創(chuàng)建爬蟲創(chuàng)建爬蟲的命令格式如下：scrapygenspider爬蟲名稱"爬取域"創(chuàng)建Spider創(chuàng)建Spider示例創(chuàng)建Spider文件內(nèi)容如下所示:新創(chuàng)建的爬蟲文件baidu.py創(chuàng)建Spider新創(chuàng)建的爬蟲文件baidu.py文件內(nèi)容如下所示:創(chuàng)建Spider/board?platform=pc&sa=pcindex_entry以百度熱搜榜為示例，該頁(yè)面的內(nèi)容如下圖所示抓取內(nèi)容就是頁(yè)面中熱搜榜的數(shù)據(jù)定義起始URLclassBaiduSpider(scrapy.Spider):name='baidu'allowed_domains=['']

start_urls=['/board?platform=pc&sa=pcindex_entry']創(chuàng)建Spiderdefparse(self,response):withopen("hotlist.html","w",encoding="utf-8")asfile: file.write(response.text)處理響應(yīng)對(duì)象創(chuàng)建Spider定義parse方法，對(duì)響應(yīng)對(duì)象進(jìn)行處理運(yùn)行Spider命令格式為：運(yùn)行爬蟲scrapycrawl爬蟲名稱示例運(yùn)行SpiderScrapy框架的基本操作實(shí)操案例定義起始URLclassBaiduSpider(scrapy.Spider):name='baidu'allowed_domains=['']

start_urls=['/board?platform=pc&sa=pcindex_entry']創(chuàng)建Spider本講小結(jié)創(chuàng)建scrapy項(xiàng)目1scrapystartprojectmySpider生成spider2cdmySpiderscrapygenspiderbaidu“”本講小結(jié)定義start_urls，定義parse()方法3運(yùn)行spider4scrapycrawlbaidu本講小結(jié)創(chuàng)建scrapy項(xiàng)目1scrapystartprojectmySpider生成spider2cdmySpiderscrapygenspiderbaidu“”定義start_urls，定義parse()方法3運(yùn)行spider4scrapycrawlbaidu課后作業(yè)1創(chuàng)建第一個(gè)Scrapy項(xiàng)目2抓取熱點(diǎn)新聞3熟悉Scrapy框架的基本操作Scrapy框架操作步驟Scrapy爬蟲的流程大致分為以下四個(gè)步驟創(chuàng)建一個(gè)新的爬蟲項(xiàng)目明確想要抓取的目標(biāo)制作爬蟲開(kāi)始爬取網(wǎng)頁(yè)存儲(chǔ)爬取內(nèi)容（一般通過(guò)管道進(jìn)行）新建項(xiàng)目明確目標(biāo)創(chuàng)建spider存儲(chǔ)數(shù)據(jù)Scrapy框架操作步驟Scrapy爬蟲的流程大致分為以下四個(gè)步驟創(chuàng)建一個(gè)新的爬蟲項(xiàng)目明確想要抓取的目標(biāo)制作爬蟲開(kāi)始爬取網(wǎng)頁(yè)存儲(chǔ)爬取內(nèi)容（一般通過(guò)管道進(jìn)行）新建項(xiàng)目明確目標(biāo)創(chuàng)建spider存儲(chǔ)數(shù)據(jù)制作Spider定義一個(gè)容器保存要爬取的詞條數(shù)據(jù)Scrapy提供了Item類用來(lái)表示實(shí)體數(shù)據(jù)制作SpiderItem對(duì)象類似于詞典(dictionary-like)的API用于聲明可用字段的簡(jiǎn)單語(yǔ)法簡(jiǎn)單的容器，保存了爬取到得數(shù)據(jù)提供了：制作Spideritem.py文件未修改前如下：修改后：制作Spideritem.py文件未修改前如下：修改后：制作Spider提取數(shù)據(jù)觀察源碼，定位目標(biāo)數(shù)據(jù)。制作Spider提取數(shù)據(jù)修改后的baidu.py內(nèi)容如下：（這里希望在講解每一行的時(shí)候有一條紅色下劃線指向該行）返回結(jié)果后就退出循環(huán)return返回的是生成器yield制作Spider提取數(shù)據(jù)修改后的baidu.py內(nèi)容如下：返回結(jié)果后就退出循環(huán)return返回的是生成器yield制作Spider提取數(shù)據(jù)修改后的baidu.py內(nèi)容如下：（這里希望在講解每一行的時(shí)候有一條紅色下劃線指向該行）解析技術(shù)框架本身提供了一套機(jī)制來(lái)幫助用戶獲取信息Selectors制作Spider運(yùn)行爬蟲輸入“scrapycrawlbaidu”存儲(chǔ)數(shù)據(jù)目前只在控制臺(tái)看到輸出結(jié)果存儲(chǔ)數(shù)據(jù)目前只在控制臺(tái)看到輸出結(jié)果存儲(chǔ)數(shù)據(jù)-o選項(xiàng)可以輸出指定格式的文件：scrapycrawlbaidu-ohotlist.csv存儲(chǔ)數(shù)據(jù)以下命令對(duì)應(yīng)多種輸出格式scrapycrawlbaidu-ohotlist.csvscrapycrawlbaidu-ohotlist.jsonscrapycrawlbaidu-ohotlist.xmlscrapycrawlbaidu-ohotlist.picklescrapycrawlbaidu-ohotlist.mar