《數(shù)據(jù)采集技術》課件-Spiders

SpidersSpidersScrapy框架提供了scrapy.Spider做為爬蟲的基類，所有自定義的爬蟲必須從它那里繼承SpidersSpiders負責定義如何爬取及解析數(shù)據(jù)Spidersscrapy.Spider類的字段：主要字段描述name定義爬蟲名稱的字符串allowed_domains包含了允許爬取的域名列表start_urls表示初始URL列表custom_settings定義該spider配置的字典拓展關于設置settings中的值的幾種方法，優(yōu)先級從高到低如下命令行選項1custom_settings2拓展關于設置settings中的值的幾種方法，優(yōu)先級從高到低如下命令行選項1custom_settings2settings.py文件3命令行的默認設置，每一個命令行都有它自己的默認設置4默認的全局設置，被定義在scrapy.settings.default_settings中5Spidersscrapy.Spider類的字段：主要字段描述name定義爬蟲名稱的字符串allowed_domains包含了允許爬取的域名列表start_urls表示初始URL列表custom_settings定義該spider配置的字典crawler定義spider實例綁定的crawler對象Spidersscrapy.Spider類的字段：主要字段描述settings運行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認的回調用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關閉時被調用Spidersscrapy.Spider類的字段：主要字段描述settings運行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認的回調用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關閉時被調用Spidersscrapy.Spider類的字段：主要字段描述settings運行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認的回調用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關閉時被調用Spidersscrapy.Spider類的字段：主要字段描述settings運行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認的回調用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關閉時被調用Spidersscrapy.Spider類的字段：主要字段描述settings運行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認的回調用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關閉時被調用Spider參數(shù)使用帶-a選項的爬行命令傳遞，如下所示：scrapycrawlfirst_scrapy-agroup=accessoriesSpider參數(shù)用于指定起始URLSpider參數(shù)使用帶-a選項的爬行命令傳遞，如下所示：scrapycrawlfirst_scrapy-agroup=accessoriesSpider參數(shù)用于指定起始URLSpider參數(shù)演示一個Spider如何接收參數(shù)：importscrapyclassFirstSpider(scrapy.Spider):name="first"def__init__(self,group=None,*args,**kwargs):super(FirstSpider,self).__init__(*args,**kwargs)self.start_urls=["/group/%s"%group]通用SpidersCrawlSpider自定義規(guī)則來爬取所有返回頁面中的鏈接XMLFeedSpider用來爬取XMLCSVFeedSpider用來爬取csvSitemapSpider通過Sitemap來發(fā)現(xiàn)爬取的URL通用SpidersCrawlSpider自定義規(guī)則來爬取所有返回頁面中的鏈接XMLFeedSpider用來爬取XMLCSVFeedSpider用來爬取csvSitemapSpider通過Sitemap來發(fā)現(xiàn)爬取的URLCrawlSpiderCrawlSpiderCrawlSpider繼承于Spiders類，有以下類：classscrapy.spiders.CrawlSpider在scrapy的源碼中的位置在scrapy->spiders->crawl.py中Rule規(guī)則是一個規(guī)則對象的列表，定義了爬蟲如何跟蹤鏈接classscrapy.spiders.Rule(link_extractor,callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None)Rule類跟CrawlSpider在同一文件中：參數(shù)說明LinkExtractor規(guī)定了Spider如何跟蹤鏈接并提取數(shù)據(jù)callback在每個頁面被爬取后被調用cb_kwargs傳遞參數(shù)給回調函數(shù)的字典類型follow指定是否繼續(xù)跟蹤鏈接process_links回調函數(shù)process_request回調函數(shù)parse_start_url(response)start_urls默認回調方法，通過允許解析初始響應來返回項目或請求對象注意：在編寫規(guī)則時，請確保重命名parse函數(shù)，因為parse函數(shù)被CrawlSpider用來實現(xiàn)其邏輯fromscrapy.spidersimportCrawlSpider,Rulefromscrapy.linkextractorsimportLinkExtractorclassTestSpider(CrawlSpider):name='test'start_urls=['/',]rules=(Rule(link_extractor=LinkExtractor(deny=('page/2')),callback='parse_item_first',follow=True),Rule(link_extractor=LinkExtractor(allow=('page/3')),callback='parse_item_second'))defparse_item_first(self,response):print('parse_item_first:',response.url)defparse_item_second(self,response):print('