《數(shù)據(jù)采集技術(shù)》課件-Settings - 配置

Settings——配置配置文件管理爬蟲(chóng)行為和功能的關(guān)鍵部分提供了各種配置選項(xiàng)，可以自定義和控制爬蟲(chóng)的行為配置文件管理爬蟲(chóng)行為和功能的關(guān)鍵部分提供了各種配置選項(xiàng)，可以自定義和控制爬蟲(chóng)的行為Settings—常見(jiàn)配置Settings—常見(jiàn)配置Settings—常見(jiàn)配置Scrapy架構(gòu)Settings—常見(jiàn)配置1基礎(chǔ)配置使用Scrapy實(shí)現(xiàn)的bot名稱(chēng)，也叫項(xiàng)目名稱(chēng)默認(rèn)的USER_AGENT由它來(lái)構(gòu)成，也作為日志記錄的日志名SPIDER_MODULES=['項(xiàng)目名稱(chēng).spiders']NEWSPIDER_MODULE='項(xiàng)目名稱(chēng).spiders'BOT_NAMESPIDER_MODULESSettings—常見(jiàn)配置1基礎(chǔ)配置設(shè)置爬取網(wǎng)站時(shí)使用的默認(rèn)User-AgentUSER_AGENT='項(xiàng)目名稱(chēng)(+)'設(shè)置是否遵循robots.txt中的爬蟲(chóng)規(guī)則ROBOTSTXT_OBEY=FalseUSER_AGENTROBOTSTXT_OBEYSettings—常見(jiàn)配置1基礎(chǔ)配置設(shè)置禁用Cookies，默認(rèn)是True，啟用一般將Cookies的功能禁用COOKIES_ENABLED=FalseDEFAULT_REQUEST_HEADERS設(shè)置ScrapyHTTP請(qǐng)求使用的默認(rèn)headerSettings—常見(jiàn)配置2并發(fā)與延遲設(shè)置Scrapy下載器并發(fā)請(qǐng)求的最大值，默認(rèn)是16CONCURRENT_REQUESTS每個(gè)域名能夠被執(zhí)行的最大并發(fā)請(qǐng)求數(shù)目，默認(rèn)值8CONCURRENT_REQUESTS_PER_DOMAIN能夠被單個(gè)IP處理的并發(fā)請(qǐng)求數(shù)，默認(rèn)值0，代表無(wú)限制CONCURRENT_REQUESTS_PER_IPSettings—常見(jiàn)配置2并發(fā)與延遲設(shè)置ItemPipeline同時(shí)處理每個(gè)response的item的最大值，默認(rèn)是100CONCURRENT_ITEMS設(shè)置下載器在下載同一網(wǎng)站兩個(gè)請(qǐng)求之間的間隔時(shí)間默認(rèn)值為0，同時(shí)也支持小數(shù)DOWNLOAD_DELAYSettings—常見(jiàn)配置2并發(fā)與延遲設(shè)置下載器的超時(shí)時(shí)間（單位：秒），默認(rèn)值是180DOWNLOAD_TIMEOUTSettings—常見(jiàn)配置3爬取深度、方式設(shè)置爬取網(wǎng)站最大允許的深度（depth）值。默認(rèn)值為0，表示沒(méi)有限制DEPTH_LIMIT爬取基本原則。爬取時(shí)，0表示深度優(yōu)先Lifo(默認(rèn)值)，后進(jìn)先出；1表示廣度優(yōu)先FiFo，先進(jìn)先出。DEPTH_PRIORITYSettings—常見(jiàn)配置4中間件、管道、擴(kuò)展MIDDLEWARES啟用或禁用中間件。SPIDER_MIDDLEWARES={ '項(xiàng)目名稱(chēng).middlewares.SpiderMiddleware':543,}DOWNLOADER_MIDDLEWARES={ '項(xiàng)目名稱(chēng).middlewares.DownMiddleware':543,}Settings—常見(jiàn)配置4中間件、管道、擴(kuò)展SPIDER_MIDDLEWARES啟用或禁用爬蟲(chóng)中間件DOWNLOADER_MIDDLEWARES啟用或禁用下載器中間件，這里需要使用，否則抓取內(nèi)容無(wú)法使用Settings—常見(jiàn)配置4中間件、管道、擴(kuò)展EXTENSIONS配置并啟用擴(kuò)展，主要是一些狀態(tài)監(jiān)控ITEM_PIPELINES配置啟用Pipeline持久化數(shù)據(jù)字典的鍵表示pipeline的名稱(chēng)，可以是任意值，不過(guò)值習(xí)慣設(shè)置在0-1000范圍內(nèi)。值越小則優(yōu)先級(jí)越高Settings—常見(jiàn)配置以上屬于全局配置項(xiàng)目中所有爬蟲(chóng)共享很多時(shí)候會(huì)實(shí)現(xiàn)局部配置定義字典類(lèi)型的custom_settings成員變量局部配置定義custom_settings={ 'DOWNLOAD_DELAY':10}啟動(dòng)時(shí)配置scrap