爬蟲高級-空山-150525scrapyd項目部署python課件七

Python爬蟲高級課教室講師：空山時間：2018年5月教學監(jiān)督熱線免責聲明：如果本課程內(nèi)有任何內(nèi)容侵害了您的權(quán)益，請您及時聯(lián)系我們

潭州教育全球教學服務中心熱線：上節(jié)知識點回顧01.手機抓包教學監(jiān)督熱線02.Scrapy框架爬取圖片03.斗魚案例04.Scrapy框架爬取圖片常見問題PARTSEVEN課時七教學監(jiān)督熱線課時七問題引入010203如何使用scrapyd?什么是scrapyd？怎么安裝scrapyd？知識點一問題解答什么是scrapyd？01scrapyd官方文檔：Scrapyd是部署和運行Scrapy.spider的應用程序。它使您能夠使用JSONAPI部署（上傳）您的項目并控制其spider。特點：1、可以避免爬蟲源碼被看到。2、有版本控制。3、可以遠程啟動、停止、刪除怎樣安裝scrapyd？02知識點二問題解答1，安裝scrapyd主要有兩種安裝方式：pipinstallscrapyd（安裝的版本可能不是最新版本）從中下載源碼，運行pythonsetup.pyinstall命令進行安裝。2，安裝scrapyd-deploy主要有兩種安裝方式：pipinstallscrapyd-client（安裝的版本可能不是最新版本）從中下源碼，運行pythonsetup.pyinstall命令進行安裝。知識點三問題解答如何使用scrapyd？-》1：運行scrapyd0403知識點三問題解答如何使用scrapyd？-》2.1：發(fā)布工程到scrapyd-》配置scrapy.cfg04031.首先去掉url前面的注釋符號，url是scrapyd服務器的網(wǎng)址2.然后project=tenCent為項目名稱，可以隨意起名3.修改[deploy]為[deploy:100]，表示把爬蟲發(fā)布到名為100的爬蟲服務器上，一般在需要同時發(fā)布爬蟲到多個目標服務器時使用知識點三問題解答如何使用scrapyd？-》2.2：發(fā)布工程到scrapyd-》添加爬蟲工程0403命令如下：Scrapyd-deploy<tartget>-p<project>--version<version>參數(shù)解釋：Target：deploy后面的名稱。可以為空Project：自行定義名稱，跟爬蟲的工程名字無關(guān)。Version：自定義版本號，不寫的話默認為當前時間戳。知識點三問題解答如何使用scrapyd？-》3.創(chuàng)建運行爬蟲任務0403curl-dproject=myproject-dspider=spider_name知識點三問題解答如何使用scrapyd？-》4.停止爬蟲任務0403curl-dproject=spider_name-djob=job_id更多API可以查看官網(wǎng)：本節(jié)知識點回顧Scra