《網(wǎng)絡(luò)爬蟲項目實踐》課件-項目四：分布式爬蟲（教案）

項目四分布式爬蟲教案課程名稱：網(wǎng)絡(luò)爬蟲項目實踐課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：64學(xué)時（其中理論28學(xué)時，實驗36學(xué)時）總學(xué)分：4.0學(xué)分本章學(xué)時：3學(xué)時材料清單《網(wǎng)絡(luò)爬蟲項目實踐》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)分布式爬蟲實現(xiàn)了多臺電腦使用一個共同的爬蟲程序，它可以同時將爬蟲任務(wù)部署到多臺電腦上運行，這樣可以提高爬蟲速度，實現(xiàn)分布式爬蟲。想要保證多臺機器共用一個queue隊列和set集合，在scrapy框架中，是需要結(jié)合scrapy_redis完成的。分布式爬蟲可以讓所有機器上的爬蟲程序，從同一個queue隊列中獲取request請求，并且每個機器取出request，請求的對象是不一樣的，直到所有的request被請求完畢。本項目分為三個任務(wù)，任務(wù)1介紹分布式環(huán)境搭建，任務(wù)2和任務(wù)3通過兩個項目介紹三種scrapy_redis運行方式。、基本要求掌握VMWare虛擬機的安裝方法掌握在CentOS的安裝和配置方法掌握在CentOS上安裝Python的方法掌握在CentOS中安裝部署scrapy方法掌握在CentOS中安裝部署scrapy-redis方法掌握克隆虛擬機的方法掌握在Windows中安裝Redis數(shù)據(jù)庫的方法掌握scrapy-redis的編碼方式問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。什么是分布式爬蟲的優(yōu)點和缺點？如何使用Redis作為任務(wù)隊列來實現(xiàn)分布式爬蟲？如何使用Scrapy-redis框架來快速搭建一個分布式爬蟲？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑?dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。如何使用RabbitMQ或Kafka作為消息中間件來實現(xiàn)分布式爬蟲？如何使用數(shù)據(jù)庫集群或分片來存儲分布式爬蟲的數(shù)據(jù)？如何使用Scrapy的信號機制來監(jiān)控和控制分布式爬蟲的狀態(tài)？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。如何使用Docker或Kubernetes來部署和管理分布式爬蟲的容器？如何使用Selenium或Splash來實現(xiàn)分布式爬蟲的動態(tài)頁面渲染？如何使用Scrapy的擴展機制來增加或修改分布式爬蟲的功能？主要知識點、重點與難點主要知識點VMWare虛擬機的安裝CentOS的安裝和配置CentOS安裝PythonCentOS安裝部署scrapyCentOS安裝部署scrapy-redis克隆虛擬機Windows中安裝Redis數(shù)據(jù)庫scrapy-redis的運行方式重點CentOS安裝PythonCentOS安裝部署scrapyCentOS安裝部署scrapy-redisWindows中安裝Redis數(shù)據(jù)庫scrapy-redis的運行方式難點CentOS安裝Pythonscrapy-redis的運行方式。教學(xué)過程設(shè)計理論教學(xué)過程VMWare虛擬機的安裝方法在CentOS的安裝和配置方法在CentOS上安裝Python的方法在CentOS中安裝部署scrapy方法在CentOS中安裝部署scrapy-redis方法克隆虛擬機的方法在Windows中安裝Redis數(shù)據(jù)庫的方法分布式爬取三種方式實驗教學(xué)過程安裝VMWare虛擬機Linux安裝虛擬機網(wǎng)絡(luò)設(shè)置安裝Python安裝分布式框架克隆虛擬機安裝Redis數(shù)據(jù)庫創(chuàng)建Scrapy項目爬取網(wǎng)頁數(shù)據(jù)爬取網(wǎng)頁數(shù)據(jù)數(shù)據(jù)存儲分布式爬取教材與參考資料教材李程文，唐建生，馮欣悅．網(wǎng)絡(luò)爬蟲項目實踐[M]．西安：西安電子科技大學(xué)出版社．2023．參考資料[1] 趙國生，王?。畃ython網(wǎng)絡(luò)爬蟲技術(shù)與實戰(zhàn)[M]．北京：機械工業(yè)出版社．2021．[2]