《大數(shù)據(jù)導論》課件-3.5.4 Scrapy爬蟲實戰(zhàn)

大數(shù)據(jù)導論Scrapy爬蟲實戰(zhàn)————數(shù)據(jù)采集實戰(zhàn)題目：2021年GZ-2021041大數(shù)據(jù)技術與應用賽項賽題6月13日更新，任務書-5，模塊B：數(shù)據(jù)采集與處理.全國職業(yè)院校技能大賽“大數(shù)據(jù)技術與應用”賽項模塊B：數(shù)據(jù)采集與處理Scrapy實戰(zhàn)說明任務說明任務一：獲取“配送平臺”頁面相關數(shù)據(jù)

自行創(chuàng)建Scrapy工程編寫工程代碼，獲取“配送平臺”頁面相關數(shù)據(jù)，通過工程代碼分頁獲取，將使用re解析分頁鏈接的程序源代碼復制粘貼至對應報告中。任務二：獲取“店鋪運營數(shù)據(jù)”頁面相關數(shù)據(jù)

編寫工程代碼，獲取“店鋪運營數(shù)據(jù)”頁面相關數(shù)據(jù)，通過工程代碼分頁獲取，將使用re解析分頁鏈接的程序源代碼復制粘貼至對應報告中。任務說明任務三：將獲取數(shù)據(jù)存入json文件

運行代碼，爬取“配送平臺”頁面與“店鋪運營數(shù)據(jù)”頁面數(shù)據(jù)分別至restaurant_data.json與grey_test.json文件。任務說明源碼分析任務一：

根據(jù)任務描述，需要獲取“配送平臺”頁面相關數(shù)據(jù)，即“配送平臺”頁面的表格中的所有數(shù)據(jù)，且分頁頁面也需要爬取。

分析源碼后，發(fā)現(xiàn)表格數(shù)據(jù)在HTML的如下節(jié)點內。<tablecellspacing="0"cellpadding="0"border="0"class="el-table__body"style="width:100%"></table>其對應的頁面xpath路徑是：//table[@cellspacing='0']每一行數(shù)據(jù)對應的xpath路徑是：

//table[@cellspacing='0']//tr[@class='el-table__row']第一項數(shù)據(jù)在每一行中，對應的xpath路徑是：

./td[@class='el-table_2_column_10is-center'][1]/div[@class='cell']/text()源碼分析任務二：

根據(jù)任務描述，需要獲取“店鋪運營數(shù)據(jù)”頁面相關數(shù)據(jù)，即“店鋪運營數(shù)據(jù)”頁面的表格中的所有數(shù)據(jù)，且分頁頁面也需要爬取。

分析源碼后，發(fā)現(xiàn)“店鋪運營數(shù)據(jù)”頁面源代碼結構與任務一“配送平臺”的結構一致。源碼分析分頁鏈接：

任務一與任務二都涉及到頁面分頁爬取的要求。分析網頁html源碼可知，下一頁的鏈接在如下節(jié)點之后：<ulclass="elr"><liclass="numberactive"></li>利用正則表達式提?。?/p>

active">.*\s+?<liclass="number"><ahref="(.*html)">重寫構造請求由于不是單頁面數(shù)據(jù)采集，需要分次根據(jù)頁面實際下一頁鏈接進行爬取。因此需要重寫Scrapy框架的start_requests方法，重寫方法如下：其中，scrapy.Request中的callback參數(shù)是指回調方法，用于將響應的報文進行解析處理。任務實現(xiàn)--items.py1、任務一item模型：2、任務二item模