《各平臺(tái)數(shù)據(jù)采集及方法》課件-銀保監(jiān)官網(wǎng)政策公告采集

銀保監(jiān)官網(wǎng)

政策公告采集官網(wǎng)政策公告采集采集場(chǎng)景進(jìn)入中國(guó)銀行保險(xiǎn)監(jiān)督管理委員會(huì)【新聞資訊】版塊下的【監(jiān)管動(dòng)態(tài)】欄目，進(jìn)入每條監(jiān)管動(dòng)態(tài)詳情，采集其詳情頁(yè)信息。采集字段當(dāng)前位置、標(biāo)題、標(biāo)題鏈接、發(fā)布時(shí)間、來(lái)源、正文、當(dāng)前采集時(shí)間。采集背景官網(wǎng)政策公告采集

在首頁(yè)【輸入框】中輸入目標(biāo)網(wǎng)址，點(diǎn)擊【開(kāi)始采集】，八爪魚(yú)自動(dòng)打開(kāi)網(wǎng)頁(yè)。步驟一打開(kāi)網(wǎng)頁(yè)官網(wǎng)政策公告采集

1、建立【循環(huán)-點(diǎn)擊元素】，進(jìn)入每條監(jiān)管動(dòng)態(tài)的詳情頁(yè)通過(guò)以下3步，實(shí)現(xiàn)循環(huán)點(diǎn)擊每個(gè)鏈接，進(jìn)入詳情頁(yè)：①選中頁(yè)面上第1條監(jiān)管動(dòng)態(tài)鏈接（注意一定要選中鏈接）②點(diǎn)擊【循環(huán)點(diǎn)擊每個(gè)鏈接】，進(jìn)入第1條監(jiān)管動(dòng)態(tài)的詳情頁(yè)

步驟二、建立【循環(huán)-點(diǎn)擊元素】，進(jìn)入每條監(jiān)管動(dòng)態(tài)的詳情頁(yè)官網(wǎng)政策公告采集

2、修改【循環(huán)-點(diǎn)擊元素】Xpath為了精準(zhǔn)定位到所有的監(jiān)管動(dòng)態(tài)鏈接，需修改一下【循環(huán)翻頁(yè)】的XPath。進(jìn)入【循環(huán)翻頁(yè)】設(shè)置頁(yè)面，選擇【循環(huán)方式】為【不固定元素列表】，修改XPath為：//span[@class="title"]/a，然后點(diǎn)擊【應(yīng)用】保存。改完后，再次點(diǎn)擊【點(diǎn)擊元素】步驟，進(jìn)入問(wèn)題詳情頁(yè)。

步驟二、建立【循環(huán)-點(diǎn)擊元素】，進(jìn)入每條監(jiān)管動(dòng)態(tài)的詳情頁(yè)官網(wǎng)政策公告采集步驟三、提取詳情頁(yè)中的文本字段

進(jìn)入詳情頁(yè)后，選中頁(yè)面中的文本，然后在操作提示框中，點(diǎn)擊【采集該元素文本】。文本類字段都可以按照這樣的方式提取。示例中我們提取了當(dāng)前位置、發(fā)布時(shí)間、來(lái)源、標(biāo)題、正文等字段。。官網(wǎng)政策公告采集步驟四、編輯字段。1、編輯字段在【當(dāng)前頁(yè)面數(shù)據(jù)預(yù)覽】面板中，可刪除多余字段，修改字段名，移動(dòng)字段順序等，請(qǐng)按需調(diào)整官網(wǎng)政策公告采集步驟四、編輯字段。2、修改字段XPath針對(duì)【正文】這個(gè)字段，默認(rèn)生成的字段XPath，無(wú)法精準(zhǔn)定位到所有監(jiān)管動(dòng)態(tài)的正文內(nèi)容，需手動(dòng)修改。進(jìn)入【提取列表數(shù)據(jù)】步驟設(shè)置頁(yè)面，修改正文XPath為：//div[@class="Section0"]官網(wǎng)政策公告采集步驟四、編輯字段。3、格式化字段格式化數(shù)據(jù)，對(duì)【當(dāng)前位置】、【發(fā)布時(shí)間】和【來(lái)源】字段進(jìn)行格式化數(shù)據(jù)，去除多余內(nèi)容。具體步驟如下圖所示：官網(wǎng)政策公告采集步驟五、創(chuàng)建循環(huán)翻頁(yè)。1、創(chuàng)建循環(huán)翻頁(yè)如果只是采集一頁(yè)數(shù)據(jù)，可跳過(guò)此步驟。如果需要翻頁(yè)以采集多頁(yè)數(shù)據(jù)：①先點(diǎn)擊流程中的【循環(huán)列表】步驟，以回到列表頁(yè)（如果已在列表頁(yè)可直接繼續(xù)操作）②再選擇頁(yè)面中的【下一頁(yè)】按鈕，在操作提示上單擊【循環(huán)點(diǎn)擊下一頁(yè)】，創(chuàng)建【循環(huán)翻頁(yè)】。

官網(wǎng)政策公告采集步驟五、創(chuàng)建循環(huán)翻頁(yè)。2、設(shè)置執(zhí)行前等待時(shí)間①進(jìn)入【循環(huán)翻頁(yè)1】設(shè)置頁(yè)面，設(shè)置【執(zhí)行前等待】3s②進(jìn)入【點(diǎn)擊翻頁(yè)1】設(shè)置頁(yè)面，設(shè)置【執(zhí)行前等待】3s和【Ajax超時(shí)】7s官網(wǎng)政策公告采集1、單擊【采集】并【啟動(dòng)本地采集】。啟動(dòng)后八爪魚(yú)開(kāi)始自動(dòng)采集數(shù)據(jù)。步驟六、啟動(dòng)采集官網(wǎng)政策公告采集2、采集完成后，選擇合適的導(dǎo)出方式導(dǎo)出數(shù)據(jù)。支持導(dǎo)出為Excel